Was ist der Unterschied zwischen Smoke-, Sanity- und Regressionstests, und wann läuft was?

Ein Smoke-Test ist breit und flach und prüft, ob ein Build überhaupt stabil genug zum Testen ist; er läuft direkt nach dem Deployment. Ein Sanity-Check ist schmal und tief und verifiziert einen bestimmten Fix oder Bereich nach einer Änderung. Regressionstests sind die breite Suite, die bestätigt, dass bestehendes Verhalten weiterhin funktioniert, und laufen nachts oder vor einem Release, weil sie für jeden Commit zu langsam sind.

Ich denke daran über zwei Achsen, Breite und Tiefe. Smoke ist breit und flach: startet die App, rendert die Startseite, kann sich ein Nutzer einloggen, antwortet die Haupt-API. Es läuft direkt nach jedem Deployment in jede Umgebung und entscheidet, ob sich überhaupt lohnt, irgendetwas anderes laufen zu lassen. Fällt Smoke durch, hören wir auf und reparieren den Build, statt fünfzig Folgefehler zu debuggen. Sanity ist schmal und tief: ein Entwickler hat eine Rabattberechnung gefixt, also fahre ich diese Berechnung hart durch, plus was unmittelbar drumherum liegt. Es ist schnell, gezielt und läuft auf dem Branch vor dem Merge. Regression ist die breite Suite, die bestätigt, dass alles, was funktioniert hat, weiterhin funktioniert, und weil sie langsam ist, läuft sie nachts und vor einem Release statt bei jedem Commit. Was ich aktiv steuere, ist das Wachstum der Regressionssuite. Suites werden nur größer, sofern niemand ausmistet, also suche ich regelmäßig nach Tests, die nie aus einem echten Grund fehlgeschlagen sind, nach Tests, die Abdeckung einer tieferen Schicht duplizieren, und nach Tests für Features, die entfernt wurden. Eine Vier-Stunden-Suite, der niemand traut, ist weniger wert als eine Vierzig-Minuten-Suite, nach der Leute handeln.