Quelle est la différence entre les tests de fumée, de sanité et de non-régression, et quand chacun s'exécute-t-il ?

Un test de fumée est large et superficiel, il vérifie qu'une build est assez stable pour qu'on puisse la tester, et il s'exécute juste après le déploiement. Un test de sanité est étroit et profond, il vérifie un correctif ou une zone précise après un changement. Les tests de non-régression forment la suite large qui confirme que le comportement existant fonctionne toujours, exécutée la nuit ou avant une livraison puisqu'elle est trop lente pour chaque commit.

J'y pense sur deux axes, l'ampleur et la profondeur. La fumée est large et superficielle : l'application démarre-t-elle, la page d'accueil s'affiche-t-elle, un utilisateur peut-il se connecter, l'API principale répond-elle. Elle s'exécute juste après chaque déploiement sur n'importe quel environnement et décide s'il vaut seulement la peine de lancer quoi que ce soit d'autre. Si la fumée échoue, on s'arrête et on répare la build au lieu de déboguer cinquante échecs en aval. La sanité est étroite et profonde : un développeur a corrigé un calcul de remise, donc j'exerce ce calcul à fond plus ce qui l'entoure immédiatement. C'est rapide, ciblé, et cela tourne sur la branche avant la fusion. La non-régression est la suite large qui confirme que tout ce qui marchait marche encore, et comme elle est lente elle tourne la nuit et avant une livraison plutôt qu'à chaque commit. Ce que je gère activement, c'est la croissance de la suite de non-régression. Les suites ne font que grossir tant que personne ne les élague, donc je pars régulièrement à la chasse aux tests qui n'ont jamais échoué pour une vraie raison, aux tests qui doublonnent une couverture déjà assurée plus bas, et aux tests de fonctionnalités supprimées. Une suite de quatre heures à laquelle personne ne se fie vaut moins qu'une de quarante minutes sur laquelle on agit.