¿Cuál es la diferencia entre pruebas de humo, de cordura y de regresión, y cuándo se ejecuta cada una?

Una prueba de humo es amplia y superficial, comprueba que un build es lo bastante estable como para testearlo siquiera, y se ejecuta justo después del despliegue. Una prueba de cordura es estrecha y profunda, verifica un arreglo o un área concreta después de un cambio. Las pruebas de regresión son la suite amplia que confirma que el comportamiento existente sigue funcionando, y se ejecutan de noche o antes de una release porque son demasiado lentas para cada commit.

Lo pienso en dos ejes, amplitud y profundidad. El humo es ancho y superficial: ¿arranca la aplicación?, ¿se pinta la página de inicio?, ¿puede un usuario iniciar sesión?, ¿responde la API principal? Se ejecuta justo después de cada despliegue a cualquier entorno y condiciona si merece la pena siquiera ejecutar algo más. Si el humo falla, paramos y arreglamos el build en vez de depurar cincuenta fallos derivados. La cordura es estrecha y profunda: un desarrollador arregló un cálculo de descuentos, así que aprieto ese cálculo a fondo más lo que tenga justo alrededor. Es rápida, dirigida, y corre en la rama antes del merge. La regresión es la suite amplia que confirma que todo lo que funcionaba sigue funcionando, y como es lenta corre de noche y antes de una release, no en cada commit. La parte que gestiono de forma activa es el crecimiento de la suite de regresión. Las suites solo se hacen más grandes salvo que alguien las pode, así que de vez en cuando busco tests que nunca han fallado por un motivo real, tests que duplican cobertura de una capa más baja, y tests de funcionalidades que se eliminaron. Una suite de cuatro horas en la que nadie confía vale menos que una de cuarenta minutos sobre la que la gente actúa.