Qual é a diferença entre teste de smoke, de sanidade e de regressão, e quando cada um roda?

Um teste de smoke é amplo e raso, checando se um build está estável o bastante para ser testado, e roda logo depois do deploy. Uma checagem de sanidade é estreita e profunda, verificando uma correção ou área específica depois de uma mudança. Teste de regressão é a suíte ampla que confirma que o comportamento existente ainda funciona, rodada de madrugada ou antes de um release, já que é lenta demais para cada commit.

Eu penso nisso em dois eixos, amplitude e profundidade. Smoke é largo e raso: a aplicação sobe, a home renderiza, um usuário consegue logar, a API principal responde. Roda logo depois de todo deploy em qualquer ambiente e guarda a decisão de se vale a pena rodar qualquer outra coisa. Se o smoke falha nós paramos e consertamos o build em vez de depurar cinquenta falhas seguintes. Sanidade é estreita e profunda: um desenvolvedor corrigiu um cálculo de desconto, então eu exercito aquele cálculo pesado mais o que estiver imediatamente ao redor. É rápido, direcionado, e roda na branch antes do merge. Regressão é a suíte ampla confirmando que tudo que funcionava continua funcionando, e como é lenta ela roda de madrugada e antes de um release em vez de a cada commit. A parte que eu gerencio ativamente é o crescimento da suíte de regressão. Suítes só aumentam de tamanho, a menos que alguém faça uma limpeza, então eu periodicamente caço testes que nunca falharam por um motivo real, testes duplicando cobertura de uma camada mais baixa e testes de funcionalidades que foram removidas. Uma suíte de quatro horas em que ninguém confia vale menos do que uma de quarenta minutos sobre a qual as pessoas agem.