Qual é a diferença entre teste de carga, de estresse e de soak, e o que você mediria?

Teste de carga roda o tráfego esperado para confirmar que o sistema atinge as metas dele. Teste de estresse empurra além da capacidade para achar o ponto de ruptura e checar se ele degrada com graça em vez de desabar. Teste de soak roda carga moderada e sustentada por horas para expor vazamentos e esgotamento de recursos. Meça percentis de latência, throughput, taxa de erro e saturação de CPU, memória, conexões e do banco de dados.

Eles diferem pela intenção. Teste de carga responde se o sistema atinge a meta dele no tráfego esperado, então eu preciso dessa meta acordada antes de começar, algo como p95 abaixo de 300 milissegundos com dois mil usuários simultâneos e taxa de erro abaixo de um décimo de por cento. Teste de estresse vai deliberadamente além disso para achar onde quebra e, mais importante, como. Degradação com graça, com fila e erros claros, é aceitável; corrupção de dados ou uma cascata que derruba serviços vizinhos não é. Teste de soak roda uma carga moderada por oito ou doze horas, que é a única forma de pegar vazamentos lentos, pools de conexão que nunca devolvem e volumes de log que enchem um disco. Uma vez eu achei um vazamento de memória que só aparecia depois de umas seis horas e que nunca teria surgido numa execução de trinta minutos. Sobre medição, eu reporto percentis, porque uma média esconde tudo que importa, então p50, p95 e p99 junto com throughput e taxa de erro. E eu observo a saturação ao mesmo tempo, então CPU, memória, uso do pool de conexões e locks do banco, porque o tempo de resposta te diz que alguma coisa está errada e a saturação te diz o quê.