Sua suíte automatizada falha aleatoriamente em cerca de cinco por cento das vezes. Como você lida com testes instáveis?

Coloque em quarentena primeiro, para que a suíte volte a ser confiável, e depois corrija as causas raiz em vez de disfarçá-las com retries. As causas usuais são timing e sincronização (sleeps fixos, race conditions), dados de teste compartilhados ou deixados para trás, dependência de ordem de execução e ambientes instáveis. Corrija esperando por condições em vez de durações, isolando dados por teste e deixando cada teste independente da ordem de execução.

A primeira coisa que eu faço é estancar o sangramento, porque uma suíte que falha aleatoriamente passa a ser ignorada, e quando as pessoas a ignoram você não tem rede de segurança nenhuma. Então testes instáveis vão para quarentena, numa execução separada que não bloqueia o pipeline, com um ticket e um responsável, não deletados e não silenciosamente re-executados para sempre. Depois eu de fato diagnostico. O maior balde de longe é sincronização: alguém usou um sleep fixo, ou fez a asserção logo depois de um clique enquanto a requisição ainda estava no ar. A correção é esperar por uma condição, tipo o elemento ficar clicável ou a chamada de rede resolver, nunca por uma duração. O segundo balde são dados: dois testes usando a mesma conta, ou um teste assumindo um estado vazio que a execução anterior sujou. Eu corrijo criando dados por teste com um identificador único. O terceiro é dependência de ordem, que eu faço aparecer rodando a suíte deliberadamente em ordem aleatória. E eu acompanho a taxa de instabilidade num dashboard, porque se não for medida ela volta se arrastando. Qualquer coisa acima de mais ou menos um por cento eu trato como problema de verdade.