O seu pipeline de CI está instável e o time começou a repetir builds vermelhos sem ler o motivo. Como você conserta isso?

Trate a instabilidade como um incidente de produção, porque um pipeline em que ninguém confia não oferece segurança nenhuma. Meça primeiro: acompanhe a taxa de aprovação e coloque em quarentena os testes que falham de forma intermitente para a main ficar verde de novo. Depois conserte os testes em quarentena por causa, normalmente estado compartilhado, suposições de temporização ou uma condição de corrida real. Imponha uma política de que quarentena é temporária, com dono e prazo, para não virar cemitério.

A parte perigosa não é o tempo desperdiçado, é as pessoas terem aprendido que vermelho não significa quebrado, então no dia em que uma regressão de verdade entrar ela vai ser repetida até passar também. Eu começo medindo, porque opiniões sobre quais testes são instáveis costumam estar erradas. Rode a suíte repetidamente em um commit inalterado, ou acompanhe a taxa de aprovação por teste ao longo de algumas centenas de execuções, e você tem uma lista ranqueada. Depois coloque os piores em quarentena fora do caminho bloqueante para a main ficar verde e vermelho voltar a significar algo, mas quarentena com dono e data de validade, senão vira um cemitério que ninguém olha. Na hora de consertar, as causas se agrupam: testes compartilhando estado por um banco ou um singleton, sleeps no lugar de esperas apropriadas, e dependência de ordem. E alguns deles são bugs de verdade. Eu já persegui um teste que falhava uma vez em cinquenta e acabou sendo uma corrida genuína em um pool de conexões, que teria virado um problema intermitente de produção que ninguém conseguiria reproduzir.