Deine CI-Pipeline ist flaky und das Team startet rote Builds inzwischen neu, ohne sie zu lesen. Wie behebst du das?

Behandle Flakiness wie einen Produktionsincident, denn eine Pipeline, der niemand traut, gibt überhaupt keine Sicherheit. Miss zuerst: Pass Rate tracken und Tests, die sporadisch fehlschlagen, in Quarantäne schicken, damit main wieder grün wird. Dann die quarantänierten Tests nach Ursache fixen, meist geteilter Zustand, Timing-Annahmen oder eine echte Race Condition. Setz eine Regel durch, dass Quarantäne befristet ist, mit Owner und Deadline, damit sie kein Friedhof wird.

Das Gefährliche ist nicht die verlorene Zeit, sondern dass Leute gelernt haben, dass rot nicht kaputt heißt. An dem Tag, an dem eine echte Regression landet, wird sie also mit durchgestartet. Ich fange mit Messen an, denn Meinungen darüber, welche Tests flaky sind, liegen meist daneben. Die Suite wiederholt auf einem unveränderten Commit laufen lassen oder Pass Rates pro Test über ein paar hundert Läufe tracken, und du hast eine Rangliste. Dann die schlimmsten aus dem blockierenden Pfad in Quarantäne, damit main grün ist und rot wieder etwas bedeutet, aber Quarantäne mit Owner und Ablaufdatum, sonst wird es ein Friedhof, in den niemand schaut. Beim Fixen clustern die Ursachen: Tests, die sich über eine Datenbank oder ein Singleton Zustand teilen, sleeps statt richtiger Waits und Abhängigkeit von Reihenfolge. Und manche sind echte Bugs. Ich habe mal einen Test gejagt, der einmal in fünfzig fehlschlug, und es war eine echte Race Condition in einem Connection Pool, die als sporadisches Produktionsproblem aufgetaucht wäre, das niemand hätte reproduzieren können.