Die nächtliche Pipeline ist fehlgeschlagen und das Executive-Dashboard ist um 8 Uhr leer. Führ mich durch deine Reaktion.

Kommunizier zuerst: sag den Stakeholdern, dass das Dashboard veraltet ist, und nenn eine erwartete Zeit, denn Schweigen macht aus einem Datenproblem ein Vertrauensproblem. Dann such den ersten fehlgeschlagenen Task statt des lautesten Fehlers, denn nachgelagerte Fehler sind meist nur Symptome. Entscheide zwischen dem Rerun des fehlgeschlagenen Slice und dem Ausliefern der gestrigen Daten mit Hinweis. Fix, idempotenter Rerun, Zeilenzahlen prüfen, dann die Ursache aufschreiben.

Bevor ich irgendetwas debugge, poste ich im Stakeholder-Kanal, dass das Dashboard veraltete Daten zeigt, was betroffen ist und wann ich das nächste Update gebe. Diese eine Nachricht verhindert rund zehn Unterbrechungen und hält das Vertrauen, selbst wenn der Fix zwei Stunden dauert. Dann gehe ich an die Spitze des DAG, denn in einer Kette von fünfzehn fehlgeschlagenen Tasks sind vierzehn nur die Folge eines echten Problems. Die eigentliche Ursache fällt meist in drei Kategorien: Quelldaten haben sich geändert, die Infrastruktur hat gezuckt, oder jemand hat eine Änderung gemerged. Ein kurzer Blick, ob gestern etwas deployt wurde, klärt das schnell. Beim letzten Mal hatte das Quellsystem über Nacht eine Spalte umbenannt, ohne Bescheid zu sagen, also ist das Staging-Modell an einem fehlenden Feld gescheitert. Ich habe das Modell gepatcht, die betroffenen Partitionen neu laufen lassen, und weil die Pipeline idempotent ist, war das ohne Aufräumen sicher. Dann habe ich die Zeilenzahlen gegen den Vortag geprüft, bevor ich jemandem gesagt habe, dass es behoben ist, und mit dem Quellteam über einen Contract gesprochen.