Ein vorgelagertes Team benennt ohne Vorwarnung eine Spalte um und deine Pipeline bricht. Was machst du, und was änderst du danach?

Kurzfristig den Betrieb wiederherstellen: den neuen Namen im Staging Layer mappen, die betroffenen Partitionen neu laufen lassen und prüfen, dass die nachgelagerten Zahlen stimmen. Langfristig hör auf, dich auf gutes Zureden zu verlassen. Führ einen Data Contract mit dem Quellteam ein, validier das Schema beim Ingest, damit Fehler an der Grenze mit klarer Meldung auftreten, und lande rohe Payloads untypisiert, damit ein Umbenennen den Ingestion-Pfad nicht zerstört.

Sofort ist es ein kleiner Fix: die neue Spalte im Staging-Modell aliasen, die betroffenen Partitionen neu laufen lassen und ein paar vertraute Aggregate abstimmen, damit ich weiß, dass sich nicht still auch die Bedeutung geändert hat und nicht nur der Name. Ich schaue außerdem im Katalog nach weiteren Konsumenten dieser Tabelle, denn wenn es uns zerlegt hat, hat es wahrscheinlich noch jemanden zerlegt, der es nur noch nicht gemerkt hat. Dann der systemische Teil. Mir ist lieber, der Fehler passiert beim Ingest mit einer Meldung wie erwartete Spalte customer_id, gefunden customer_identifier, als drei Modelle später mit einer Null-Spalte. Also wandert die Schema-Validierung an die Grenze, und der Raw Layer speichert das Payload wie es ist, wodurch Ingestion weiterläuft und nur die typisierte Schicht meckert. Und ich würde mit dem Quellteam reden, nicht um zu klagen, sondern um einen Contract aufzusetzen: das sind die Felder, von denen wir abhängen, das ist das Alerting, bitte gebt uns eine Release-Ankündigung. Das haben wir bei meiner letzten Station gemacht, und aus einem wiederkehrenden 6-Uhr-Problem wurde eine Slack-Nachricht eine Woche vorher.