Wie testest du Datenqualität in einer Pipeline, und worauf testest du?

Teste Schema, Volumen und Semantik. Schema-Tests fangen Typ- und Spaltenänderungen. Volumen- und Aktualitätstests fangen eine Partition, die leer oder zu spät ankam. Semantische Tests prüfen Eindeutigkeit von Schlüsseln, Nicht-Null auf Pflichtfeldern, erlaubte Werte bei Enums, referenzielle Integrität zwischen Fakt und Dimension und fachliche Invarianten wie einen Umsatz, der nie negativ ist. Lass sie in der Pipeline laufen und brich ab oder stell in Quarantäne, statt still zu veröffentlichen.

Ich denke in drei Schichten. Schema: Spalte existiert, Typ hat sich nicht geändert, kein unerwartetes neues nullable Feld, das leise auftaucht. Volumen und Aktualität: Diese Partition hat eine Zeilenzahl in einem sinnvollen Band um den gleitenden Durchschnitt, und das jüngste Event ist nicht acht Stunden alt. Semantik: Primärschlüssel ist eindeutig, Pflichtfelder sind nicht null, Status liegt in der erlaubten Menge, jede Bestellung referenziert einen existierenden Kunden, und der Umsatz ist nicht negativ. In dbt sind das größtenteils eingebaute Tests plus eine Handvoll Singular-SQL-Tests für Geschäftsregeln. Wichtiger als die Tests ist die Policy. Ein fehlgeschlagener Eindeutigkeitstest auf einem Primärschlüssel blockiert die nachgelagerten Marts, denn doppelten Umsatz zu veröffentlichen ist schlimmer, als gar nichts zu veröffentlichen. Eine weiche Warnung wie ein Rückgang der Zeilenzahl um 20% alarmiert das zuständige Team, stoppt den Lauf aber nicht. Und schlechte Zeilen gehen mit Fehlergrund in eine Quarantänetabelle, damit wir messen können, wie oft das passiert, statt die Beweise zu verlieren.