Wie verfolgst du Data Lineage, und warum ist das operativ wichtig?

Lineage bildet ab, welche Quellen welche Tabellen, Modelle und Dashboards speisen. Erfass sie automatisch durch Parsen von SQL und Orchestrator-Abhängigkeiten statt sie von Hand zu pflegen, denn manuelle Lineage verrottet innerhalb von Wochen. Sie ist wichtig, weil sie die drei dringenden Fragen beantwortet: was bricht, wenn diese Quelle ausfällt, wen informiere ich bei einem fehlerhaften Load, und kann ich diese Spalte sicher löschen oder ändern.

Lineage ist der Abhängigkeitsgraph deiner Daten, idealerweise bis auf Spaltenebene, und die einzige Variante, die sich lohnt, ist die automatisch erzeugte. Alles handgepflegte ist binnen eines Monats falsch. In der Praxis bekamen wir das meiste gratis aus dem dbt-Manifest für die Transformationsschicht plus den Metadaten des BI-Tools für Dashboards, gespeist in einen Katalog. Der Wert zeigt sich in drei Momenten. Wenn eine Quelle zu spät ist, sehe ich sofort, welche Dashboards veraltet sein werden, und schreibe deren Ownern, bevor sie mir schreiben. Wenn jemand eine Spalte löschen will, dauert die Impact-Analyse dreißig Sekunden statt eines Greps und eines Stoßgebets. Und bei Löschanfragen finde ich jede Tabelle, die eine bestimmte Kennung enthält. Was ich ergänzen würde: Lineage ohne Ownership ist nur halb nützlich. Zu jedem Datensatz gehört ein benanntes verantwortliches Team, sonst weißt du genau, was kaputt ist, und hast trotzdem niemanden, dem du es sagen kannst.