Comment suivez-vous le lignage des données, et pourquoi cela compte-t-il opérationnellement ?

Le lignage cartographie quelles sources alimentent quelles tables, quels modèles et quels tableaux de bord. Capturez-le automatiquement en parsant le SQL et les dépendances de l'orchestrateur, plutôt que de le maintenir à la main, puisqu'un lignage manuel pourrit en quelques semaines. Cela compte parce qu'il répond aux trois questions urgentes : qu'est-ce qui casse si cette source tombe, qui dois-je prévenir en cas de mauvais chargement, et puis-je supprimer ou changer cette colonne sans danger.

Le lignage, c'est le graphe de dépendances de vos données, idéalement jusqu'au niveau colonne, et la seule version qui vaille est celle générée automatiquement. Tout ce qui est maintenu à la main est faux en un mois. En pratique, nous en avons obtenu l'essentiel gratuitement via le manifest de dbt pour la couche de transformation, plus les métadonnées de l'outil BI pour les tableaux de bord, le tout alimentant un catalogue. La valeur apparaît à trois moments. Quand une source est en retard, je peux dire immédiatement quels tableaux de bord seront périmés et prévenir leurs propriétaires avant qu'ils ne me prévennent. Quand quelqu'un veut supprimer une colonne, l'analyse d'impact prend trente secondes au lieu d'un grep et d'une prière. Et pour les demandes de suppression, je peux trouver chaque table contenant un identifiant donné. Ce que j'ajouterais, c'est que le lignage sans propriété n'est utile qu'à moitié. Chaque jeu de données a besoin d'une équipe propriétaire nommée, sinon vous savez exactement ce qui a cassé et vous n'avez toujours personne à prévenir.