¿Cómo rastreas el linaje de datos y por qué importa a nivel operativo?

El linaje mapea qué orígenes alimentan qué tablas, modelos y dashboards. Captúralo automáticamente parseando SQL y las dependencias del orquestador en lugar de mantenerlo a mano, ya que el linaje manual se pudre en semanas. Importa porque responde a las tres preguntas urgentes: qué se rompe si este origen falla, a quién aviso de una carga mala, y puedo borrar o cambiar esta columna sin peligro.

El linaje es el grafo de dependencias de tus datos, idealmente hasta nivel de columna, y la única versión que vale la pena tener es la que se genera automáticamente. Cualquier cosa mantenida a mano está equivocada en un mes. En la práctica, sacamos casi todo gratis del manifest de dbt para la capa de transformación, más los metadatos de la herramienta de BI para los dashboards, alimentando un catálogo. El valor aparece en tres momentos. Cuando un origen llega tarde, puedo decir de inmediato qué dashboards estarán desactualizados y avisar a sus dueños antes de que ellos me escriban. Cuando alguien quiere eliminar una columna, el análisis de impacto tarda treinta segundos en vez de un grep y una plegaria. Y para solicitudes de borrado, puedo encontrar cada tabla que contiene un identificador dado. Lo que añadiría es que el linaje sin propiedad solo sirve a medias. Cada conjunto de datos necesita un equipo dueño con nombre, o si no sabrás exactamente qué se rompió y seguirás sin tener a quién decírselo.