Como você rastreia linhagem de dados, e por que isso importa operacionalmente?

Linhagem mapeia quais origens alimentam quais tabelas, modelos e dashboards. Capture isso automaticamente parseando SQL e as dependências do orquestrador, em vez de manter na mão, já que linhagem manual apodrece em semanas. Importa porque responde às três perguntas urgentes: o que quebra se esta origem falhar, quem eu aviso sobre uma carga ruim, e posso apagar ou mudar esta coluna com segurança.

Linhagem é o grafo de dependências dos seus dados, idealmente até o nível de coluna, e a única versão que vale a pena ter é a gerada automaticamente. Qualquer coisa mantida na mão está errada em um mês. Na prática, nós conseguimos a maior parte de graça pelo manifest do dbt para a camada de transformação, mais os metadados da ferramenta de BI para os dashboards, alimentando um catálogo. O valor aparece em três momentos. Quando uma origem atrasa, eu consigo dizer na hora quais dashboards vão ficar desatualizados e avisar os donos antes que eles me avisem. Quando alguém quer remover uma coluna, a análise de impacto leva trinta segundos em vez de um grep e uma oração. E para pedidos de exclusão, eu consigo achar cada tabela que contém um dado identificador. O que eu acrescentaria é que linhagem sem propriedade é só metade útil. Todo dataset precisa de um time dono nomeado ligado a ele, senão você sabe exatamente o que quebrou e ainda não tem para quem falar.