O pipeline noturno falhou e o dashboard da diretoria está vazio às 8 da manhã. Me conte a sua resposta.

Comunique primeiro: avise os stakeholders de que o dashboard está desatualizado e dê uma previsão de tempo, porque o silêncio transforma um problema de dados em um problema de confiança. Depois encontre a primeira task que falhou, e não o erro mais barulhento, já que as falhas seguintes normalmente são sintomas. Decida entre reprocessar a fatia que falhou e servir os dados de ontem com um aviso. Corrija, reexecute de forma idempotente, verifique as contagens de linhas e então documente a causa.

Antes de depurar qualquer coisa eu posto no canal dos stakeholders que o dashboard está mostrando dados desatualizados, o que está afetado e quando eu vou atualizar de novo. Essa única mensagem evita umas dez interrupções e mantém a confiança intacta mesmo que a correção leve duas horas. Depois eu vou ao topo da DAG, porque em uma cadeia de quinze tasks que falharam, quatorze estão apenas depois de um problema real. Normalmente a causa real cai em três baldes: o dado de origem mudou, a infraestrutura oscilou, ou alguém fez merge de uma mudança. Uma olhada rápida em se algo entrou em deploy ontem resolve isso rápido. Da última vez que isso me aconteceu, o sistema de origem tinha renomeado uma coluna durante a noite sem avisar, então o modelo de staging falhou por campo faltando. Eu corrigi o modelo, reexecutei as partições afetadas, e como o pipeline é idempotente dava para fazer isso com segurança e sem limpeza. Depois eu conferi as contagens de linhas contra o dia anterior antes de dizer a alguém que estava resolvido, e abri uma conversa sobre contrato de dados com o time da origem.