Como você detecta vazamento de dados em um modelo?

Suspeite de vazamento sempre que a performance for surpreendentemente boa. As checagens principais: procure features com importância implausivelmente alta, confirme que toda feature era conhecível no momento da predição, verifique se o pré processamento foi ajustado dentro do fold de treino e cheque se nenhuma entidade aparece em treino e teste. Uma queda brusca do offline para a produção costuma ser o vazamento se revelando.

Meu gatilho é boa notícia. Se um modelo salta para 0.97 de AUC em um problema que o negócio acha difícil, eu assumo que vazei alguma coisa até provar o contrário. O teste principal que eu rodo em cada feature é uma pergunta de timestamp: no momento em que a gente pontua esse registro em produção, esse valor existiria, e ele teria esse valor? Um número surpreendente de features falha. O pior que eu peguei foi uma feature chamada status da conta. Parecia inofensiva, mas o time de operações a atualizava para encerrada depois de o cliente sair, e o snapshot de treino guardava o valor atual em vez do valor na data da predição, então o modelo estava lendo a resposta. Removê-la derrubou a AUC de cerca de 0.94 para 0.79, que era o número real. Além disso eu checo se scalers, encoders e qualquer reamostragem foram ajustados dentro do fold, se nenhum ID de cliente atravessa treino e teste e se as codificações de alvo foram calculadas fora do fold. E eu olho a importância das features cedo, não como uma etapa de relatório no fim, porque uma feature carregando a maior parte do modelo normalmente é um vazamento, não uma descoberta.