Como você decide o que fazer com valores ausentes em um dataset?

Comece descobrindo por que os valores estão ausentes, já que o mecanismo define a solução. Ausência completamente aleatória tolera imputação simples; ausência aleatória condicionada exige imputação a partir das variáveis observadas; ausência não aleatória significa que a própria ausência é sinal e deve virar uma feature. Nunca impute antes de dividir os dados, e adicione um indicador de estava ausente sempre que o padrão carregar informação.

A primeira coisa que eu faço não é estatística, é uma conversa com quem é dono do campo. Ausente normalmente significa algo específico. Em um dataset de crédito em que trabalhei, a renda estava em branco em cerca de um quinto das linhas, e essas linhas vinham de um fluxo de aplicação rápida que nunca perguntava isso. Isso não é nada aleatório, e aqueles candidatos ficavam inadimplentes em uma taxa diferente, então o próprio fato do campo em branco era um dos preditores mais fortes do modelo. Eu adicionei uma flag de ausência e ela mereceu o lugar. Mecanicamente, se for mesmo ruído aleatório e a coluna estiver quase completa, imputação pela mediana mais uma flag resolve. Se depende de outras variáveis observadas, eu uso imputação iterativa ou baseada em modelo. Se mais de uns cinquenta por cento de uma coluna está ausente, eu normalmente a descarto, porque nesse ponto eu estou imputando as minhas próprias suposições. E o que quer que eu use é ajustado só na divisão de treino e depois aplicado à validação, porque calcular uma mediana no dataset inteiro vaza silenciosamente.