Seu modelo marcou 0.88 de AUC offline, mas está indo visivelmente pior em produção. Como você depura isso?

Percorra a diferença em ordem: confirme que a métrica de produção é calculada do mesmo jeito, cheque desvio entre treino e serving, depois cheque vazamento na montagem offline e então cheque mudança de distribuição. Desvio e vazamento são muito mais comuns do que drift genuíno nas primeiras semanas depois do lançamento. Registre os vetores de features servidos e recalcule os scores offline para isolar onde os números divergem.

Primeiro eu checo se estou comparando coisas equivalentes. A AUC offline muitas vezes é calculada em um snapshot rotulado com uma população diferente e um atraso de rótulo diferente do de produção, e metade das vezes a diferença é em parte isso. Em seguida eu procuro desvio entre treino e serving, que na minha experiência é a causa mais comum. Eu registro os vetores de features que o serviço realmente usou, recalculo os scores com o modelo offline e comparo com o que a produção emitiu. Se eles diferem, o bug está no pipeline de serving, não no modelo, e normalmente é algo sem graça, como uma categoria mapeando para desconhecido ou uma diferença de fuso horário deslocando uma janela móvel. Se os scores batem, eu suspeito de vazamento offline, ou seja, alguma feature foi calculada depois de o rótulo ser conhecido. O sinal é uma feature com importância implausivelmente alta. Só então eu testo drift, comparando distribuições de features e a taxa base entre o treino e agora. Enquanto isso eu não deixaria sangrando: volto para o modelo anterior ou para uma baseline de regras na fatia afetada, e aviso os stakeholders de que o número se moveu antes que eles descubram sozinhos.