Votre modèle affichait 0,88 d'AUC hors ligne mais fait nettement moins bien en production. Comment déboguez-vous cela ?

Traitez l'écart dans l'ordre : vérifiez que l'indicateur de production est calculé de la même façon, cherchez un décalage entre entraînement et service, puis une fuite dans le montage hors ligne, puis une dérive de distribution. Le décalage et la fuite sont bien plus courants qu'une vraie dérive dans les premières semaines après un lancement. Journalisez les vecteurs de variables servis et rescorez-les hors ligne pour isoler où les chiffres divergent.

D'abord je vérifie que je compare ce qui est comparable. L'AUC hors ligne est souvent calculée sur un instantané étiqueté avec une population différente et un délai d'étiquetage différent de la production, et la moitié du temps l'écart vient en partie de là. Ensuite je cherche un décalage entraînement service, qui d'expérience est la cause la plus courante. Je journalise les vecteurs de variables réellement utilisés par le service, je les rescore avec le modèle hors ligne, et je compare à ce que la production a émis. S'ils diffèrent, le bug est dans le pipeline de service, pas dans le modèle, et c'est en général quelque chose de terne comme une catégorie qui tombe en inconnue ou une différence de fuseau horaire qui décale une fenêtre glissante. Si les scores coïncident, je soupçonne une fuite hors ligne, c'est-à-dire une variable calculée après que l'étiquette était connue. Le signe qui trahit, c'est une variable à l'importance invraisemblablement élevée. Seulement ensuite je teste la dérive, en comparant les distributions de variables et le taux de base entre l'entraînement et maintenant. Entre-temps je ne laisserais pas la plaie ouverte : je reviens au modèle précédent ou à une base de règles pour la tranche concernée, et je préviens les parties prenantes que le chiffre a bougé avant qu'elles ne le découvrent elles-mêmes.