Vous avez une nouvelle version de modèle qui semble meilleure hors ligne. Comment la déployez-vous sans risque ?

Déployez-la d'abord en aveugle : faites-la tourner en mode ombre à côté du modèle en place, en scorant le trafic réel sans agir sur la sortie, et comparez les distributions de scores, la latence et la disponibilité des caractéristiques. Si ça paraît sain, passez à un déploiement canari sur un petit pourcentage avec une expérience en ligne sur la métrique métier, plus des garde-fous. Gardez l'ancienne version chargée pour que le retour arrière soit un changement de configuration, pas un redéploiement.

Meilleur hors ligne ne veut pas dire meilleur en ligne, donc je ne promeus jamais directement sur un chiffre de validation. Première étape, le mode ombre : le nouveau modèle score les mêmes requêtes réelles, nous journalisons sa sortie, et rien n'agit dessus. Cela attrape les choses ennuyeuses mais fatales, des différences de disponibilité des caractéristiques, des régressions de latence, des valeurs nulles inattendues, et cela me permet de comparer les deux distributions de scores sur un trafic identique. Si les scores du nouveau modèle sont décalés, les seuils en aval doivent bouger même quand la qualité du classement s'est améliorée, et il vaut bien mieux l'apprendre en ombre qu'en production. Ensuite un canari à quelques pour cent avec une vraie expérience en ligne sur la métrique métier, pas sur l'AUC. À côté, je définis des garde-fous à l'avance : latence p99, taux d'erreur, et quelque chose qui attraperait un modèle confiant et faux d'une manière que la métrique principale raterait, comme un gros décalage du taux de signalement. Le retour arrière doit être un changement de configuration avec l'ancienne version toujours chargée, donc il prend quelques secondes, et j'écris les chiffres qui le déclenchent avant le lancement, parce que décider si une métrique est assez mauvaise pendant qu'elle chute est un très mauvais moment pour se forger un avis.