Comment décidez-vous quand réentraîner un modèle en production ?

Déclenchez sur des preuves, pas seulement sur le calendrier. Surveillez la dérive des entrées, la distribution des prédictions, et là où les étiquettes le permettent, la performance en direct sur une fenêtre glissante. Réentraînez quand une métrique franchit un seuil défini à l'avance, ou à une cadence adaptée à la vitesse d'évolution du domaine. Validez toujours le candidat face au modèle en place sur des données récentes avant de le promouvoir.

J'utilise à la fois un calendrier et des déclencheurs. Le calendrier est fixé par la vitesse d'évolution du domaine : un modèle de fraude, je le réentraînerais chaque semaine, une prévision de demande chaque mois, un classifieur d'images sur une taxonomie stable peut-être deux fois par an. Les déclencheurs viennent de la surveillance : la stabilité de la population sur les entrées clés, le décalage de la distribution des prédictions, et là où les étiquettes arrivent assez vite, la performance réelle sur une fenêtre glissante. La contrainte que les gens sous-estiment, c'est le délai des étiquettes. Si les étiquettes d'attrition mettent soixante jours, je ne peux pas mesurer la vraie dégradation avant deux mois, donc je m'appuie davantage sur la dérive des entrées comme alerte précoce et je dis clairement que c'est un indicateur indirect. La partie que je ne saute pas, c'est le garde-fou. Un modèle réentraîné est un candidat à la mise en production, pas une amélioration acquise. Il est évalué face au modèle en place sur la période de validation la plus récente, et s'il ne gagne pas nous gardons l'ancien, parce que des données d'entraînement plus fraîches ne font pas automatiquement un meilleur modèle. Et je guette les boucles de rétroaction : si le modèle décide qui voit une offre, le jeu d'entraînement suivant ne contient que les résultats des gens qu'il appréciait déjà, donc je garde un petit échantillon aléatoire de contrôle pour que les données restent honnêtes.