Pour quoi écririez-vous réellement des tests dans un pipeline d'apprentissage automatique ?

Testez les parties déterministes rigoureusement et les parties stochastiques de façon comportementale. Testez unitairement les transformations de caractéristiques contre des fixtures, imposez des contrats de schéma et de plage sur les entrées, gardez un test de ligne de référence qui charge le pipeline sérialisé et vérifie que des entrées connues produisent des scores connus, et écrivez des tests comportementaux sur les sorties du modèle (invariance, attentes directionnelles) plutôt que d'exiger un chiffre d'exactitude précis.

L'essentiel d'un pipeline est du code ordinaire et se teste exactement comme du code ordinaire. Les transformations de caractéristiques reçoivent des tests unitaires contre de petites fixtures, y compris les cas moches : valeurs nulles, une catégorie jamais vue à l'entraînement, une valeur négative là où on n'attendait que des positives. Les données d'entrée reçoivent des contrôles de contrat, donc schéma, types, plages et taux de valeurs nulles attendus, exécutés comme un garde-fou avant l'entraînement plutôt que découverts après coup sous forme de modèle bizarre. Puis un test de ligne de référence, où je garde un pipeline sérialisé et une poignée d'entrées fixes avec leurs scores attendus, et la CI échoue si un remaniement les change. Ça m'a attrapé des changements silencieux de prétraitement plus d'une fois. Pour le modèle lui-même je n'exige pas une exactitude au-dessus d'un certain chiffre, parce que c'est instable et que c'est un mauvais garde-fou. J'écris plutôt des tests comportementaux : l'invariance, donc changer un champ non pertinent ne bouge presque pas le score, et des attentes directionnelles, donc augmenter une caractéristique dont on sait qu'elle est liée de façon monotone déplace la prédiction dans le bon sens. Les entraînements complets sont trop lents pour chaque commit, donc ils tournent la nuit, avec un entraînement de fumée rapide sur un échantillon minuscule en CI pour prouver que le pipeline tourne toujours de bout en bout.