Vous lancez un entraînement et la perte ne baisse pas du tout. Comment le déboguez-vous ?

Commencez par prouver que le modèle peut apprendre : surapprenez un seul petit lot jusqu'à une perte quasi nulle. S'il n'y arrive pas, le bug est dans le modèle, la perte ou l'optimiseur, pas dans le volume de données. Ensuite vérifiez le taux d'apprentissage aux deux extrêmes, contrôlez que les étiquettes sont alignées avec les entrées, confirmez que les gradients circulent, et confirmez que l'optimiseur a bien reçu les paramètres que vous croyez.

Le premier geste est toujours le même : prendre un lot d'environ huit exemples et essayer d'y amener la perte quasiment à zéro. Un modèle qui fonctionne mémorise huit exemples en deux cents pas. S'il n'y arrive pas, le problème n'est ni la quantité de données ni la régularisation, c'est quelque chose de cassé dans le modèle, la perte ou l'optimiseur, et j'ai massivement réduit l'espace de recherche. Ensuite je vérifie le taux d'apprentissage aux deux bouts, parce que trop haut se manifeste par une perte qui rebondit ou part en NaN, et trop bas ressemble à une ligne plate qui avance en réalité au ralenti. J'affiche les normes de gradient par couche, ce qui me dit immédiatement si le signal meurt ou si une couche ne reçoit rien parce qu'elle a été gelée par accident ou jamais passée à l'optimiseur. Puis le chemin des données, et honnêtement c'est là qu'est le bug en général : des étiquettes décalées d'un cran par rapport aux entrées après un mélange, une normalisation appliquée deux fois, ou un tenseur de cibles qui ne contient qu'une seule classe à cause d'un bug de filtrage. Je regarde toujours à l'œil une poignée d'exemples décodés avec leurs étiquettes avant d'accuser l'architecture.