Du startest einen Trainingslauf und der Loss geht überhaupt nicht runter. Wie debuggst du das?

Beweis zuerst, dass das Modell lernen kann: overfitte einen einzelnen kleinen Batch auf nahezu null Loss. Wenn das nicht geht, liegt der Bug im Modell, im Loss oder im Optimizer, nicht in der Datenmenge. Dann prüf die Learning Rate an beiden Extremen, verifizier, dass Labels zu den Inputs passen, bestätige, dass Gradienten fließen, und bestätige, dass der Optimizer tatsächlich die Parameter bekommen hat, die du glaubst.

Der erste Zug ist immer derselbe: einen Batch von etwa acht Beispielen nehmen und versuchen, den Loss darauf auf nahezu null zu treiben. Ein funktionierendes Modell merkt sich acht Beispiele in ein paar hundert Steps. Wenn es das nicht kann, ist das Problem nicht die Datenmenge oder die Regularisierung, sondern etwas Kaputtes im Modell, im Loss oder im Optimizer, und ich habe die Suche massiv eingegrenzt. Von da prüfe ich die Learning Rate an beiden Enden, denn zu hoch zeigt sich als springender Loss oder als NaN, und zu niedrig sieht aus wie eine flache Linie, die eigentlich kriecht. Ich gebe Gradient Norms pro Layer aus, was mir sofort sagt, ob das Signal stirbt oder ob irgendein Layer nichts bekommt, weil er versehentlich eingefroren oder nie an den Optimizer übergeben wurde. Dann der Datenpfad, und ehrlich gesagt steckt der Bug meistens hier: Labels nach einem Shuffle um eins verschoben, Normalisierung doppelt angewendet, oder ein Targets-Tensor, der wegen eines Filter-Bugs nur eine Klasse enthält. Ich schaue mir immer eine Handvoll dekodierter Beispiele mit ihren Labels mit eigenen Augen an, bevor ich die Architektur beschuldige.