Was ist Mixed Precision Training, und was kann dabei schiefgehen?

Mixed Precision führt die meisten Operationen in 16 Bit aus (fp16 oder bf16), während eine Master-Kopie der Gewichte und bestimmte Reduktionen in fp32 bleiben. Das halbiert den Speicher ungefähr und nutzt Tensor Cores, ist also deutlich schneller. Das Risiko bei fp16 ist Underflow: kleine Gradienten runden auf null, deshalb gibt es Loss Scaling. bf16 behält den Exponentenbereich von fp32 und vermeidet das weitgehend.

Du hältst eine Master-Kopie der Gewichte in fp32, lässt Forward und Backward aber in 16 Bit laufen, Aktivierungen und Gradienten sind also halb so groß und die Matmuls landen auf den Tensor Cores. Praktisch ist das grob der halbe Speicher und oft fast der doppelte Durchsatz, was der Unterschied sein kann, ob ein Lauf auf deine Hardware passt oder nicht. Der klassische Fehlerfall ist fp16-Underflow. fp16 hat nur fünf Exponentenbits, sehr kleine Gradienten fallen also auf null, und kleine Gradienten sind genau die, die spät im Training zählen. Genau das behebt dynamisches Loss Scaling: den Loss vor dem Backward mit einem großen Faktor multiplizieren, damit die Gradienten im darstellbaren Bereich landen, vor dem Optimizer-Step wieder herunterskalieren, und den Faktor reduzieren, sobald du Unendlichkeiten siehst. bf16 behält acht Exponentenbits, denselben Bereich wie fp32, und bezahlt dafür mit weniger Mantissenbits, es läuft also viel seltener in Underflow und braucht in der Regel gar kein Loss Scaling. Mein Default ist inzwischen bf16 auf allem ab Ampere. Und ich halte Reduktionen wie Softmax, Layer Norm und den Loss selbst in fp32, weil das Summieren tausender Terme in 16 Bit schnell an Genauigkeit verliert.