Jemand anders im Team kann deine Trainingsergebnisse nicht reproduzieren. Was könnte anders sein?

Meist eins von fünf Dingen: der Daten-Snapshot, die Random Seeds, Bibliotheks- und CUDA-Versionen, nichtdeterministische GPU-Kernels oder Hardwareunterschiede im Fließkommaverhalten. Pinn die Daten über einen datierten Snapshot statt einer Live-Abfrage, seede jede Zufallsquelle inklusive der Data-Loader-Worker, containerisiere die Umgebung, und akzeptiere, dass exakte bitweise Determinismus auf der GPU Performance kostet und nicht immer den Kauf wert ist.

Ich gehe eine Liste durch, das Wahrscheinlichste zuerst. Daten, fast immer. Wenn die Trainingsabfrage eine Live-Tabelle liest, hat sie sich zwischen meinem Lauf und ihrem geändert, und da hilft kein Seeding, also liest das Training einen datierten Snapshot mit festgehaltener Zeilenzahl. Als Nächstes Seeds, und nicht nur der Framework-Seed: Pythons random, NumPy, das Framework und vor allem die Data-Loader-Worker, von denen jeder seinen eigenen Seed braucht, damit auch Shuffling und Augmentation reproduzierbar sind. Dann die Umgebung, weshalb Training in einem Container mit gepinnten Bibliotheks- und CUDA-Versionen läuft statt in dem, was jemand zufällig installiert hat. Danach bist du im GPU-Nichtdeterminismus. Manche Kernels nutzen atomare Akkumulation, die Reihenfolge der Reduktion variiert also von Lauf zu Lauf und du bekommst winzige Fließkommaunterschiede, die sich über tausende Steps aufschaukeln. Du kannst deterministische Algorithmen erzwingen, das schaltet aber die schnellen Kernels ab und ich habe erlebt, dass es zwanzig Prozent oder mehr kostet. Ich frage also, was wir wirklich brauchen. Für eine Debugging-Untersuchung oder ein reguliertes Modell zahle ich für bitweisen Determinismus. Normalerweise brauche ich nur Ergebnisse, die innerhalb des Rauschens übereinstimmen, und das zeige ich, indem ich dieselbe Konfiguration zweimal laufen lasse und die Streuung darstelle.