Wie wählst du eine Loss Function, und wann würdest du etwas anderes als den Default nehmen?

Wähl den Loss, der zur Entscheidung und zu den Kosten eines Fehlers passt, nicht den aus dem Tutorial. Cross Entropy für Klassifikation, wenn du kalibrierte Wahrscheinlichkeiten brauchst, Mean Squared Error, wenn große Fehler überproportional schlimm sind, Mean Absolute Error oder Huber, wenn Ausreißer nicht dominieren sollen, Focal Loss bei extremem Ungleichgewicht, und einen Quantil- oder Pinball-Loss, wenn du ein bestimmtes Perzentil statt eines Mittelwerts brauchst.

Der Loss ist das Einzige, was das Modell tatsächlich optimiert, er sollte also kodieren, was uns ein Fehler kostet. Bei Regression fittet MSE den bedingten Mittelwert und bestraft große Abweichungen quadratisch, was richtig ist, wenn ein großer Fehler wirklich überproportional schlimm ist. Es heißt aber auch, dass eine Handvoll Ausreißer den gesamten Fit dominieren kann. MAE fittet den Median und ist deutlich robuster, und Huber verhält sich nahe null quadratisch und in den Ausläufern linear, was mein üblicher Default bei unsauberen Zielgrößen aus der echten Welt ist. Der Fall, an den ich mich am besten erinnere, war ein Modell für Lieferzeiten. Wir haben auf MSE trainiert, und die Vorhersagen waren im Mittel gut und operativ nutzlos, weil das Geschäft eine Zeit brauchte, die es zusagen konnte, also ungefähr das 90. Perzentil. Der Wechsel auf einen Pinball Loss bei 0.9 hat genau das geliefert und die Verspätungsrate deutlich gesenkt, ganz ohne Architekturänderung. Bei Klassifikation bleibe ich bei Cross Entropy, außer das Ungleichgewicht ist heftig, dann gewichtet Focal Loss die leichten Negatives herunter, damit die schweren tatsächlich beitragen. Was ich danach immer prüfe, ist die Kalibrierung, weil alles, was den Loss umgewichtet, die Ausgabewahrscheinlichkeiten verzerrt.