Du hast einen Fraud-Datensatz, in dem 0,3 Prozent der Zeilen positiv sind. Wie gehst du mit dieser Imbalance um?

Ändere zuerst die Metrik, denn Accuracy ist bei 0,3 Prozent wertlos: nimm Precision-Recall-AUC oder Recall bei einem festen Alert-Budget. Probier dann Class Weights vor Resampling, weil Gewichtung einfacher ist und keine Zeilen erfindet. Wenn du resamplest, dann nur innerhalb des Trainings-Folds. Und rekalibriere am Ende die Wahrscheinlichkeiten, denn Gewichtung und Oversampling verzerren beide die vorhergesagten Scores.

Das Erste, was ich ändere, ist die Anzeigetafel, denn ein Modell, das immer kein Fraud sagt, ist zu 99,7 Prozent akkurat und komplett wertlos. Ich nutze Precision-Recall-AUC und, noch nützlicher, Recall bei genau dem Alert-Volumen, das das Team wirklich prüfen kann. Dann fange ich einfach an, mit Class Weights im Loss, das kostet nichts und bringt oft den größten Teil des Nutzens. Zu SMOTE oder Undersampling greife ich erst, wenn Gewichtung stehen bleibt, und ehrlich gesagt fand ich synthetische Minority-Samples auf tabellarischen Fraud-Daten enttäuschend, weil die interpolierten Punkte in Regionen des Feature-Raums liegen, die es nicht gibt. Bei zwei Dingen bin ich streng. Resampling passiert innerhalb des Trainings-Folds, nie vor dem Split, sonst hält das Validierungsset Beinahe-Duplikate der Trainingszeilen und der Score ist Fiktion. Und danach sind die vorhergesagten Wahrscheinlichkeiten nicht mehr kalibriert. Wenn also jemand stromabwärts den Score mit einem Eurobetrag multipliziert, fitte ich einen Kalibrierungsschritt auf einem sauberen Holdout. Bei meinem letzten Fraud-Modell hat das die Schätzung des erwarteten Verlusts stärker verschoben als die Modelländerung selbst.