Wie setzt du Cross Validation auf, und was ändert sich bei Zeitreihendaten?

Klassisches k-Fold teilt Zeilen zufällig in k Teile, trainiert auf k minus eins, validiert auf dem zurückgehaltenen Fold und mittelt. Bei Zeitreihen ist das ungültig, weil zufällige Splits das Modell auf der Zukunft trainieren und die Vergangenheit vorhersagen lassen. Nimm stattdessen Forward Chaining: trainieren bis Zeitpunkt t, auf dem nächsten Fenster validieren, weiterrollen und eine Lücke lassen, wenn Features rollierende Fenster nutzen.

Normales k-Fold mischt Zeilen in Folds und rotiert, welcher zurückgehalten wird. Das ist fein, solange Zeilen unabhängig sind, und fällt sofort auseinander, wenn sie es nicht sind. Bei Zeitreihen nutze ich Forward Chaining: trainieren auf Monat eins bis sechs, validieren auf sieben, dann trainieren bis sieben und validieren auf acht und so weiter. Die Validierung liegt immer hinter dem Trainingsfenster, so wie das Modell später genutzt wird. Ich lasse außerdem eine Lücke, wenn meine Features rollierende Fenster nutzen, denn ein 30-Tage-Rolling-Average, das genau an der Grenze berechnet wird, enthält still und leise Information aus dem Validierungszeitraum. Die andere Falle sind wiederkehrende Entitäten. Wenn ein Kunde vierzig Zeilen hat und die in Training und Validierung landen, kann das Modell diesen Kunden auswendig lernen und der Score ist aufgeblasen. Also gruppiere ich nach Kunden-ID. Und ich fitte Scaler und Encoder innerhalb jedes Folds, nie vorher auf dem ganzen Datensatz, weil das die Validierungsverteilung ins Training leakt. Allein das hat bei mir schon ein paar Punkte Differenz zwischen offline und live erklärt.