Comment mettez-vous en place une validation croisée, et qu'est-ce qui change quand les données sont une série temporelle ?

La validation croisée à k plis standard répartit les lignes au hasard en k parties, entraîne sur k moins une et valide sur le pli mis de côté, puis fait la moyenne. Sur une série temporelle, c'est invalide, parce que des découpages aléatoires laissent le modèle s'entraîner sur le futur pour prédire le passé. Utilisez plutôt un chaînage avant : entraînez sur tout jusqu'à l'instant t, validez sur la fenêtre suivante, avancez, et laissez un espace si vos variables utilisent des fenêtres glissantes.

La validation croisée à k plis normale mélange les lignes en plis et fait tourner celui qu'on met de côté. C'est très bien quand les lignes sont indépendantes, et ça s'effondre dès qu'elles ne le sont plus. Sur une série temporelle j'utilise le chaînage avant : entraîner sur les mois un à six, valider sur le sept, puis entraîner jusqu'au sept et valider sur le huit, et ainsi de suite. La validation se situe toujours après la fenêtre d'entraînement, ce qui correspond à la façon dont le modèle est utilisé. Je laisse aussi un espace quand mes variables utilisent des fenêtres glissantes, parce qu'une moyenne mobile sur trente jours calculée juste à la frontière contient discrètement de l'information de la période de validation. L'autre piège, ce sont les entités répétées. Si un client a quarante lignes et qu'elles atterrissent à la fois en entraînement et en validation, le modèle peut mémoriser ce client et le score est gonflé, donc je groupe par identifiant client. Et j'ajuste les scalers et les encodeurs à l'intérieur de chaque pli, jamais d'abord sur le jeu complet, parce qu'ajuster sur tout fait fuir la distribution de validation dans l'entraînement. Rien que ça m'a expliqué quelques points d'écart entre le hors ligne et le réel.