Como você monta uma validação cruzada, e o que muda quando os dados são uma série temporal?

O k fold padrão divide as linhas aleatoriamente em k partes, treinando em k menos uma e validando na parte separada, e depois tira a média. Com série temporal isso é inválido, porque divisões aleatórias deixam o modelo treinar no futuro e prever o passado. Use forward chaining no lugar: treine em tudo até o instante t, valide na janela seguinte, avance, e deixe um intervalo se as features usam janelas móveis.

O k fold normal embaralha as linhas em folds e vai rodando qual você separa. Isso funciona quando as linhas são independentes, e desmorona no momento em que elas não são. Com série temporal eu uso forward chaining: treino nos meses um a seis, valido no sete, depois treino até o sete e valido no oito, e assim por diante. A validação sempre fica depois da janela de treino, que é como o modelo vai ser usado. Eu também deixo um intervalo quando as minhas features usam janelas móveis, porque uma média móvel de trinta dias calculada bem na fronteira contém, silenciosamente, informação do período de validação. A outra armadilha são entidades repetidas. Se um cliente tem quarenta linhas e elas caem no treino e na validação, o modelo consegue memorizar aquele cliente e a métrica infla, então eu agrupo pelo ID do cliente. E eu ajusto scalers e encoders dentro de cada fold, nunca no dataset completo primeiro, porque ajustar em tudo vaza a distribuição de validação para o treino. Só isso já explicou alguns pontos de queda entre o offline e o ao vivo para mim.