आप cross validation कैसे सेट करते हैं, और डेटा time series होने पर क्या बदल जाता है?

मानक k fold rows को बेतरतीब ढंग से k हिस्सों में बांटता है, k घटा एक पर train करता है और बचे हुए fold पर validate करता है, फिर औसत लेता है। time series के साथ यह गलत है, क्योंकि बेतरतीब splits model को भविष्य पर train करके अतीत की भविष्यवाणी करने देते हैं। इसकी जगह forward chaining इस्तेमाल करें: समय t तक की हर चीज पर train करें, अगली window पर validate करें, आगे बढ़ते जाएं, और अगर features trailing windows इस्तेमाल करते हैं तो बीच में एक gap छोड़ें।

सामान्य k fold rows को मिलाकर folds में बांटता है और बारी बारी एक को holdout रखता है। जब rows स्वतंत्र हों तब यह ठीक है, और जिस पल वे स्वतंत्र नहीं रहतीं, यह बिखर जाता है। time series के साथ मैं forward chaining इस्तेमाल करता हूं: महीना एक से छह पर train, सात पर validate, फिर सात तक train और आठ पर validate, और ऐसे ही आगे। validation हमेशा training window के बाद बैठता है, जो इस बात से मेल खाता है कि model इस्तेमाल कैसे होगा। जब मेरे features trailing windows इस्तेमाल करते हैं तो मैं एक gap भी छोड़ता हूं, क्योंकि सीमा पर ठीक ठीक निकाला गया तीस दिन का rolling average चुपचाप validation दौर की जानकारी अपने अंदर रखता है। दूसरा जाल है दोहराई जाने वाली entities। अगर एक customer की चालीस rows हैं और वे train और validation दोनों में गिर जाती हैं, तो model उस customer को रट सकता है और स्कोर फूल जाता है, इसलिए मैं customer ID से group करता हूं। और मैं scalers तथा encoders हर fold के अंदर fit करता हूं, कभी पहले पूरे dataset पर नहीं, क्योंकि सब कुछ पर fit करने से validation का distribution training में leak हो जाता है। अकेले इसी बात ने मेरे लिए offline और live के बीच के दो एक अंक के फर्क की वजह समझाई है।