किसी machine learning pipeline में आप असल में किन चीजों के टेस्ट लिखेंगे?

deterministic हिस्सों को ढंग से टेस्ट कीजिए और stochastic हिस्सों को बर्ताव के हिसाब से। feature transforms का fixtures के मुकाबले unit test कीजिए, inputs पर schema और range के contracts लागू कीजिए, एक golden row test रखिए जो serialized pipeline load करके जांचे कि जाने हुए inputs जाने हुए scores देते हैं, और मॉडल के outputs पर सटीक accuracy आंकड़े का दावा करने की जगह बर्ताव वाले टेस्ट लिखिए (invariance, दिशा की उम्मीदें)।

pipeline का ज्यादातर हिस्सा आम कोड है और वह आम कोड की तरह ही टेस्ट होता है। feature transforms को छोटे fixtures के मुकाबले unit tests मिलते हैं, बदसूरत मामलों समेत: nulls, ट्रेनिंग में कभी न दिखी category, और वह negative वैल्यू जहां सिर्फ positive की उम्मीद थी। input डेटा पर contract जांच होती है, यानी schema, types, ranges और अपेक्षित null दरें, जो बाद में अजीब मॉडल के रूप में पता चलने की बजाय ट्रेनिंग से पहले एक गेट की तरह चलती हैं। फिर golden row test, जहां मैं एक serialized pipeline और गिने चुने तय inputs उनके अपेक्षित scores के साथ रखता हूं, और अगर किसी refactor से वे बदलें तो CI फेल हो जाती है। इसने मेरे लिए एक से ज्यादा बार चुपचाप हुए preprocessing बदलाव पकड़े हैं। खुद मॉडल के लिए मैं किसी आंकड़े से ऊपर accuracy का दावा नहीं करता, क्योंकि वह flaky होता है और खराब गेट है। उसकी जगह मैं बर्ताव वाले टेस्ट लिखता हूं: invariance, यानी किसी गैरजरूरी field को बदलने पर score मुश्किल से हिले, और दिशा की उम्मीदें, यानी जिस feature का संबंध monotonic पता है उसे बढ़ाने पर prediction सही तरफ हिले। पूरे training runs हर commit के लिए बहुत धीमे हैं, तो वे रोज रात चलते हैं, और CI में एक छोटे sample पर तेज smoke training चलती है ताकि साबित हो कि pipeline अब भी end to end चलती है।