आपकी CI पाइपलाइन flaky है और टीम लाल builds को पढ़े बिना retry करने लगी है। इसे कैसे ठीक करेंगे?

flakiness को प्रोडक्शन incident की तरह लें, क्योंकि जिस पाइपलाइन पर किसी को भरोसा नहीं वह कोई सुरक्षा देती ही नहीं। पहले नापें: pass rate ट्रैक करें और जो tests बीच बीच में फेल होते हैं उन्हें quarantine करें ताकि main फिर हरा हो जाए। फिर quarantine किए गए tests को वजह के हिसाब से ठीक करें, जो आमतौर पर shared state, timing की धारणाएं, या कोई असली race condition होती है। नियम लागू करें कि quarantine अस्थायी है, उसका एक owner और एक तारीख है, ताकि वह कब्रिस्तान न बन जाए।

खतरनाक हिस्सा बर्बाद समय नहीं है, यह है कि लोगों ने सीख लिया है कि लाल का मतलब टूटा हुआ नहीं, तो जिस दिन असली regression आएगा वह भी retry होकर निकल जाएगा। मैं नापने से शुरू करता हूं, क्योंकि कौन से tests flaky हैं इस बारे में राय आमतौर पर गलत होती है। एक ही अनबदले commit पर suite बार बार चलाओ, या कुछ सौ runs पर हर test का pass rate ट्रैक करो, और आपको रैंक की गई सूची मिल जाती है। फिर सबसे बुरे वालों को blocking रास्ते से हटाकर quarantine करो ताकि main हरा हो और लाल का फिर मतलब बने, लेकिन quarantine एक owner और एक expiry तारीख के साथ, वरना वह ऐसा कब्रिस्तान बन जाता है जिसे कोई नहीं देखता। ठीक करने में वजहें झुंड में आती हैं: डेटाबेस या singleton के ज़रिए state साझा करते tests, सही इंतज़ार की जगह sleeps, और क्रम पर निर्भरता। और इनमें से कुछ असली bugs होते हैं। मैंने एक बार ऐसे test का पीछा किया जो पचास में एक बार फेल होता था और वह connection pool में असली race निकला, जो प्रोडक्शन में बीच बीच में होने वाली ऐसी दिक्कत बनता जिसे कोई दोहरा ही नहीं पाता।