आपका automated suite करीब पांच प्रतिशत बार बिना वजह फेल हो जाता है। आप flaky टेस्ट से कैसे निपटते हैं?

पहले उन्हें quarantine कीजिए ताकि suite पर भरोसा लौटे, फिर retries से ढकने की जगह असली वजहें ठीक कीजिए। आम वजहें होती हैं timing और synchronization (तय sleep, race), साझा या बचा हुआ test data, टेस्ट का क्रम पर निर्भर होना, और अस्थिर environment। हल यह है कि अवधि की जगह किसी condition का इंतजार कीजिए, हर टेस्ट का data अलग रखिए, और हर टेस्ट को चलने के क्रम से आजाद बनाइए।

सबसे पहले मैं खून बहना रोकता हूं, क्योंकि जो suite बिना वजह फेल होता है उसे लोग नजरअंदाज करने लगते हैं, और एक बार लोग नजरअंदाज करने लगें तो आपके पास कोई safety net बचता ही नहीं। तो flaky टेस्ट एक अलग run में quarantine होते हैं जो pipeline को नहीं रोकता, एक ticket और एक मालिक के साथ, न कि मिटा दिए जाते हैं और न चुपचाप हमेशा के लिए retry होते रहते हैं। फिर मैं सच में उनकी जांच करता हूं। सबसे बड़ी टोकरी है synchronization: किसी ने तय sleep लगा दिया, या click के तुरंत बाद assert कर दिया जबकि request अब भी हवा में है। हल है किसी condition का इंतजार करना, यानी element का interactable होना या network call का पूरा होना, कभी कोई अवधि नहीं। दूसरी टोकरी है data: दो टेस्ट एक ही account इस्तेमाल कर रहे हैं, या कोई टेस्ट खाली स्थिति मान रहा है जिसे पिछली run ने गंदा कर दिया। मैं इसे हर टेस्ट के लिए एक अलग पहचान वाला data बनाकर ठीक करता हूं। तीसरा है क्रम पर निर्भरता, जिसे मैं जानबूझकर suite को random क्रम में चलाकर बाहर निकालता हूं। और मैं flake rate को एक dashboard पर ट्रैक करता हूं, क्योंकि जो नापा नहीं जाता वह वापस रेंगकर आ जाता है। करीब एक प्रतिशत से ऊपर कुछ भी मैं असली समस्या मानता हूं।