आप कैसे तय करेंगे कि CI pipeline के किस चरण में कौन से टेस्ट चलें?

चरणों को लागत और feedback की रफ्तार के हिसाब से क्रम दीजिए। हर commit पर linting और unit टेस्ट चलाइए, कुछ मिनटों का लक्ष्य रखकर। pull request पर integration और contract टेस्ट जोड़िए। किसी साझा environment पर deploy के बाद smoke टेस्ट को आगे बढ़ने के दरवाजे की तरह चलाइए। पूरा regression suite और performance तथा accessibility जैसी धीमी जांचें रात में या release से पहले चलाइए।

मैं इसे इस हिसाब से डिजाइन करता हूं कि कोई developer सच में कितनी देर इंतजार करेगा, जो ज्यादा नहीं है। हर commit पर: linting, static analysis, और unit टेस्ट, और मैं इसे करीब पांच मिनट के नीचे रखता हूं, क्योंकि उससे आगे लोग दूसरे काम में लग जाते हैं और feedback अपनी ज्यादातर कीमत खो देता है। pull request पर: containers में असली dependencies के खिलाफ integration टेस्ट, साथ ही contract टेस्ट, ताकि जो कुछ किसी दूसरी service को तोड़ता है वह किसी साझा environment की जगह यहीं फेल हो। deploy के बाद, एक smoke suite जो आगे बढ़ने का दरवाजा रोकती है, शायद पंद्रह टेस्ट जो साबित करें कि build जिंदा है और अहम यात्राएं चलती हैं। फिर रात में, पूरी regression run और महंगी जांचें, यानी performance, accessibility scans, और dependency तथा security scanning। release से पहले, जो बदला है उस पर जोखिम आधारित एक निशाने वाला दौर। जो नियम मैं लागू करता हूं वह यह है कि अगर कोई चरण दरवाजा है तो वह सच में रोके, और अगर वह नहीं रोकता तो उसे दरवाजा बताया ही नहीं जाना चाहिए, क्योंकि हमेशा लाल रहने वाली pipeline जिसमें से सब merge करते जाते हैं, बिना किसी pipeline से भी बदतर है। इसीलिए flaky टेस्ट दरवाजे वाले चरणों से तुरंत बाहर निकलकर quarantine में बैठते हैं जब तक ठीक न हो जाएं।