smoke, sanity और regression testing में क्या फर्क है, और हर एक कब चलती है?

smoke टेस्ट चौड़ा और उथला होता है, यह देखता है कि build टेस्ट करने लायक स्थिर है या नहीं, और यह deployment के तुरंत बाद चलता है। sanity जांच संकरी और गहरी होती है, किसी बदलाव के बाद एक खास fix या इलाके को परखती है। regression testing वह चौड़ा suite है जो पक्का करता है कि पुराना behavior अब भी चलता है, और चूंकि वह हर commit के लिए बहुत धीमा है, वह रात में या release से पहले चलता है।

मैं इसे दो धुरियों पर सोचता हूं, चौड़ाई और गहराई। smoke चौड़ा और उथला है: app चलता है क्या, home page दिखता है क्या, कोई user log in कर सकता है क्या, मुख्य API जवाब देता है क्या। यह किसी भी environment पर हर deployment के तुरंत बाद चलता है और यह तय करता है कि बाकी कुछ चलाने का कोई मतलब भी है या नहीं। अगर smoke फेल होता है तो हम रुककर build ठीक करते हैं, पचास आगे की failures debug नहीं करते। sanity संकरी और गहरी है: किसी developer ने discount की गणना ठीक की है, तो मैं उस गणना को कसकर परखता हूं और उसके ठीक आसपास जो है उसे भी। यह तेज है, निशाने पर है, और merge से पहले branch पर चलती है। regression वह चौड़ा suite है जो पक्का करता है कि जो पहले चलता था वह अब भी चलता है, और धीमा होने की वजह से वह हर commit की जगह रात में और release से पहले चलता है। जिस हिस्से को मैं सक्रिय रूप से संभालता हूं वह है regression suite का बढ़ना। suites तब तक बस बड़े ही होते जाते हैं जब तक कोई उनकी छंटाई न करे, तो मैं समय समय पर वे टेस्ट ढूंढता हूं जो किसी असली वजह से कभी फेल नहीं हुए, जो किसी निचली परत की coverage दोहरा रहे हैं, और जो हटाए जा चुके features के हैं। चार घंटे का suite जिस पर किसी को भरोसा नहीं, चालीस मिनट के उस suite से कम कीमती है जिस पर लोग कार्रवाई करते हैं।