आप कैसे तय करते हैं कि क्या automate करना है और क्या manual testing रहने देना है?

उसे automate कीजिए जो दोहराव वाला, स्थिर और निष्पक्ष रूप से जांचा जा सकने वाला हो, जहां जांच की लागत बार बार आती है: regression के रास्ते, अहम यात्राएं, data से चलने वाले क्रम, और API contracts। usability, दिखने की परख, एक बार की जांच, और जो कुछ हर हफ्ते बदल रहा हो, उसे manual और exploratory testing के लिए रखिए, क्योंकि वहां automation अपनी लागत वसूल करने से पहले ही दोबारा लिखा जा चुका होगा।

मैं इसे किसी दार्शनिक रुख की जगह टेस्ट की पूरी उम्र पर मिलने वाले फायदे की तरह देखता हूं। अच्छे उम्मीदवार वे जांचें हैं जो सैकड़ों बार चलेंगी, ऐसे इलाकों में जो स्थिर हैं, और जिनका पास या फेल दो टूक है: मुख्य यात्राओं के आसपास regression, दस इलाकों के tax नियमों जैसे बहुत सारे क्रम वाले मामले, और API contracts। ये जल्दी अपनी लागत लौटा देते हैं और इन्हें कोई इंसान करे तो वह इंसान की बर्बादी है। manual वह रहता है जिसमें परख चाहिए। यह layout टूटा हुआ दिखता है क्या, यह error message सच में समझ आता है क्या, यह flow पहली बार देखने वाले को समझ आएगा क्या। कोई automated टेस्ट खुशी खुशी पक्का कर देगा कि button मौजूद है जबकि वह किसी modal के पीछे छिपा बैठा हो। मैं ऐसे इलाके को automate करने से भी रुकता हूं जो अब भी हर हफ्ते बदल रहा है, क्योंकि कुछ पकड़ने से पहले मैं टेस्ट तीन बार दोबारा लिख चुका होऊंगा, तो design के जमने तक मैं उसे exploratory तरीके से कवर करता हूं। और मैं exploratory testing का बचाव उसे बचे हुए काम की जगह अपने आप में एक अनुशासन मानकर करता हूं। automation उन चीजों की जांच करती है जिनके बारे में हम पहले से पूछना जानते थे। exploratory testing वह तरीका है जिससे हम उन सवालों तक पहुंचते हैं जो किसी ने सोचे ही नहीं, और गंभीर defects कहीं ज्यादा बार वहीं से आते हैं।