कोई ऐसा design बताइए जो ship होने के बाद काम नहीं आया।

साफ metric या user के संकेत वाली कोई असली नाकामी चुनिए, बताइए कि उस वक्त आप क्या मानते थे और वह मानना वाजिब क्यों था, फिर दिखाइए कि सबूत ने किसे गलत साबित किया। हल और उसके बाद अपनी प्रक्रिया में हुआ बदलाव बताइए। भेस बदली शेखी से बचिए: यह बहुत लोकप्रिय हो गया कोई नाकामी नहीं है और इंटरव्यूअर इसे सुन चुके हैं।

हमने किसी marketplace के search page पर filter panel दोबारा बनाया। टेस्टिंग में वह साफ सुथरा और तेज था, और सबको पसंद आया, मुझे भी। हमने उसे एक साथ सबके लिए ship कर दिया, और असली गलती यही थी। हफ्ते भर में saved search का इस्तेमाल करीब एक तिहाई गिर गया। हमसे यह छूटा था कि power users, शायद 8% लोग पर लेनदेन में उनका हिस्सा कहीं बड़ा, पुरानी जगहें याद कर चुके थे और उस panel को दिन में दर्जनों बार इस्तेमाल करते थे। हमारे usability sessions सब नए users के साथ थे, क्योंकि उन्हें जुटाना आसान था, तो हमने पहली बार समझने के लिए बेहतर बनाया और चुपचाप उन्हीं पर कर लगा दिया जो इसे सबसे ज्यादा इस्तेमाल करते थे। हमने keyboard shortcuts लौटाकर और लोगों को अपने अक्सर वाले filters pin करने देकर इसे ठीक किया, और आंकड़े करीब तीन हफ्तों में संभल गए। उसके बाद दो चीजें हमेशा के लिए बदलीं। अब मैं सिर्फ segment नहीं, इस्तेमाल की बारंबारता से लोग जुटाता हूं, और मैं ज्यादा इस्तेमाल होने वाली किसी सतह का redesign बिना चरणबद्ध rollout के एक साथ सबको ship नहीं करता।