Du lieferst einen Redesign aus und die primäre Metrik fällt. Was machst du in der ersten Woche?

Roll nicht am ersten Tag zurück und gestalte nicht sofort um. Bestätige, dass die Messung echt ist, und segmentier dann nach Nutzertyp, Gerät und Zugehörigkeitsdauer, denn ein Neuheitseinbruch bei Bestandsnutzern sieht in der Summe genauso aus wie ein kaputtes Design. Schau Session-Aufnahmen und das Supportvolumen nach dem konkreten Fehler durch. Entscheide innerhalb eines vereinbarten Fensters, ob es sich erholt, einen Fix braucht oder zurückgenommen werden muss.

Als Erstes prüfe ich, ob wir dasselbe messen wie letzte Woche. Redesigns verändern Markup und Event-Trigger, und ein kaputtes Event sieht exakt aus wie eine Katastrophe. Das hat mich zweimal erwischt. Dann segmentiere ich, und die Aufteilung, die mir am wichtigsten ist, ist neu gegen bestehend. Sind neue Nutzer in Ordnung und bestehende gefallen, ist das sehr wahrscheinlich Umlernen und erholt sich meist über zwei bis drei Wochen. Sind neue Nutzer auch gefallen, ist das Design tatsächlich schlechter und ich will wissen, wo. Also schaue ich mir zwanzig Aufnahmen von Sessions an, die die Aufgabe nicht geschafft haben, was unangenehm ist und extrem schnell zur Wahrheit führt. Bei einem Launch war es ein einzelnes Bedienelement, das nicht mehr als klickbar gelesen wurde, weil wir es zu leise gemacht hatten, ein Ein-Tages-Fix statt eines Rollbacks. Der wichtige Teil ist, die Entscheidungsregel vor dem Launch zu vereinbaren: welcher Einbruch löst eine Rücknahme aus und wie lange warten wir. Das zu entscheiden, während alle nervös sind und die Zahl rot ist, ist der Weg, gute Arbeit wegzuwerfen.