Wie würdest du einen A/B-Test für eine Änderung am Checkout-Flow aufsetzen?

Schreib zuerst die Hypothese: welche Änderung, welcher Effekt, auf welche Metrik, für wen. Nimm eine primäre Metrik (abgeschlossene Käufe pro Besucher, nicht Klicks), definier Guardrails wie Rückerstattungen und Supportkontakte, berechne Stichprobengröße und Laufzeit vor dem Start und deck volle Wochenzyklen ab. Guck nicht zwischendurch rein und brich nicht an einem guten Tag früh ab; so liefern Teams Änderungen aus, die nichts bewirken.

Ich fange mit einer Hypothese an, bei der ich falsch liegen könnte: die Lieferkosten oberhalb des sichtbaren Bereichs zu zeigen senkt den Abbruch im Bezahlschritt um mindestens zwei Prozentpunkte, bei Neukunden auf Mobil. Dann eine primäre Metrik, und die muss abgeschlossene Käufe pro Besucher sein und nicht Klicks auf den Button, denn mehr Klicks bekomme ich immer, indem ich etwas schreiender mache. Guardrails wären Rückerstattungsquote und Supportkontakte, denn ein Checkout, der mehr konvertiert, aber Leute verwirrt, verschiebt die Kosten nur woandershin. Vor dem Start lasse ich die Stichprobenberechnung mit der Person machen, die Experimente verantwortet, und ich fahre mindestens zwei volle Wochen, damit Werktags- und Wochenendverhalten beide drin sind. Die Regel, an der ich am härtesten festhalte, ist nicht zwischendurch reinzugucken. Jeder Test sieht am dritten Tag signifikant aus, wenn du blinzelst. Und ich würde gegen einen Test argumentieren, wenn der Traffic zu klein ist, um den Effekt zu erkennen, oder wenn es eine grundlegende Änderung wie ein neues Navigationsmodell ist, wo ich lieber gestaffelt ausrolle und eine Kohorte beobachte.