Wie würdest du einen A/B-Test für einen neuen Checkout-Flow designen?

Leg eine primäre Metrik und den kleinsten Effekt fest, der sich zu erkennen lohnt, und berechne vor dem Launch die nötige Stichprobengröße und Laufzeit. Randomisiere auf Nutzerebene, nicht auf Session-Ebene, damit ein wiederkehrender Nutzer immer dieselbe Variante sieht. Lass ganze Wochen laufen, damit Wochenzyklen abgedeckt sind, prüf, ob die Randomisierung gehalten hat, und entscheide vorab, welches Ergebnis einen Launch auslöst. Verfolg Guardrail-Metriken neben der primären.

Ich würde damit anfangen, eine primäre Metrik festzunageln, beim Checkout also abgeschlossene Käufe pro Nutzer, der in den Checkout einsteigt, nicht Klicks, und dann fragen, welche Verbesserung ein Ausrollen überhaupt rechtfertigen würde. Dieser kleinste nachweisbare Effekt bestimmt die Stichprobengröße, und Stichprobengröße plus unser Tagestraffic ergibt die Laufzeit. Wenn dabei elf Wochen rauskommen, ist die ehrliche Antwort, dass dieser Test sich nicht lohnt und wir anders entscheiden sollten. Randomisiert wird auf Nutzerebene mit einer persistenten ID, denn Zuweisung pro Session heißt, dass ein wiederkehrender Kunde zwei verschiedene Checkouts sieht, was die Daten verunreinigt und ihn nervt. Ich lasse in ganzen Wochenvielfachen laufen, weil sich Verhalten an Werktagen und am Wochenende deutlich unterscheidet. Ich lege außerdem die Guardrails vorab fest, also Rückgabequote und Support-Kontakte, und die Launch-Regel. Und ich breche nicht an einem guten Tag früh ab; wiederholtes Reinschauen in einen laufenden Test treibt die Falschpositivrate übel hoch, was ich schon habe passieren sehen.