Ein Product Manager will nächste Woche einen A/B-Test starten. Wie ermittelst du, wie lange er laufen muss?

Rechne rückwärts vom Minimum Detectable Effect. Du brauchst die Baseline-Rate, den kleinsten Lift, der sich zu shippen lohnt, das Signifikanzniveau und die gewünschte Power (meist 80 Prozent). Daraus ergibt sich die nötige Stichprobe pro Arm, geteilt durch den täglichen zulässigen Traffic ergibt das Tage. Dann auf volle Wochen aufrunden, damit Wochentagszyklen abgedeckt sind, und die Laufzeit vor dem Start festnageln.

Ich frage vier Dinge: Wie hoch ist die aktuelle Conversion Rate, was ist der kleinste Lift, bei dem wir das wirklich shippen würden, welches Alpha nutzen wir und welche Power wollen wir. Das zweite ist das eigentliche Gespräch, und es ist eine Geschäftsfrage, keine statistische. Wenn sie sagen jeder Lift zählt, zeige ich ihnen die Rechnung: Bei 3 Prozent Baseline braucht ein relatives halbes Prozent Millionen Nutzer pro Arm, die haben wir nicht, wir würden also einen Test fahren, der nicht erfolgreich sein kann. Meist landen sie bei etwa 5 Prozent relativem Lift, was bei unserem Traffic vielleicht elf Tage bedeutet. Dann runde ich auf vierzehn auf, damit wir zwei volle Wochenzyklen abdecken, denn Wochenendnutzer verhalten sich anders und ein Zehn-Tage-Test übergewichtet die Tage, die zufällig drin sind. Und ich schreibe das Stoppdatum vor dem Launch auf. Die Gewohnheit, die Teams killt, ist tägliches Reinschauen und Abbrechen, sobald p unter 0,05 rutscht, was die False-Positive-Rate massiv aufbläht. Wenn sie wirklich frühe Zwischenstände brauchen, setze ich stattdessen einen sequenziellen Test sauber auf, statt so zu tun, als wäre Spähen umsonst.