Dein A/B-Test ist zu Ende und das Ergebnis ist nicht statistisch signifikant. Was empfiehlst du?

Nicht signifikant heißt nicht kein Effekt, es heißt, dass du bei deiner Stichprobengröße nicht zwischen Effekt und null unterscheiden konntest. Berichte das Konfidenzintervall: Wenn es jeden Effekt ausschließt, der sich zu launchen lohnt, ist das eine echte Antwort und du solltest nicht launchen. Wenn es breit ist und relevante Werte enthält, war der Test underpowered, und die ehrlichen Optionen sind länger laufen lassen, eine mutigere Änderung testen oder auf anderer Grundlage entscheiden.

Das Erste, was ich sage, ist, dass das kein Beleg dafür ist, dass die Änderung nichts bewirkt, sondern dass wir sie nicht von nichts unterscheiden konnten. Das Konfidenzintervall entscheidet, was als Nächstes passiert. Wenn es eng um null liegt, sagen wir zwischen minus 0,3 und plus 0,4 Prozent, ist das echt informativ: Jeder reale Effekt ist zu klein, um die Wartungskosten zu rechtfertigen, also nicht launchen, und das ist ein nützliches Ergebnis und kein Scheitern. Wenn es von minus 4 bis plus 6 Prozent reicht, haben wir nichts gelernt und der Test war underpowered, also sind die Optionen: länger laufen lassen, wenn der Traffic es hergibt, eine mutigere Version der Idee testen, oder auf anderer Grundlage wie Strategie oder Designkonsistenz entscheiden und offen sagen, dass die Daten das nicht entscheiden. Wogegen ich mich wehre, ist so lange zu schneiden, bis etwas signifikant ist. Wenn du genug Segmente prüfst, findest du einen Gewinner im Rauschen, und ich habe gesehen, wie so ein Feature ausgeliefert wurde, das später überhaupt keinen Effekt gezeigt hat.