Dein Experiment ist durch und das Ergebnis ist flach, kein signifikanter Unterschied. Was machst du als Nächstes?

Flach ist ein Ergebnis, also berichte es auch als eines. Prüf zuerst die Validität: Sample Ratio Mismatch, Instrumentierung und ob der Test überhaupt je Power für den interessierenden Effekt hatte. Prüf dann, ob das Konfidenzintervall einen relevanten Effekt ausschließt oder schlicht zu breit ist, um etwas zu sagen. Schau zum Schluss nur auf vorab registrierte Segmente, ohne zu fischen.

Zuerst stelle ich sicher, dass es eine echte Null ist und kein kaputter Test. Ich prüfe das Sample Ratio: Wenn ich fünfzig zu fünfzig erwartet habe und über ein paar hunderttausend Nutzer 50,8 zu 49,2 bekomme, stimmt etwas mit der Zuweisung nicht und das ganze Ergebnis ist verdächtig. Ich prüfe, dass die Instrumentierung in beiden Armen gefeuert hat und dass die Guardrail-Metriken plausibel aussehen. Wenn das hält, gehe ich auf das Intervall statt auf den p-Wert. Liegt der Lift bei 0,1 Prozent mit einem Intervall von plus minus 0,4, ist das wirklich informativ: Wir können alles ausschließen, was sich zu shippen lohnt. Sind es plus minus 6 Prozent, konnte der Test schlicht nichts sehen, und kein Effekt zu sagen wäre falsch. Danach schaue ich auf die Segmente, die wir vor dem Launch benannt haben, und nur auf die. Ich slice nicht, bis etwas signifikant wird, und das sage ich laut, denn üblicherweise gibt es Druck, einen Überlebenden zu finden. Dann gebe ich eine Empfehlung. Meist lautet die nicht shippen, hier ist, was ich an der Hypothese ändern würde, und ehrlich gesagt ist eine saubere Null, die uns davon abhält, noch ein Quartal in eine tote Idee zu stecken, ein gutes Ergebnis.