Dein A/B-Test kommt flach zurück. Was machst du als Nächstes?

Prüf zuerst, ob der Test überhaupt etwas hätte erkennen können: Stichprobengröße, Laufzeit über einen vollen Wochenzyklus, und ob die Änderung die Treatment-Gruppe tatsächlich erreicht hat, denn Instrumentierungsfehler erzeugen mehr flache Ergebnisse als schlechte Ideen. Dann segmentier, denn ein flacher Durchschnitt versteckt oft einen echten Gewinn in einer Kohorte, der von einem Verlust in einer anderen ausgeglichen wird. Übersteht es das, nenn es ein echtes Nullergebnis und entscheide nach Kosten.

Als Erstes prüfe ich, ob der Test überhaupt irgendetwas hätte erkennen können. War er auf die Effektgröße gepowert, die uns interessiert hat, lief er über einen vollen Wochenzyklus, und hat die Änderung die Leute in der Treatment-Gruppe tatsächlich erreicht. Der letzte Punkt fängt mehr flache Ergebnisse ab als schlechte Ideen. Ich hatte mal einen Test, bei dem ein Feature Flag für einen Teil der Treatment-Gruppe nicht ausgewertet wurde, wir haben also elf Tage lang nichts gegen nichts gemessen. Sobald ich der Verkabelung traue, segmentiere ich, denn eine flache Überschrift versteckt oft einen echten Zuwachs bei neuen Nutzern, der durch einen Rückgang bei Power-Usern aufgehoben wird, und das ist ein weit interessanterer Befund als der Durchschnitt. Ist es wirklich null, sage ich das klar, statt nach einem Segment zu jagen, das gut aussieht. Dann geht es um Kosten: billig zu halten und harmlos, dann behalten, sonst raus damit.