Vous avez mené une seule expérience mais découpé les résultats de vingt façons, et trouvé deux segments significatifs. Que dites-vous à l'équipe ?

Traitez cela comme des hypothèses, pas comme des résultats. À alpha 0,05, tester vingt découpages donne environ 64% de chances d'au moins un faux positif même quand rien n'est réel, donc deux résultats positifs correspondent à ce que produit le bruit pur. Appliquez une correction comme Benjamini-Hochberg, ou mieux, pré-enregistrez les segments qui vous intéressent et confirmez toute surprise dans un nouveau test.

Je leur dirais qu'on a trouvé deux pistes, pas deux résultats. Avec vingt tests indépendants à 0,05, la probabilité d'au moins un faux positif sous une hypothèse nulle vraie est d'environ 64%, et le nombre attendu est de un. Donc deux est en plein dans ce que produit le bruit. Ensuite j'appliquerais Benjamini-Hochberg plutôt que Bonferroni, parce que Bonferroni sur vingt tests est brutalement conservateur et tuerait probablement un vrai effet en même temps que le bruit ; le contrôle du taux de fausses découvertes est le bon outil quand on fait du criblage. En général l'un des deux, ou les deux, disparaissent. Si quelque chose survit, je le traite quand même comme une hypothèse et je le dis : la suite honnête est un test de confirmation ciblant ce segment précis, avec le segment déclaré avant qu'on ne regarde. J'ai vu l'inverse se produire, une équipe déployant sur un segment à partir d'un résultat découpé, et l'effet a disparu à l'échelle ; le coût n'était pas seulement la fonctionnalité gaspillée, c'est que plus personne n'a fait confiance à la plateforme d'expérimentation pendant un trimestre.