Qu'est-ce que le paradoxe de Simpson, et l'avez-vous rencontré sur des données réelles ?

Le paradoxe de Simpson, c'est quand une tendance présente dans chaque sous-groupe s'inverse une fois les groupes agrégés, parce que les tailles de groupes et les taux de base diffèrent. Le cas classique est un traitement qui fait mieux à la fois chez les patients légers et chez les patients graves, mais qui paraît moins bon globalement parce qu'il a été donné de façon disproportionnée aux cas graves. Le remède est de segmenter sur la variable confondante plutôt que de faire confiance à l'agrégat.

C'est quand chaque sous-groupe montre un sens et que les données agrégées montrent l'inverse, sous l'effet de tailles de groupes déséquilibrées. J'ai rencontré une version de ça en comparant deux canaux d'acquisition. Le canal A avait un taux de conversion global moins bon, donc le réflexe évident était de couper son budget. En découpant par appareil, le canal A convertissait mieux à la fois sur mobile et sur ordinateur. Si l'agrégat s'inversait, c'est que le canal A envoyait un trafic massivement mobile, et que le mobile convertit moins bien pour tout le monde : le canal était pénalisé pour sa composition, pas pour sa qualité. Le couper aurait été une erreur. Depuis, mon réflexe par défaut est de confronter l'agrégat à deux ou trois segments évidents avant de présenter quoi que ce soit, en général l'appareil, la zone géographique, et nouveaux contre récurrents. J'ajouterais que segmenter n'est pas automatiquement correct non plus. Si vous découpez assez loin, vous trouverez une histoire dans du bruit, donc je choisis les variables de segmentation selon ce qui cause plausiblement le résultat, pas en cherchant le découpage qui me donne raison.