Was ist das Simpson-Paradoxon, und hast du es schon in echten Daten gesehen?

Das Simpson-Paradoxon ist, wenn sich ein Trend, der in jeder Untergruppe auftaucht, umkehrt, sobald man die Gruppen zusammenfasst, weil Gruppengrößen und Basisraten sich unterscheiden. Ein Klassiker ist eine Behandlung, die sowohl bei leichten als auch bei schweren Fällen besser abschneidet und insgesamt trotzdem schlechter aussieht, weil sie überproportional an schwere Fälle gegeben wurde. Der Fix ist, auf die konfundierende Variable zu segmentieren, statt dem Aggregat zu glauben.

Es ist der Fall, dass jede Untergruppe in die eine Richtung zeigt und die gepoolten Daten in die andere, getrieben von ungleichen Gruppengrößen. Ich bin über eine Variante davon gestolpert, als ich zwei Akquisekanäle verglichen habe. Kanal A hatte die schlechtere Gesamt-Conversion-Rate, der naheliegende Schritt war also, sein Budget zu kürzen. Als ich nach Gerät aufgeteilt habe, konvertierte Kanal A sowohl auf Mobile als auch auf Desktop besser. Der Grund für die Umkehrung im Aggregat war, dass Kanal A überwiegend Mobile-Traffic geschickt hat und Mobile für alle schlechter konvertiert, der Kanal wurde also für seinen Mix bestraft und nicht für seine Qualität. Ihn zu kürzen wäre die falsche Entscheidung gewesen. Seitdem prüfe ich standardmäßig das Aggregat gegen zwei oder drei naheliegende Segmente, bevor ich irgendetwas präsentiere, meistens Gerät, Region und neu versus wiederkehrend. Ich würde ergänzen, dass Segmentieren auch nicht automatisch richtig ist. Wenn du weit genug schneidest, findest du eine Geschichte im Rauschen, also entscheide ich anhand dessen, was das Ergebnis plausibel verursacht, auf welche Variablen ich segmentiere, und nicht durch die Suche nach dem Split, der mir recht gibt.