¿Qué es la paradoja de Simpson y la has visto en datos reales?

La paradoja de Simpson ocurre cuando una tendencia que aparece en todos los subgrupos se invierte al combinarlos, porque los tamaños de grupo y las tasas base son distintos. Un caso clásico es un tratamiento que funciona mejor tanto en pacientes leves como graves y aun así parece peor en conjunto porque se administró de forma desproporcionada a los casos graves. El arreglo es segmentar por la variable de confusión en vez de fiarse del agregado.

Es cuando cada subgrupo apunta en una dirección y los datos agrupados apuntan a la contraria, por culpa de tamaños de grupo desiguales. Me topé con una versión de esto comparando dos canales de adquisición. El canal A tenía peor tasa de conversión global, así que el movimiento obvio era recortarle presupuesto. Al separar por dispositivo, el canal A convertía mejor tanto en móvil como en escritorio. La razón de que el agregado se diera la vuelta era que el canal A traía tráfico abrumadoramente móvil, y el móvil convierte peor para todo el mundo, así que se estaba penalizando al canal por su mezcla y no por su calidad. Recortarlo habría sido la decisión equivocada. Desde entonces mi rutina es contrastar el agregado con dos o tres segmentos obvios antes de presentar nada, normalmente dispositivo, geografía y nuevos frente a recurrentes. Añadiría que segmentar tampoco es automáticamente correcto. Si troceas lo suficiente puedes encontrar una historia en el ruido, así que decido por qué variables segmentar según qué causa plausiblemente el resultado, no buscando el corte que me da la razón.