O que é o paradoxo de Simpson, e você já viu isso em dados reais?

O paradoxo de Simpson é quando uma tendência que aparece em todos os subgrupos se inverte quando os grupos são combinados, porque os tamanhos dos grupos e as taxas base diferem. Um caso clássico é um tratamento que vai melhor tanto no grupo de pacientes leves quanto no de graves e mesmo assim parece pior no total, porque foi dado desproporcionalmente aos casos graves. A correção é segmentar pela variável confundidora em vez de confiar no agregado.

É quando cada subgrupo mostra uma direção e os dados juntos mostram o oposto, puxados por tamanhos de grupo desiguais. Eu esbarrei em uma versão disso comparando dois canais de aquisição. O canal A tinha uma taxa de conversão pior no total, então a jogada óbvia era cortar o orçamento dele. Quando eu separei por dispositivo, o canal A convertia melhor tanto no mobile quanto no desktop. O motivo de o agregado inverter era que o canal A mandava tráfego esmagadoramente mobile, e mobile converte pior para todo mundo, então o canal estava sendo penalizado pela mistura e não pela qualidade. Cortar teria sido a decisão errada. Desde então meu padrão é conferir o agregado contra dois ou três segmentos óbvios antes de apresentar qualquer coisa, normalmente dispositivo, geografia e novo versus recorrente. Eu acrescentaria que segmentar também não é automaticamente correto. Se você fatia o suficiente, encontra uma história no ruído, então eu decido por quais variáveis segmentar com base no que plausivelmente causa o resultado, e não caçando o corte que concorda comigo.