Como você combina dados qualitativos e quantitativos quando eles discordam?

Trate como respostas a perguntas diferentes: analytics te diz o que está acontecendo e em que escala, o trabalho qualitativo te diz por quê. Quando discordam, cheque primeiro a medição (definições de evento, segmentos, intervalos de data) porque a instrumentação está errada com mais frequência do que as pessoas imaginam. Depois procure um efeito de segmento, já que uma média pode esconder dois grupos se comportando em direções opostas.

Meu primeiro movimento não é escolher um vencedor, é checar se a gente está sequer medindo o que acha que está. Já perdi a conta das vezes em que uma queda assustadora era um evento que parou de disparar depois de um release, ou um funil que contava um passo duas vezes. Então eu vou ler as definições de evento com um analista ou um engenheiro antes de discutir com alguém. Se a medição se sustenta, eu segmento. Médias mentem o tempo todo. Num projeto a taxa de conclusão parecia estável depois de uma mudança, e quando a gente separou por dispositivo o desktop tinha subido de forma significativa e o mobile tinha caído quase exatamente o mesmo tanto. São duas histórias diferentes e a média tinha apagado as duas. As entrevistas então explicaram o lado mobile: a ação principal ficava abaixo da dobra em telas menores com o teclado aberto. Esse é o padrão em geral. Os números me dizem para onde apontar a câmera, as sessões me dizem o que está acontecendo no quadro, e nenhum dos dois sozinho bastava para decidir.