O que um p valor de fato significa, e o que ele não te diz?

Um p valor é a probabilidade de observar um resultado pelo menos tão extremo quanto o seu se a hipótese nula fosse verdadeira. Ele não dá a probabilidade de a hipótese nula ser verdadeira, e não diz que o efeito é importante. Um p valor pequeno com um tamanho de efeito minúsculo em uma amostra enorme é estatisticamente significativo e muitas vezes comercialmente irrelevante, então sempre reporte o tamanho do efeito e o intervalo de confiança.

Um p valor é a probabilidade de ver dados pelo menos tão extremos quanto estes supondo que a hipótese nula é verdadeira. A direção importa, porque a leitura errada mais comum é como se fosse a probabilidade de a nula ser verdadeira, ou pior, a probabilidade de o teste ter funcionado, e essas são afirmações completamente diferentes. O que ele definitivamente não diz é se o resultado importa. Em uma amostra grande o suficiente quase qualquer coisa atinge significância. Eu tive um teste em que uma mudança de botão foi significativa com p abaixo de 0,01 e o ganho real foi de 0,1% em uma métrica com um intervalo de confiança largo que incluía valores pequenos demais para pagar o trabalho de engenharia. Então o que eu apresento para stakeholders é o tamanho do efeito com intervalo de confiança, e enquadro assim: a nossa melhor estimativa é um ganho de 2%, plausivelmente entre 0,5% e 3,5%. Isso dá às pessoas algo que elas conseguem pesar contra o custo. Eu também fico de olho em comparações múltiplas, já que testar quinze métricas garante um par de falsos positivos.