¿Qué significa realmente un valor p y qué no te dice?

Un valor p es la probabilidad de observar un resultado al menos tan extremo como el tuyo si la hipótesis nula fuera cierta. No da la probabilidad de que la hipótesis nula sea cierta y no te dice que el efecto sea importante. Un valor p pequeño con un tamaño de efecto minúsculo sobre una muestra enorme es estadísticamente significativo y a menudo comercialmente irrelevante, así que reporta siempre el tamaño del efecto y el intervalo de confianza.

Un valor p es la probabilidad de ver datos al menos tan extremos como estos asumiendo que la hipótesis nula es cierta. La dirección importa, porque la forma en que suele malinterpretarse es como la probabilidad de que la nula sea cierta o, peor, la probabilidad de que la prueba haya funcionado, y son afirmaciones completamente distintas. Lo que desde luego no te dice es si el resultado importa. Con una muestra lo bastante grande casi cualquier cosa alcanza significancia. Tuve un test donde un cambio de botón era significativo con p por debajo de 0.01 y la mejora real era de un 0.1% en una métrica con un intervalo de confianza amplio que incluía valores demasiado pequeños para pagar el trabajo de ingeniería. Así que lo que presento a las partes interesadas es el tamaño del efecto con un intervalo de confianza, y lo enmarco como nuestra mejor estimación es una mejora del 2%, plausiblemente entre el 0.5% y el 3.5%. Eso les da algo que pueden sopesar contra el coste. También vigilo las comparaciones múltiples, ya que probar quince métricas garantiza un par de falsos positivos.