¿Cómo le explicarías qué significa de verdad un p valor a un jefe de producto que cree que es la probabilidad de que el resultado sea real?

Un p valor es la probabilidad de ver datos al menos tan extremos como los tuyos si la hipótesis nula fuera cierta. No es la probabilidad de que la nula sea cierta, y no es la probabilidad de que tu resultado sea real. Un p de 0,03 significa que datos así de extremos aparecerían el tres por ciento de las veces en un mundo sin efecto.

Lo diría así: el p valor responde a una pregunta muy estrecha, que es cuán sorprendentes serían estos datos si la funcionalidad no hiciera nada en absoluto. Si es 0,03, entonces en un mundo donde el cambio tuviera efecto cero, seguiríamos viendo una oscilación así de grande unas tres veces de cada cien. Eso es todo lo que dice. No es un tres por ciento de probabilidad de que la nula sea cierta, y desde luego no es un noventa y siete por ciento de probabilidad de que la funcionalidad funcione. Luego los alejo de ahí, porque por sí solo es una mala herramienta de decisión. En su lugar les enseño el tamaño del efecto y el intervalo de confianza: la mejora es del 1,2 por ciento, rango plausible del 0,1 al 2,3 por ciento. Eso reencuadra la conversación de si es real a si la versión más pequeña que es plausible merece que la construyamos. He tenido lanzamientos donde el p estaba por debajo de 0,05 y el intervalo aun así incluía una mejora demasiado pequeña para pagar la ingeniería, y esa es la conversación que de verdad merece la pena.