Como você explicaria o que um valor p realmente significa para um product manager que acha que ele é a probabilidade de o resultado ser real?

Um valor p é a probabilidade de observar dados pelo menos tão extremos quanto os seus se a hipótese nula fosse verdadeira. Ele não é a probabilidade de a nula ser verdadeira e não é a probabilidade de o seu resultado ser real. Um p de 0.03 significa que dados assim tão extremos apareceriam três por cento das vezes em um mundo sem efeito nenhum.

Eu diria assim: o valor p responde uma pergunta estreita, que é o quanto esses dados seriam surpreendentes se a feature não fizesse nada. Se ele é 0.03, então em um mundo onde a mudança teve efeito zero, a gente ainda veria uma variação desse tamanho umas três vezes em cem. É só isso que ele diz. Não é uma chance de três por cento de a nula ser verdadeira, e definitivamente não é uma chance de noventa e sete por cento de a feature funcionar. Depois eu tiro o foco dele, porque sozinho ele é uma ferramenta ruim de decisão. Eu mostro o tamanho de efeito e o intervalo de confiança no lugar: o ganho é de 1.2 por cento, faixa plausível de 0.1 a 2.3 por cento. Isso muda a conversa de isso é real para a menor versão plausível disso vale a pena construir. Eu já tive lançamentos em que o p estava abaixo de 0.05 e o intervalo ainda incluía um ganho pequeno demais para pagar a engenharia, e essa é a conversa que realmente vale a pena.