Tu análisis muestra que los usuarios de una funcionalidad retienen el doble. ¿Puedes decirle al equipo de producto que empuje a todo el mundo hacia ella?

No, no a partir de esa comparación. Los usuarios que adoptan una funcionalidad se autoseleccionan: ya estaban más comprometidos, y eso impulsa tanto la adopción como la retención, así que la mayor parte de la diferencia está confundida. Para afirmar causalidad necesitas un experimento aleatorizado, o un diseño cuasiexperimental creíble como diferencias en diferencias, una variable instrumental o una regresión discontinua alrededor de algún corte de elegibilidad.

Yo lo cuestionaría, con educación. La gente que activó esa funcionalidad no es una muestra aleatoria; son las personas que ya estaban lo bastante metidas en el producto como para encontrarla. El compromiso previo impulsa tanto la adopción como la retención, así que la mayor parte de ese 2x probablemente son los usuarios y no la funcionalidad. La respuesta limpia es un despliegue aleatorizado: reservas una porción, activas la funcionalidad para el grupo de tratamiento o al menos se la sugieres, y mides la retención. Eso lleva unas semanas, así que mientras tanto haría algo más útil que encogerme de hombros. Emparejaría por comportamiento del periodo previo, comparando adoptantes con no adoptantes que se veían idénticos el mes anterior a la adopción, y vería cuánto de la diferencia sobrevive. En un proyecto así la diferencia bruta era de unas 2x y el emparejamiento la recortó a algo así como 1,2x, que sigue valiendo algo pero es un caso de negocio completamente distinto. Les daría los dos números y sería explícito en que el emparejado es un techo del efecto causal, no una medición de él.