Alguien de negocio dice que los usuarios que usan la función X retienen mejor, así que deberíamos empujar a todo el mundo a usarla. ¿Cómo respondes?

Eso es una correlación, y la explicación más probable es la selección: los usuarios comprometidos adoptan más funciones, así que la función puede ser un síntoma de la retención y no su causa. Dilo sin cerrar la idea y luego propón una forma de probarlo, idealmente un experimento aleatorizado o, en su defecto, una comparación de cohortes emparejadas o un análisis de diferencias en diferencias alrededor de un lanzamiento.

Diría que es una señal prometedora y luego explicaría por qué todavía no puedo concluirla. La historia más probable es que los usuarios comprometidos prueban más funciones, así que adoptar la función X es una marca de compromiso y no su causa, y empujar a un usuario poco comprometido puede no lograr nada. También hay una lectura simple de causalidad inversa: quienes iban a quedarse son los que siguen ahí para descubrir la función. La respuesta limpia es un test aleatorizado, o sea empujar a un subconjunto aleatorio hacia la función y comparar la retención contra un grupo de control, lo que nos da el efecto causal exactamente sobre la población a la que apuntaríamos. Si no podemos ejecutar eso, miraría diferencias en diferencias alrededor del lanzamiento de la función, o emparejaría usuarios por actividad previa, antigüedad y plan y compararía casos similares. Cuando hice la versión emparejada de esto con una función de onboarding, unas dos terceras partes de la mejora aparente desaparecieron, y eso cambió la decisión de hoja de ruta.