Un equipo de producto te pide definir una métrica norte para su funcionalidad. ¿Cómo lo enfocas?

Parte del valor que la funcionalidad aporta al usuario y luego busca el comportamiento medible más cercano a ese valor. Una buena métrica se mueve cuando el producto mejora de verdad, es difícil de manipular y está disponible lo bastante rápido como para guiar decisiones. Acompáñala de contramétricas que detecten daños, y prefiere una tasa o una medida por usuario a un total en bruto, ya que los totales suben con el crecimiento pase lo que pase con la calidad.

Empiezo preguntando qué se supone que hace la funcionalidad por el usuario, porque la métrica debería ser el proxy observable más cercano a eso. Luego la pongo a prueba preguntándome cómo la manipularía yo si fuera un cínico. Para una función de búsqueda, los clics por búsqueda suenan razonables hasta que caes en que los malos resultados también generan clics, así que una peor experiencia sube el número. Algo como la proporción de búsquedas que terminan en una acción completada en cinco minutos es más difícil de falsear. Siempre la acompaño de contramétricas, así que si optimizamos las notificaciones para el compromiso, las tasas de baja y de desinstalación van justo al lado en el mismo gráfico. Y empujo por tasas en vez de totales, porque las sesiones totales suben conforme crece la empresa y no te dicen nada sobre si la funcionalidad es buena. La última parte es acordar la definición por escrito con la persona de producto antes de que nadie construya un panel, porque renombrar una métrica cuando la gente ya tiene objetivos sobre ella es doloroso.