Lanzas un rediseño y la métrica principal cae. ¿Qué haces la primera semana?

No reviertas ni rediseñes el primer día. Confirma que la medición es real, después segmenta por tipo de usuario, dispositivo y antigüedad, porque una bajada por novedad entre usuarios existentes se ve idéntica a un diseño roto en el agregado. Mira grabaciones de sesión y el volumen de soporte buscando el fallo concreto. Decide dentro de una ventana acordada si se recupera, necesita un arreglo o necesita revertirse.

Lo primero, compruebo que estamos midiendo lo mismo que medíamos la semana pasada. Los rediseños cambian el marcado y los disparadores de eventos, y un evento roto se ve exactamente igual que una catástrofe. Eso me ha pillado dos veces. Después segmento, y la división que más me importa es usuarios nuevos frente a existentes. Si los nuevos están bien y los existentes han caído, es muy probable que sea reaprendizaje y suele recuperarse en dos o tres semanas. Si los nuevos también han caído, el diseño es genuinamente peor y quiero saber dónde. Así que miro veinte grabaciones de sesiones que fallaron la tarea, lo cual es desagradable y extremadamente rápido para encontrar la verdad. En un lanzamiento era un solo control que ya no se leía como clicable porque lo habíamos hecho demasiado discreto, un arreglo de un día en vez de una reversión. La parte importante es acordar la regla de decisión antes de lanzar: qué tamaño de caída dispara una reversión y cuánto esperamos. Decidir eso mientras todo el mundo está nervioso y el número está en rojo es como se tira a la basura el buen trabajo.