Tu modelo sacó 0,88 de AUC fuera de línea pero rinde bastante peor en producción. ¿Cómo lo depuras?

Recorre la brecha en orden: verifica que la métrica de producción se calcula igual, comprueba si hay desviación entre entrenamiento y servicio, luego busca fuga en el montaje offline y después mira si hay desplazamiento de distribución. La desviación de servicio y la fuga son mucho más comunes que la deriva genuina en las primeras semanas tras el lanzamiento. Registra los vectores de variables servidos y vuelve a puntuarlos fuera de línea para aislar dónde divergen los números.

Primero compruebo que estoy comparando lo mismo con lo mismo. El AUC offline se calcula a menudo sobre una instantánea etiquetada con otra población y otro retraso de etiqueta que producción, y la mitad de las veces la brecha se debe en parte a eso. Después busco desviación entre entrenamiento y servicio, que en mi experiencia es la causa más común. Registro los vectores de variables reales que usó el servicio, los vuelvo a puntuar con el modelo offline y comparo con lo que emitió producción. Si difieren, el bug está en el pipeline de servicio y no en el modelo, y suele ser algo aburrido como una categoría que cae en desconocido o una diferencia de zona horaria que desplaza una ventana móvil. Si las puntuaciones coinciden, sospecho de fuga offline, es decir, que alguna variable se calculó después de conocer la etiqueta. La pista es una variable con una importancia inverosímil. Solo entonces pruebo la deriva, comparando distribuciones de variables y la tasa base entre el entrenamiento y ahora. Mientras tanto no lo dejaría sangrando: vuelvo al modelo anterior o a una línea base de reglas para el segmento afectado, y aviso a los interesados de que el número se movió antes de que lo descubran ellos.