Tienes una versión nueva del modelo que se ve mejor offline. ¿Cómo la despliegas de forma segura?

Publícala a oscuras primero: ejecútala en modo sombra junto al modelo vigente, puntuando tráfico real sin actuar sobre la salida, y compara distribuciones de puntuación, latencia y disponibilidad de características. Si eso pinta razonable, pasa a un canario en un porcentaje pequeño con un experimento online sobre la métrica de negocio, más guardarraíles. Mantén cargada la versión antigua para que la vuelta atrás sea un cambio de configuración y no un redespliegue.

Mejor offline no significa mejor online, así que nunca promuevo directamente por un número de validación. El primer paso es el modo sombra: el modelo nuevo puntúa las mismas peticiones reales, registramos su salida, y nada actúa sobre ella. Eso pilla las cosas aburridas pero fatales, diferencias en la disponibilidad de características, regresiones de latencia, nulos inesperados, y me deja comparar las dos distribuciones de puntuación sobre tráfico idéntico. Si las puntuaciones del modelo nuevo están desplazadas, hay que mover los umbrales aguas abajo aunque la calidad del ranking haya mejorado, y eso es mucho mejor descubrirlo en sombra que en producción. Luego un canario en un pequeño porcentaje con un experimento online en condiciones sobre la métrica de negocio, no sobre el AUC. En paralelo defino guardarraíles por adelantado: latencia p99, tasa de error, y algo que pille al modelo equivocándose con confianza de un modo que la métrica principal no vería, como un desplazamiento grande en la tasa de marcado. La vuelta atrás tiene que ser un cambio de configuración con la versión antigua todavía cargada, así que tarda segundos, y escribo los números que la disparan antes de lanzar, porque decidir si una métrica está lo bastante mal mientras cae es un momento pésimo para formarse opiniones.