¿Cómo decides cuándo reentrenar un modelo en producción?

Dispara con evidencia, no solo con el calendario. Monitoriza la deriva de entradas, la distribución de predicciones y, donde las etiquetas lo permitan, el rendimiento real sobre una ventana móvil. Reentrena cuando una métrica cruza un umbral que definiste de antemano, o con una cadencia acorde a lo rápido que se mueve el dominio. Valida siempre el candidato contra el modelo vigente con datos recientes antes de promoverlo.

Uso calendario y disparadores. El calendario lo marca lo rápido que se mueve el dominio: un modelo de fraude lo reentrenaría semanalmente, una previsión de demanda cada mes, un clasificador de imágenes sobre una taxonomía estable quizá dos veces al año. Los disparadores vienen de la monitorización: estabilidad poblacional en las entradas clave, desplazamiento de la distribución de predicciones y, donde las etiquetas llegan lo bastante rápido, el rendimiento real sobre una ventana móvil. La restricción que se subestima es el retraso de las etiquetas. Si las etiquetas de abandono tardan sesenta días, no puedo medir la degradación real durante dos meses, así que me apoyo más en la deriva de entradas como aviso temprano y digo con claridad que es un indicador indirecto. La parte que no me salto es el control. Un modelo reentrenado es un candidato a publicación, no una mejora. Se evalúa contra el vigente sobre el periodo reservado más reciente, y si no gana nos quedamos con el viejo, porque datos de entrenamiento más frescos no hacen automáticamente un modelo mejor. Y vigilo los bucles de retroalimentación: si el modelo decide quién ve una oferta, el siguiente conjunto de entrenamiento solo tiene resultados de la gente que ya le gustaba, así que mantengo un pequeño grupo aleatorio de control para que los datos sigan siendo honestos.