¿Qué monitorizas para un modelo en producción, y qué avisa de verdad a alguien?

Monitoriza tres capas: salud del servicio (latencia, tasa de error, rendimiento), salud de los datos (distribuciones de entrada, tasas de nulos y de categorías desconocidas, frescura de las características) y salud del modelo (distribución de predicciones, y rendimiento cuando lleguen las etiquetas). Avisa por fallos de servicio y por roturas del pipeline de entrada, porque son accionables de inmediato. Manda la deriva lenta a un panel y a una revisión, no a una alarma a las 3 de la madrugada.

Lo pienso en tres capas. La de servicio es lo estándar, latencia p99, tasa de error, rendimiento, y eso sí avisa, porque un modelo devolviendo errores es una caída como cualquier otra. La de datos es donde viven los incidentes de ML de verdad: distribuciones de las características de entrada, tasas de nulos, tasas de categorías desconocidas, y frescura de las características, es decir cuánto tiempo tiene el valor más nuevo del almacén online. La frescura es la que más me importa, porque un trabajo aguas arriba roto no lanza ningún error, simplemente sirve los valores de ayer y el modelo sigue devolviendo tonterías con confianza. Eso sí avisa. La capa de modelo es la distribución de predicciones y, cuando llegan las etiquetas, el rendimiento real. Una distribución de predicciones que se desplaza de golpe merece una alerta; una que deriva despacio es tema de panel y de conversación, no de aviso, porque despertar a alguien por deriva gradual significa que en un mes nadie lee las alertas. Lo que da forma a todo esto es el retraso de las etiquetas. Si la verdad tarda semanas, no puedo monitorizar la precisión casi en tiempo real, así que me apoyo en las distribuciones de entrada y de salida como indicadores indirectos y digo claramente que son indirectos.