¿Cómo decides entre puntuación en batch e inferencia en tiempo real para un modelo?

Decide a partir de la frescura y de la forma de la petición. Si las características y la población se conocen de antemano y las predicciones siguen siendo válidas durante horas, precalcula en batch y sirve desde una tabla de consulta, que es más simple, más barato y mucho más fiable. Ve a tiempo real cuando las características dependen de la petición actual, cuando el conjunto de entidades no está acotado, o cuando la obsolescencia perjudica de verdad a la decisión.

Empiezo con dos preguntas: cuánto puede envejecer la predicción, y si sé de antemano a quién voy a puntuar. Para algo como una puntuación semanal de abandono sobre una base de clientes existente, ambas respuestas favorecen el batch. Ejecuto un trabajo nocturno, escribo las puntuaciones en una tabla, y servir se convierte en una consulta por clave primaria que básicamente no puede fallar. Sin acelerador en la ruta de la petición, sin arranques en frío, y si el trabajo se rompe todavía tengo las puntuaciones de ayer, que es un fallo mucho más suave que un timeout. El tiempo real se gana su sitio cuando las características vienen de la propia petición, como lo que el usuario acaba de escribir o lo que tiene ahora mismo en el carrito, o cuando la entidad puede no existir todavía, como una sesión recién creada. La mayoría de los sistemas que he construido acabaron híbridos: agregados pesados calculados en batch y cacheados, unidos en el momento de la petición con un puñado de señales vivas, y luego puntuados. Eso mantiene barata la ruta online sin dejar de reaccionar a lo que acaba de pasar. El error que intento evitar es elegir tiempo real por un diagrama de arquitectura más bonito cuando nada aguas abajo consume de verdad esa frescura.