Como você decide entre scoring em lote e inferência em tempo real para um modelo?

Decida pela frescura e pelo formato da requisição. Se as features e a população são conhecidas de antemão e as previsões continuam válidas por horas, precompute em lote e sirva de uma tabela de lookup, o que é mais simples, mais barato e muito mais confiável. Vá para tempo real quando as features dependem da requisição atual, quando o conjunto de entidades é ilimitado, ou quando a defasagem prejudica materialmente a decisão.

Eu começo com duas perguntas: quão defasada a previsão pode estar, e eu sei de antemão quem estou pontuando. Para algo como um score semanal de churn sobre uma base de clientes existente, as duas respostas favorecem o lote. Eu rodo um job noturno, escrevo os scores numa tabela, e o serving vira um lookup por chave primária que basicamente não tem como falhar. Nenhum acelerador no caminho da requisição, nenhum cold start, e se o job quebrar eu ainda tenho os scores de ontem, o que é uma falha muito mais suave do que um timeout. Tempo real se paga quando as features vêm da própria requisição, como o que o usuário acabou de digitar ou o que está no carrinho dele agora, ou quando a entidade pode nem existir ainda, como uma sessão novinha. A maioria dos sistemas que eu construí acabou híbrida: agregados pesados calculados em lote e cacheados, unidos no momento da requisição com um punhado de sinais ao vivo, e aí pontuados. Isso mantém o caminho online barato e ainda reage ao que acabou de acontecer. O erro que eu tento evitar é escolher tempo real por causa de um diagrama de arquitetura mais bonito quando nada lá na frente consome a frescura.