A inferência está custando mais do que o produto rende. Como você cortaria isso sem destruir a qualidade?

Meça o custo por requisição e ache onde ele se concentra, já que o tráfego costuma ser enviesado. Depois aplique, em ordem aproximada: cache de requisições repetidas ou quase duplicadas, cascata para que um modelo barato trate a maioria fácil e só escale casos incertos, quantização mais um runtime compilado, hardware do tamanho certo com batching adequado, e por fim cortar trabalho que ninguém lá na frente consome.

Eu começo pegando o custo por requisição e fatiando ele, porque o tráfego quase sempre é enviesado e uma classe pequena de requisições costuma comer o orçamento. Aí o ganho mais barato geralmente é cache. Num sistema, uma parcela relevante das requisições eram repetições exatas em questão de minutos, e um cache de vida curta chaveado numa entrada normalizada removeu um pedaço da carga com um dia de trabalho. Em seguida vem a cascata. Rode um modelo pequeno e barato em tudo e só escale para o caro quando o pequeno estiver incerto. Se o modelo pequeno resolve com confiança setenta por cento do tráfego, você cortou custo na maior parte dessa fração mantendo acurácia nos casos difíceis, e o limiar de escalonamento é ajustável contra um orçamento de qualidade. Depois disso vem a engenharia: quantização, um runtime compilado, batching dinâmico para o acelerador não ficar ocioso, e checar se estamos em hardware superdimensionado para o modelo. A última pergunta que eu faço é a desconfortável, que é se toda previsão é usada. Eu já achei um pipeline pontuando a base inteira de usuários toda noite quando a tela só mostrava os poucos milhares do topo, e pontuar menos entidades foi a maior economia isolada.