Você tem uma nova versão de modelo que parece melhor offline. Como você a coloca em produção com segurança?

Suba no escuro primeiro: rode em modo shadow ao lado do vigente, pontuando tráfego real sem agir sobre a saída, e compare distribuições de score, latência e disponibilidade de features. Se isso parecer sensato, vá para um canário com percentual pequeno e um experimento online na métrica de negócio, mais guardrails. Mantenha a versão antiga carregada para que rollback seja mudança de configuração, não redeploy.

Melhor offline não significa melhor online, então eu nunca promovo direto a partir de um número de validação. O primeiro passo é modo shadow: o novo modelo pontua as mesmas requisições ao vivo, a gente loga a saída dele, e nada age sobre ela. Isso pega as coisas chatas mas fatais, diferenças de disponibilidade de feature, regressões de latência, nulos inesperados, e me deixa comparar as duas distribuições de score no mesmo tráfego. Se os scores do novo modelo estão deslocados, limiares lá na frente precisam se mover mesmo que a qualidade do ranking tenha melhorado, e é bem melhor descobrir isso em shadow do que em produção. Depois um canário em alguns por cento com um experimento online decente na métrica de negócio, não na AUC. Junto eu defino guardrails de antemão: latência p99, taxa de erro, e algo que pegue o modelo estando confiantemente errado de um jeito que a métrica principal não perceberia, como um salto grande na taxa de sinalização. O rollback tem que ser uma mudança de configuração com a versão antiga ainda carregada, para levar segundos, e eu escrevo os números que o disparam antes do lançamento, porque decidir se uma métrica está ruim o bastante enquanto ela cai é um péssimo momento para formar opinião.