Como você decide quando retreinar um modelo em produção?

Dispare por evidência, não só pelo calendário. Monitore drift de entrada, distribuição de previsões, e onde os rótulos permitem, performance ao vivo numa janela móvel. Retreine quando uma métrica cruza um limiar que você definiu antes, ou numa cadência compatível com a velocidade do domínio. Sempre valide o candidato contra o modelo vigente em dados recentes antes de promover.

Eu uso tanto um cronograma quanto gatilhos. O cronograma é definido pela velocidade do domínio: um modelo de fraude eu retreinaria semanalmente, uma previsão de demanda mensalmente, um classificador de imagem sobre uma taxonomia estável talvez duas vezes por ano. Os gatilhos vêm do monitoramento: estabilidade populacional nas entradas chave, deslocamento na distribuição de previsões, e onde os rótulos chegam rápido o bastante, performance real numa janela móvel. A restrição que as pessoas subestimam é a latência dos rótulos. Se rótulos de churn levam sessenta dias, eu não consigo medir degradação real por dois meses, então eu me apoio mais no drift de entrada como aviso antecipado e digo com todas as letras que é um proxy. A parte que eu não pulo é a porta de controle. Um modelo retreinado é um candidato a release, não um upgrade. Ele é avaliado contra o vigente no período mais recente separado, e se não vencer a gente fica com o antigo, porque dados de treino mais frescos não fazem automaticamente um modelo melhor. E eu fico de olho em loops de feedback: se o modelo decide quem vê uma oferta, o próximo conjunto de treino só tem desfechos de pessoas que ele já gostava, então eu mantenho um pequeno holdout aleatório para manter os dados honestos.