Você precisa deixar um modelo menor e mais rápido para deploy. Me explique as suas opções.

Três alavancas principais. Quantização guarda pesos e muitas vezes ativações em precisão menor, tipicamente int8 ou 4 bits, cortando memória e acelerando inferência limitada por memória a um custo pequeno de acurácia. Distillation treina um aluno menor para reproduzir as saídas de um professor grande. Pruning remove pesos ou estruturas inteiras. Quantização normalmente vem primeiro porque não precisa de retreino.

Eu começo perguntando qual restrição estamos batendo de verdade, porque memória, latência e custo apontam para correções diferentes. Assumindo que sejam as três, a quantização é a primeira coisa que eu tento, já que int8 pós treino não precisa de retreino, costuma levar uma tarde, e em inferência limitada por memória ela normalmente dá um ganho quase linear por uma fração de ponto de acurácia. Se int8 dói demais eu olho onde: normalmente é um punhado de camadas com faixas de ativação largas, então escalas por canal ou deixar essas camadas em precisão maior recupera quase tudo. Se a quantização não basta, distillation é a próxima, treinando um aluno menor com as saídas suaves do professor, o que tipicamente bate treinar esse mesmo modelo pequeno do zero só com rótulos. Isso custa um ciclo inteiro de treino, então é um compromisso maior. Pruning eu uso menos, e tomo o cuidado de dizer estruturado, ou seja heads ou canais inteiros, porque esparsidade não estruturada te dá um checkpoint menor e quase nenhum ganho de tempo real a menos que o hardware suporte kernels esparsos. E eu meço p99 fim a fim, não FLOPs, porque em stacks de serving reais tokenização e carregamento de dados podem dominar.