Vous devez rendre un modèle plus petit et plus rapide pour le déploiement. Détaillez vos options.

Trois leviers principaux. La quantification stocke les poids et souvent les activations en précision réduite, typiquement int8 ou 4 bits, ce qui réduit la mémoire et accélère l'inférence limitée par la mémoire, au prix d'une petite perte d'exactitude. La distillation entraîne un petit modèle élève à imiter les sorties d'un grand modèle enseignant. L'élagage supprime des poids ou des structures entières. La quantification vient en général en premier parce qu'elle n'exige aucun réentraînement.

Je commence par demander quelle contrainte nous touchons réellement, parce que mémoire, latence et coût pointent vers des correctifs différents. En supposant que ce soit les trois, la quantification est la première chose que j'essaie, puisqu'un int8 post-entraînement n'exige aucun réentraînement, prend en général un après-midi, et sur une inférence limitée par la mémoire donne souvent une accélération presque linéaire pour une fraction de point d'exactitude. Si l'int8 fait trop mal, je regarde où : c'est en général une poignée de couches aux plages d'activation larges, donc des échelles par canal ou le maintien de ces couches en précision supérieure récupère l'essentiel. Si la quantification ne suffit pas, la distillation vient ensuite, en entraînant un petit élève sur les sorties adoucies de l'enseignant, ce qui bat typiquement l'entraînement du même petit modèle depuis zéro sur les seules étiquettes. Cela coûte un cycle d'entraînement complet, donc c'est un engagement plus lourd. L'élagage, je l'utilise le moins, et je prends soin de dire structuré, c'est-à-dire des têtes ou des canaux entiers, parce que la parcimonie non structurée vous donne un checkpoint plus petit et presque aucun gain en temps réel sauf si le matériel gère les noyaux creux. Et je mesure le p99 de bout en bout, pas les FLOPs, parce que sur de vraies piles de service la tokenisation et le chargement des données peuvent dominer.