Du musst ein Modell fürs Deployment kleiner und schneller machen. Erklär mir deine Optionen.

Drei Haupthebel. Quantisierung speichert Gewichte und oft auch Aktivierungen in niedrigerer Präzision, typisch int8 oder 4 Bit, das spart Speicher und beschleunigt speichergebundene Inferenz bei kleinem Genauigkeitsverlust. Destillation trainiert einen kleineren Student darauf, die Outputs eines großen Teachers nachzubilden. Pruning entfernt Gewichte oder ganze Strukturen. Quantisierung kommt meist zuerst, weil sie kein Retraining braucht.

Ich frage zuerst, gegen welche Randbedingung wir eigentlich laufen, weil Speicher, Latenz und Kosten auf verschiedene Lösungen zeigen. Angenommen es sind alle drei, dann probiere ich als Erstes Quantisierung, weil Post-Training int8 kein Retraining braucht, meist einen Nachmittag dauert und bei speichergebundener Inferenz oft nahe an einen linearen Speedup kommt, für den Bruchteil eines Prozentpunkts Genauigkeit. Wenn int8 zu weh tut, schaue ich, wo: das sind meist eine Handvoll Layer mit weiten Aktivierungsbereichen, Per-Channel-Scales oder diese Layer in höherer Präzision zu lassen holt den größten Teil zurück. Reicht Quantisierung nicht, kommt Destillation, also einen kleineren Student auf den weichen Outputs des Teachers zu trainieren, was in der Regel besser ist, als dasselbe kleine Modell von Grund auf nur auf Labels zu trainieren. Das kostet einen vollen Trainingszyklus, ist also ein größeres Commitment. Pruning nutze ich am seltensten, und ich sage bewusst strukturiert, also ganze Heads oder Channels, weil dir unstrukturierte Sparsity einen kleineren Checkpoint und fast keinen Wall-Clock-Gewinn bringt, solange die Hardware keine sparse Kernels unterstützt. Und ich messe End-to-End-p99, nicht FLOPs, weil auf echten Serving-Stacks Tokenisierung und Data Loading dominieren können.