Necesitas hacer un modelo más pequeño y rápido para desplegarlo. Cuéntame tus opciones.

Tres palancas principales. La cuantización guarda los pesos, y a menudo las activaciones, con menor precisión, típicamente int8 o 4 bits, lo que recorta memoria y acelera la inferencia limitada por memoria a un coste pequeño en precisión. La destilación entrena un estudiante más pequeño para imitar las salidas de un profesor grande. El podado elimina pesos o estructuras enteras. La cuantización suele ir primero porque no requiere reentrenar.

Empiezo preguntando contra qué restricción estamos chocando de verdad, porque memoria, latencia y coste apuntan a arreglos distintos. Suponiendo que sean las tres, la cuantización es lo primero que pruebo, ya que int8 posentrenamiento no requiere reentrenar, suele llevar una tarde, y en inferencia limitada por memoria a menudo da una aceleración casi lineal por una fracción de punto de precisión. Si int8 duele demasiado miro dónde: normalmente es un puñado de capas con rangos de activación amplios, así que escalas por canal o dejar esas capas en mayor precisión recupera casi todo. Si la cuantización no basta, lo siguiente es la destilación, entrenar un estudiante más pequeño con las salidas suaves del profesor, lo que típicamente supera a entrenar ese mismo modelo pequeño desde cero solo con etiquetas. Eso cuesta un ciclo de entrenamiento completo, así que es un compromiso mayor. El podado es lo que menos uso, y tengo cuidado de decir estructurado, es decir cabezas o canales enteros, porque la dispersión no estructurada te da un checkpoint más pequeño y casi ninguna ganancia de tiempo real salvo que el hardware soporte kernels dispersos. Y mido el p99 de extremo a extremo, no FLOPs, porque en pilas de servicio reales la tokenización y la carga de datos pueden dominar.