¿Qué es el entrenamiento en precisión mixta y qué puede salir mal con él?

La precisión mixta ejecuta la mayoría de las operaciones en 16 bits (fp16 o bf16) mientras mantiene una copia maestra de los pesos y ciertas reducciones en fp32. Eso reduce la memoria más o menos a la mitad y usa los tensor cores, así que es sustancialmente más rápido. El riesgo con fp16 es el subdesbordamiento: los gradientes pequeños se redondean a cero, y por eso existe el escalado de la pérdida. bf16 conserva el rango de exponente de fp32, así que en gran medida lo evita.

Mantienes una copia maestra de los pesos en fp32 pero ejecutas los pases hacia delante y hacia atrás en 16 bits, así que las activaciones y los gradientes ocupan la mitad y los productos de matrices llegan a los tensor cores. En la práctica eso es más o menos la mitad de la memoria y a menudo casi el doble de rendimiento, que puede ser la diferencia entre que una ejecución quepa en tu hardware o no. El fallo clásico es el subdesbordamiento en fp16. fp16 solo tiene cinco bits de exponente, así que los gradientes muy pequeños se van a cero, y los gradientes pequeños son justo los que importan al final del entrenamiento. Eso es lo que arregla el escalado dinámico de la pérdida: multiplicas la pérdida por un factor grande antes del pase hacia atrás para que los gradientes caigan en un rango representable, deshaces el escalado antes del paso del optimizador, y bajas el factor cuando ves infinitos. bf16 conserva ocho bits de exponente, el mismo rango que fp32, y lo paga con menos bits de mantisa, así que subdesborda mucho menos y en general no necesita escalado de la pérdida en absoluto. Mi opción por defecto ahora es bf16 en cualquier cosa Ampere o posterior. Y mantengo reducciones como el softmax, la layer norm y la propia pérdida en fp32, porque sumar miles de términos en 16 bits pierde precisión rápido.