O que é treino em precisão mista e o que pode dar errado com ele?

Precisão mista roda a maior parte das operações em 16 bits (fp16 ou bf16) mantendo uma cópia mestre dos pesos e certas reduções em fp32. Isso corta a memória mais ou menos pela metade e usa tensor cores, então é bem mais rápido. O risco com fp16 é underflow: gradientes pequenos arredondam para zero, e é por isso que existe loss scaling. O bf16 mantém a faixa de expoente do fp32, então em grande parte evita isso.

Você mantém uma cópia mestre dos pesos em fp32 mas roda as passagens forward e backward em 16 bits, então ativações e gradientes têm metade do tamanho e os matmuls caem nos tensor cores. Na prática isso é mais ou menos metade da memória e muitas vezes perto do dobro do throughput, o que pode ser a diferença entre um treino caber no seu hardware ou não. A falha clássica é underflow em fp16. O fp16 tem só cinco bits de expoente, então gradientes muito pequenos vão a zero, e gradientes pequenos são exatamente os que importam no fim do treino. É isso que o loss scaling dinâmico corrige: multiplique a loss por um fator grande antes do backward para os gradientes caírem na faixa representável, desfaça a escala antes do passo do otimizador, e reduza o fator quando aparecerem infinitos. O bf16 mantém oito bits de expoente, a mesma faixa do fp32, e paga por isso com menos bits de mantissa, então ele dá underflow muito menos e em geral não precisa de loss scaling nenhum. Meu padrão hoje é bf16 em qualquer coisa Ampere ou mais nova. E eu mantenho reduções como softmax, layer norm e a própria loss em fp32, porque somar milhares de termos em 16 bits perde acurácia rápido.