Você inicia um treino e a loss não cai de jeito nenhum. Como você depura?

Comece provando que o modelo consegue aprender: faça overfit de um único batch pequeno até a loss ficar perto de zero. Se ele não consegue, o bug está no modelo, na loss ou no otimizador, não no volume de dados. Depois cheque a taxa de aprendizado nos dois extremos, verifique se os rótulos estão alinhados com as entradas, confirme que os gradientes estão fluindo, e confirme que o otimizador de fato recebeu os parâmetros que você acha que ele recebeu.

O primeiro movimento é sempre o mesmo: pegar um batch de uns oito exemplos e tentar levar a loss para perto de zero nele. Um modelo que funciona memoriza oito exemplos em algumas centenas de passos. Se ele não consegue, o problema não é quantidade de dados nem regularização, é algo quebrado no modelo, na loss ou no otimizador, e eu estreitei a busca enormemente. A partir daí eu checo a taxa de aprendizado nas duas pontas, porque alta demais aparece como loss quicando ou indo para NaN, e baixa demais parece uma linha reta que na verdade está rastejando. Eu imprimo normas de gradiente por camada, o que me diz na hora se o sinal está morrendo ou se alguma camada não está recebendo nada porque foi congelada por acidente ou nunca foi passada ao otimizador. Depois o caminho dos dados, e sinceramente é aí que o bug costuma estar: rótulos deslocados em um em relação às entradas depois de um shuffle, normalização aplicada duas vezes, ou um tensor de alvos que é todo de uma classe por causa de um bug de filtragem. Eu sempre olho um punhado de exemplos decodificados com seus rótulos no olho antes de culpar a arquitetura.