O que causa vanishing gradients numa rede profunda, e como as arquiteturas modernas evitam isso?

Gradientes desaparecem quando a multiplicação repetida de derivadas pequenas durante a retropropagação encolhe o sinal em direção a zero antes de ele chegar às camadas iniciais, então essas camadas param de aprender. Ativações que saturam, como sigmoid e tanh, são a causa clássica. As correções modernas são ativações da família ReLU, conexões residuais que dão um caminho direto ao gradiente, inicialização escalada como He ou Xavier, e camadas de normalização.

A retropropagação multiplica derivadas camada por camada. Se a derivada local de cada camada é menor que um, e você tem cinquenta delas, o produto vai a zero exponencialmente e as camadas iniciais praticamente não recebem gradiente, então elas nunca saem da inicialização. A sigmoid é a culpada clássica porque a derivada dela satura em 0,25, então você perde pelo menos três quartos do sinal por camada mesmo no melhor caso. As correções se empilham. A ReLU tem derivada exatamente um do lado positivo, então ela não encolhe nada. Conexões residuais são a grande sacada: como a saída é x mais f de x, o gradiente ganha um caminho de identidade direto de volta, então mesmo que um bloco não contribua com nada útil, o sinal ainda chega às camadas abaixo dele. É por isso que conseguimos treinar pilhas muito profundas. Depois a inicialização escalada pelo fan in, He para ReLU, mantém a variância das ativações estável no começo, e o layer norm mantém ela estável durante o treino. Quando eu vejo um modelo profundo em que a loss mal se mexe, a primeira coisa que eu ploto é a norma do gradiente por camada, porque isso me diz na hora se o fundo da rede está recebendo alguma coisa.