¿Qué causa el desvanecimiento del gradiente en una red profunda, y cómo lo evitan las arquitecturas modernas?

Los gradientes se desvanecen cuando la multiplicación repetida de derivadas pequeñas durante la retropropagación encoge la señal hacia cero antes de llegar a las primeras capas, así que esas capas dejan de aprender. Las activaciones saturantes como sigmoid y tanh son la causa clásica. Los arreglos modernos son las activaciones de la familia ReLU, las conexiones residuales que dan al gradiente un camino directo, la inicialización escalada tipo He o Xavier, y las capas de normalización.

La retropropagación multiplica derivadas capa a capa. Si la derivada local de cada capa es menor que uno y tienes cincuenta, el producto se va a cero de forma exponencial y las primeras capas no reciben prácticamente gradiente, así que nunca se mueven de su inicialización. Sigmoid es la culpable clásica porque su derivada llega como mucho a 0,25, así que pierdes al menos tres cuartos de la señal por capa incluso en el mejor caso. Los arreglos se apilan. ReLU tiene derivada exactamente uno en el lado positivo, así que no encoge nada. Las conexiones residuales son la clave: como la salida es x más f de x, el gradiente consigue un camino identidad directo hacia atrás, así que aunque un bloque no aporte nada útil, la señal sigue llegando a las capas de abajo. Por eso podemos entrenar pilas muy profundas siquiera. Luego la inicialización escalada al fan in, He para ReLU, mantiene estable la varianza de activación al principio, y la layer norm la mantiene estable durante el entrenamiento. Cuando veo un modelo profundo donde la pérdida apenas se mueve, lo primero que grafico es la norma del gradiente por capa, porque eso te dice de inmediato si el fondo de la red está recibiendo algo.