Qu'est-ce qui cause la disparition du gradient dans un réseau profond, et comment les architectures modernes l'évitent-elles ?

Le gradient disparaît quand la multiplication répétée de petites dérivées pendant la rétropropagation réduit le signal vers zéro avant qu'il n'atteigne les premières couches, qui cessent donc d'apprendre. Les activations saturantes comme sigmoïde et tanh en sont la cause classique. Les correctifs modernes sont les activations de la famille ReLU, les connexions résiduelles qui donnent au gradient un chemin direct, une initialisation mise à l'échelle comme He ou Xavier, et les couches de normalisation.

La rétropropagation multiplie les dérivées couche par couche. Si la dérivée locale de chaque couche est inférieure à un, et que vous en avez cinquante, le produit tend vers zéro de façon exponentielle et les premières couches ne reçoivent quasiment aucun gradient, donc elles ne bougent jamais de leur initialisation. La sigmoïde est le coupable classique parce que sa dérivée plafonne à 0,25, donc vous perdez au moins trois quarts du signal par couche même dans le meilleur cas. Les correctifs s'empilent. ReLU a une dérivée d'exactement un du côté positif, donc elle ne réduit rien. Les connexions résiduelles sont l'élément majeur : comme la sortie vaut x plus f de x, le gradient obtient un chemin identité direct vers l'arrière, donc même si un bloc n'apporte rien d'utile, le signal atteint quand même les couches en dessous. C'est pour ça qu'on peut entraîner des piles très profondes. Ensuite, une initialisation mise à l'échelle du fan-in, He pour ReLU, garde la variance des activations stable au départ, et la layer norm la garde stable pendant l'entraînement. Quand je vois un modèle profond dont la perte bouge à peine, la première chose que je trace est la norme du gradient par couche, parce que ça vous dit immédiatement si le bas du réseau reçoit quoi que ce soit.