Was verursacht Vanishing Gradients in einem tiefen Netz, und wie umgehen moderne Architekturen das?

Gradienten verschwinden, wenn das wiederholte Multiplizieren kleiner Ableitungen während der Backpropagation das Signal gegen null schrumpfen lässt, bevor es die frühen Layer erreicht, die hören dann auf zu lernen. Sättigende Aktivierungen wie Sigmoid und Tanh sind die klassische Ursache. Moderne Gegenmittel sind Aktivierungen aus der ReLU-Familie, Residual Connections, die dem Gradienten einen direkten Pfad geben, skalierte Initialisierung wie He oder Xavier, und Normalisierungs-Layer.

Backprop multipliziert Ableitungen Layer für Layer. Wenn die lokale Ableitung jedes Layers kleiner als eins ist und du fünfzig davon hast, läuft das Produkt exponentiell gegen null, die frühen Layer bekommen praktisch keinen Gradienten mehr und bewegen sich nie von ihrer Initialisierung weg. Sigmoid ist der klassische Übeltäter, weil seine Ableitung bei 0.25 deckelt, du verlierst also selbst im besten Fall mindestens drei Viertel des Signals pro Layer. Die Gegenmittel stapeln sich. ReLU hat auf der positiven Seite eine Ableitung von exakt eins, schrumpft also gar nichts. Residual Connections sind der große Hebel: weil der Output x plus f von x ist, bekommt der Gradient einen Identity-Pfad direkt zurück, selbst wenn ein Block nichts Sinnvolles beiträgt, erreicht das Signal die Layer darunter. Genau deshalb können wir überhaupt sehr tiefe Stacks trainieren. Dann hält eine auf Fan-in skalierte Initialisierung, He bei ReLU, die Aktivierungsvarianz zu Beginn stabil, und Layer Norm hält sie während des Trainings stabil. Wenn ich ein tiefes Modell sehe, bei dem sich der Loss kaum bewegt, plotte ich als Erstes die Gradient Norm pro Layer, weil das sofort verrät, ob der untere Teil des Netzes überhaupt etwas abbekommt.