Erklär, wie Self Attention in einem Transformer funktioniert, laut, ohne etwas aufzumalen.

Jedes Token wird in einen Query-, einen Key- und einen Value-Vektor projiziert. Du scorest jede Query mit jedem Key per Skalarprodukt, skalierst mit der Wurzel der Head-Dimension, machst per Softmax Gewichte aus den Scores und bildest die gewichtete Summe der Values. Jedes Token hält am Ende eine Repräsentation, die aus den anderen Tokens gemischt ist, die es relevant fand. Mehrere Heads machen das parallel mit unterschiedlichen Projektionen.

Jedes Token-Embedding wird mit drei gelernten Matrizen multipliziert und ergibt so eine Query, einen Key und einen Value. Die Query ist das, wonach dieses Token sucht, der Key ist das, was es anbietet, der Value das, was es weitergibt, wenn es ausgewählt wird. Du bildest das Skalarprodukt jeder Query mit jedem Key, das gibt einen Kompatibilitäts-Score für jedes Positionspaar. Teile durch die Wurzel der Head-Dimension, weil die Skalarprodukte sonst mit der Dimensionalität wachsen und das Softmax in einen Bereich drücken, in dem es effektiv ein hartes Argmax mit verschwindenden Gradienten ist. Softmax über die Zeile macht aus den Scores Gewichte, die sich zu eins summieren, dann nimmst du die gewichtete Summe der Value-Vektoren. Jedes Token geht also mit einer Mischung aus den Tokens raus, die ihm wichtig waren. Mehrere Heads führen diese ganze Operation parallel mit eigenen Projektionen aus, ein Head kann also Syntax verfolgen, während ein anderer Koreferenz verfolgt, und die Outputs werden konkateniert und projiziert. Erwähnenswert sind die Kosten: die Score-Matrix ist quadratisch in der Sequenzlänge, und genau deshalb ist Serving mit langem Kontext teuer und deshalb sind Flash Attention und KV-Caching so wichtig.