Expliquez à voix haute comment fonctionne l'auto-attention dans un transformeur, sans rien dessiner.

Chaque token est projeté en un vecteur de requête, un vecteur de clé et un vecteur de valeur. Vous scorez chaque requête contre chaque clé par un produit scalaire, vous divisez par la racine carrée de la dimension de la tête, vous passez les scores dans un softmax pour obtenir des poids, et vous prenez la somme pondérée des valeurs. Chaque token finit par porter une représentation mélangée à partir des autres tokens qu'il a jugés pertinents. Plusieurs têtes font cela en parallèle avec des projections différentes.

Chaque embedding de token est multiplié par trois matrices apprises pour produire une requête, une clé et une valeur. La requête est ce que ce token cherche, la clé est ce qu'il annonce, la valeur est ce qu'il transmet s'il est retenu. Vous prenez le produit scalaire de chaque requête avec chaque clé, ce qui donne un score de compatibilité pour chaque paire de positions. Divisez par la racine carrée de la dimension de la tête, sinon les produits scalaires croissent avec la dimensionnalité et poussent le softmax dans une zone où il agit comme un argmax dur avec des gradients qui disparaissent. Le softmax sur la ligne transforme ces scores en poids qui somment à un, puis vous prenez la somme pondérée des vecteurs de valeur. Donc chaque token repart avec un mélange des tokens qui l'intéressaient. Plusieurs têtes exécutent toute cette opération en parallèle avec des projections séparées, donc une tête peut suivre la syntaxe pendant qu'une autre suit la coréférence, et les sorties sont concaténées puis projetées. Le coût qu'il faut nommer, c'est que la matrice de scores est en longueur de séquence au carré, et c'est exactement pour ça que servir de longs contextes coûte cher et que flash attention et le cache KV comptent autant.