Explica cómo funciona la self attention en un transformer, en voz alta y sin dibujar nada.

Cada token se proyecta a un vector query, uno key y uno value. Puntúas cada query contra cada key con un producto escalar, escalas por la raíz cuadrada de la dimensión de la cabeza, aplicas softmax a las puntuaciones para convertirlas en pesos, y tomas la suma ponderada de los values. Cada token acaba con una representación mezclada a partir de los tokens que le resultaron relevantes. Varias cabezas hacen esto en paralelo con proyecciones distintas.

Cada embedding de token se multiplica por tres matrices aprendidas para producir una query, una key y un value. La query es lo que este token busca, la key es lo que anuncia, el value es lo que pasa adelante si lo seleccionan. Haces el producto escalar de cada query con cada key, lo que da una puntuación de compatibilidad para cada par de posiciones. Divides por la raíz cuadrada de la dimensión de la cabeza, porque si no los productos escalares crecen con la dimensionalidad y empujan el softmax a una zona donde es de hecho un argmax duro con gradientes que se desvanecen. El softmax a lo largo de la fila convierte esas puntuaciones en pesos que suman uno, y luego tomas la suma ponderada de los vectores value. Así que cada token se lleva una mezcla de los tokens que le importaron. Varias cabezas ejecutan toda esa operación en paralelo con proyecciones separadas, así que una cabeza puede seguir la sintaxis mientras otra sigue la correferencia, y las salidas se concatenan y se proyectan. El coste que vale la pena nombrar es que la matriz de puntuaciones es longitud de secuencia al cuadrado, que es justo por lo que servir contexto largo sale caro y por lo que flash attention y la caché KV importan tanto.