Explique como self attention funciona num transformer, falando, sem desenhar nada.

Cada token é projetado em um vetor de query, um de key e um de value. Você pontua cada query contra cada key com um produto escalar, escala pela raiz quadrada da dimensão da head, aplica softmax nos scores para virar pesos, e faz a soma ponderada dos values. Cada token acaba carregando uma representação misturada a partir de quaisquer outros tokens que ele achou relevantes. Múltiplas heads fazem isso em paralelo com projeções diferentes.

Cada embedding de token é multiplicado por três matrizes aprendidas para produzir uma query, uma key e um value. A query é o que este token está procurando, a key é o que ele anuncia, o value é o que ele repassa se for selecionado. Você tira o produto escalar de cada query com cada key, o que dá um score de compatibilidade para cada par de posições. Divida pela raiz quadrada da dimensão da head, porque senão os produtos escalares crescem com a dimensionalidade e empurram o softmax para uma região onde ele é efetivamente um argmax duro com gradientes que desaparecem. O softmax ao longo da linha transforma esses scores em pesos que somam um, e aí você tira a soma ponderada dos vetores de value. Então cada token sai carregando uma mistura dos tokens com que ele se importou. Múltiplas heads rodam essa operação inteira em paralelo com projeções separadas, então uma head pode acompanhar sintaxe enquanto outra acompanha correferência, e as saídas são concatenadas e projetadas. O custo que vale citar é que a matriz de scores é o comprimento da sequência ao quadrado, e é exatamente por isso que servir contexto longo é caro e por que flash attention e KV caching importam tanto.