बिना कुछ बनाए, बोलकर समझाइए कि transformer में self attention कैसे काम करता है।

हर token को एक query, एक key और एक value vector में project किया जाता है। हर query का हर key के साथ dot product लेकर score निकालते हैं, head dimension के square root से scale करते हैं, softmax से उन scores को weights में बदलते हैं, और values का weighted sum ले लेते हैं। हर token के पास आखिर में उन दूसरे tokens से मिला हुआ representation होता है जिन्हें उसने प्रासंगिक पाया। कई heads यही काम अलग अलग projections के साथ समानांतर में करते हैं।

हर token embedding तीन सीखे हुए matrices से गुणा होकर एक query, एक key और एक value बनाता है। query वह है जो यह token ढूंढ रहा है, key वह है जो वह विज्ञापित करता है, और value वह है जो चुने जाने पर वह आगे भेजता है। हर query का हर key के साथ dot product लेते हैं, जिससे हर जोड़ी positions के लिए एक compatibility score मिलता है। head dimension के square root से भाग दीजिए, वरना dot products dimensionality के साथ बढ़ते जाते हैं और softmax को ऐसे इलाके में धकेल देते हैं जहां वह असल में hard argmax बन जाता है और gradients गायब हो जाते हैं। row भर में softmax उन scores को ऐसे weights में बदलता है जिनका जोड़ एक होता है, फिर आप value vectors का weighted sum लेते हैं। तो हर token अपने साथ उन tokens का मिश्रण लेकर लौटता है जिनकी उसे परवाह थी। कई heads यही पूरा operation अलग projections के साथ समानांतर में चलाते हैं, इसलिए एक head syntax पकड़ सकता है जबकि दूसरा coreference, और outputs concatenate होकर project हो जाते हैं। जो लागत बताने लायक है वह यह है कि score matrix sequence length का वर्ग है, और ठीक इसीलिए long context serving महंगी है और flash attention तथा KV caching इतना मायने रखते हैं।