हमारे internal documentation पर एक retrieval augmented generation सिस्टम डिजाइन कीजिए। उसके हिस्से क्या क्या होंगे?

documents को structure समझने वाली splitting से ingest और chunk कीजिए, chunks को embed कीजिए, और filtering के लिए metadata के साथ vector store में index कीजिए। query के वक्त सवाल को embed कीजिए, candidates निकालिए, चाहें तो cross encoder से rerank कीजिए, फिर निकाले गए passages और citations के साथ prompt बनाइए। retrieval और generation का मूल्यांकन अलग अलग कीजिए, और documents बदलने पर index ताजा रखिए।

offline में मैं तय character count की जगह structure पर chunk करता हूं, ताकि headings और sections सलामत रहें, थोड़े overlap के साथ ताकि सीमा पर पड़ा वाक्य खो न जाए। हर chunk को एक embedding मिलती है और साथ में metadata: स्रोत, section, आखिरी बार कब बदला, और access group, क्योंकि permissions retrieval के वक्त लागू होनी चाहिए, मॉडल से विनम्रता से कहकर नहीं। यह एक vector index में जाता है और उसके साथ एक keyword index भी, क्योंकि error codes और product names से भरे internal docs पर hybrid search लगातार शुद्ध vector को पीटती है, जिन्हें embeddings ठीक से नहीं संभालतीं। online में मैं query embed करता हूं, शायद पचास candidates खींचता हूं, cross encoder से rerank करके पांच छह पर लाता हूं, फिर उन passages और यह निर्देश देकर prompt बनाता हूं कि उन्हें cite करे और जहां context सवाल को कवर न करता हो वहां साफ कह दे। जिस बात पर मैं अड़ता हूं वह अलग मूल्यांकन है। मैं असली सवालों का एक सेट बनाता हूं जिनके सही स्रोत documents पता हों और अकेले retrieval के लिए recall at k मापता हूं। ज्यादातर बार जब जवाब गलत होता है, retrieval सही chunk सामने लाया ही नहीं था, और कितनी भी prompt की मेहनत उसे ठीक नहीं करती।