Entwirf ein Retrieval-Augmented-Generation-System über unsere interne Dokumentation. Was sind die beweglichen Teile?

Dokumente einlesen und mit strukturbewusstem Splitting chunken, die Chunks embedden und in einem Vector Store zusammen mit Metadaten fürs Filtern indexieren. Zur Query-Zeit die Frage embedden, Kandidaten abrufen, optional mit einem Cross Encoder reranken, dann einen Prompt mit den gefundenen Passagen und Quellenangaben bauen. Retrieval und Generierung getrennt evaluieren und den Index frisch halten, wenn sich Dokumente ändern.

Offline chunke ich nach Struktur statt nach fester Zeichenzahl, damit Überschriften und Abschnitte intakt bleiben, mit etwas Überlappung, damit ein Satz über einer Grenze nicht verloren geht. Jeder Chunk bekommt ein Embedding plus Metadaten: Quelle, Abschnitt, letzte Änderung und Zugriffsgruppe, denn Berechtigungen müssen beim Retrieval durchgesetzt werden und nicht dadurch, dass man das Modell nett darum bittet. Das geht in einen Vektorindex, daneben ein Keyword-Index, weil hybride Suche bei internen Docs voller Fehlercodes und Produktnamen, mit denen Embeddings schlecht umgehen, durchgängig besser ist als reine Vektorsuche. Online embedde ich die Query, hole vielleicht fünfzig Kandidaten, ranke sie mit einem Cross Encoder auf fünf oder sechs herunter und baue dann den Prompt mit diesen Passagen und der Anweisung, sie zu zitieren und klar zu sagen, wenn der Kontext die Frage nicht abdeckt. Worauf ich bestehe, ist die getrennte Evaluation. Ich baue ein Set echter Fragen mit bekannten korrekten Quelldokumenten und messe Recall at k fürs Retrieval allein. Meistens hat das Retrieval den richtigen Chunk nie hochgeholt, wenn eine Antwort falsch ist, und dagegen hilft keine Prompt-Arbeit.