Concevez un système de génération augmentée par récupération sur notre documentation interne. Quelles en sont les pièces mobiles ?

Ingérez et découpez les documents avec un découpage conscient de la structure, embarquez les fragments, et indexez-les dans un magasin vectoriel avec des métadonnées pour le filtrage. À la requête, embarquez la question, récupérez des candidats, reclassez éventuellement avec un cross-encoder, puis construisez un prompt avec les passages récupérés et leurs citations. Évaluez la récupération et la génération séparément, et gardez l'index à jour à mesure que les documents changent.

Hors ligne, je découpe sur la structure plutôt que sur un nombre fixe de caractères, pour que les titres et les sections restent intacts, avec un peu de chevauchement afin qu'une phrase à cheval sur une frontière ne soit pas perdue. Chaque fragment reçoit un embedding plus des métadonnées : source, section, date de dernière modification et groupe d'accès, parce que les permissions doivent être appliquées au moment de la récupération, pas en le demandant gentiment au modèle. Tout ça part dans un index vectoriel avec un index par mots-clés à côté, puisque la recherche hybride bat régulièrement le vectoriel pur sur de la doc interne pleine de codes d'erreur et de noms de produits que les embeddings gèrent mal. En ligne, j'embarque la requête, je remonte peut-être cinquante candidats, je reclasse avec un cross-encoder pour descendre à cinq ou six, puis je construis le prompt avec ces passages et des consignes de les citer et de dire clairement quand le contexte ne couvre pas la question. Le point sur lequel j'insiste, c'est l'évaluation séparée. Je constitue un jeu de vraies questions avec les documents sources corrects connus et je mesure le rappel à k pour la récupération seule. La plupart du temps, quand une réponse est fausse, la récupération n'a jamais fait remonter le bon fragment, et aucun travail sur le prompt ne corrige ça.