Diseña un sistema de generación aumentada por recuperación sobre nuestra documentación interna. ¿Cuáles son las piezas?

Ingiere y trocea los documentos con una división consciente de la estructura, calcula embeddings de los trozos e indéxalos en un almacén vectorial junto a metadatos para filtrar. En consulta, calcula el embedding de la pregunta, recupera candidatos, opcionalmente reordena con un cross encoder, y luego construye un prompt con los pasajes recuperados y sus citas. Evalúa la recuperación y la generación por separado, y mantén el índice actualizado según cambien los documentos.

Offline troceo por estructura y no por un número fijo de caracteres, para que los encabezados y las secciones se mantengan intactos, con un poco de solape para no perder una frase que cruce un límite. Cada trozo recibe un embedding más metadatos: fuente, sección, última modificación y grupo de acceso, porque los permisos hay que aplicarlos en la recuperación y no pidiéndoselo educadamente al modelo. Eso va a un índice vectorial con un índice de palabras clave al lado, ya que la búsqueda híbrida gana de forma consistente a la vectorial pura en documentación interna llena de códigos de error y nombres de producto que los embeddings manejan mal. Online calculo el embedding de la consulta, saco unos cincuenta candidatos, reordeno con un cross encoder hasta cinco o seis, y luego construyo el prompt con esos pasajes e instrucciones para citarlos y para decir claramente cuando el contexto no cubre la pregunta. En lo que insisto es en la evaluación separada. Construyo un conjunto de preguntas reales con los documentos fuente correctos conocidos y mido el recall en k solo para la recuperación. La mayoría de las veces, cuando una respuesta está mal, la recuperación nunca sacó el trozo correcto, y ningún trabajo de prompt arregla eso.