Generación aumentada por recuperación

Las mejoras al proceso básico anterior se pueden aplicar en diferentes etapas del flujo del RAG.

Estos métodos se centran en la codificación de texto como vectores densos o dispersos. Los vectores dispersos, que codifican la identidad de una palabra, suelen tener la longitud de un diccionario y contienen principalmente ceros. Los vectores densos, que codifican el significado, son más compactos y contienen menos ceros. Diversas mejoras pueden optimizar el cálculo de las similitudes en los almacenes de vectores (bases de datos).^[16]

• El rendimiento mejora al optimizar el cálculo de las similitudes vectoriales. Los productos escalares mejoran la puntuación de similitud, mientras que las búsquedas de approximate nearest neighbor (ANN) mejoran la eficiencia de recuperación en comparación con las búsquedas de K vecinos más cercanos (KNN). ^[17]
• La precisión se puede mejorar con las interacciones tardías, que permiten al sistema comparar palabras con mayor precisión tras la recuperación. Esto ayuda a refinar la clasificación del documento y a mejorar la relevancia de la búsqueda. ^[18]
• Se pueden utilizar enfoques vectoriales híbridos para combinar representaciones vectoriales densas con vectores one-hot dispersos, aprovechando la eficiencia computacional de los productos puntuales dispersos sobre las operaciones con vectores densos.^[16]
• Otras técnicas de recuperación se centran en mejorar la precisión mediante el refinamiento de la selección de documentos. Algunos métodos de recuperación combinan representaciones dispersas, como SPLADE, con estrategias de expansión de consultas para mejorar la precisión y la recuperación de la búsqueda. ^[19]

Estos métodos tienen como objetivo mejorar la calidad de la recuperación de documentos en bases de datos vectoriales:

• Entrenamiento previo del recuperador mediante la tarea Inverse Cloze Task (ICT), una técnica que ayuda al modelo a aprender patrones de recuperación al predecir texto enmascarado dentro de los documentos. ^[20]
• El aumento progresivo de datos, tal como se utiliza en el método de aumento diverso para recuperación densa generalizable (DRAGON), mejora la recuperación densa mediante el muestreo de ejemplos negativos difíciles durante el entrenamiento. ^[21]
• La optimización supervisada del recuperador alinea las probabilidades de recuperación con la distribución de verosimilitud del modelo generador. Esto implica recuperar los k vectores principales para una indicación dada, evaluar la perplejidad de la respuesta generada y minimizar la divergencia KL entre las selecciones del recuperador y las verosimilitudes del modelo para refinar la recuperación. ^[22]
• Las técnicas de reordenamiento pueden refinar el rendimiento del recuperador al priorizar los documentos recuperados más relevantes durante el entrenamiento. ^[23]

Modelo de lenguaje Retro para RAG. Cada bloque Retro consta de capas de Atención, Atención Cruzada por Fragmentos (Chunked Cross Attention) y Capa de Alimentación Adelantada (Feed Forward). Las cajas con letras negras muestran los datos que están siendo modificados, y las letras en azul indican el algoritmo que realiza los cambios.

Al rediseñar el modelo de lenguaje teniendo en cuenta el recuperador, una red 25 veces más pequeña puede alcanzar una perplejidad comparable a la de sus contrapartes mucho más grandes. ^[24] Al entrenarse desde cero, este método (Retro) incurre en el alto costo de las ejecuciones de entrenamiento que el esquema del RAG original evitaba. La hipótesis es que, al proporcionar conocimiento del dominio durante el entrenamiento, El Retro necesita menos atención al dominio y puede dedicar sus recursos de menor peso únicamente a la semántica del lenguaje. El modelo de lenguaje rediseñado se muestra aquí.

Se ha informado que Retro no es reproducible, por lo que se realizaron modificaciones para que así sea. La versión más reproducible se llama Retro++ e incluye RAG contextual. ^[25]

La fragmentación implica varias estrategias para dividir los datos en vectores para que el recuperador pueda encontrar detalles en ellos. ^[13]

Los diferentes estilos de datos tienen patrones de los que una fragmentación (chunking) adecuada puede beneficiarse.

Existen tres tipos de estrategias de fragmentación:

• Longitud fija con superposición. Es rápido y sencillo. Superponer fragmentos consecutivos ayuda a mantener el contexto semántico entre ellos.
• Los fragmentos basados en sintaxis pueden dividir el documento en oraciones. Bibliotecas como spaCy o NLTK también pueden ser útiles.
• Fragmentación según el formato de archivo. Algunos tipos de archivo tienen fragmentos naturales integrados, y es recomendable respetarlos. Por ejemplo, los archivos de código se fragmentan y vectorizan mejor como funciones o clases completas. Los archivos HTML deben conservar intactos los elementos <table> o <img> codificados en base64 . Se deben tener consideraciones similares para los archivos PDF. Bibliotecas como Unstructured o Langchain pueden ser útiles con este método.

En lugar de usar documentos como fuente para vectorizar y recuperar, se pueden utilizar grafos de conocimiento . Se puede partir de un conjunto de documentos, libros u otros textos y convertirlos en un grafo de conocimiento mediante diversos métodos, incluyendo modelos de lenguaje. Una vez creado el grafo de conocimiento, los subgrafos se pueden vectorizar, almacenar en una base de datos vectorial y utilizar para la recuperación como en RAG simple. La ventaja es que los grafos tienen una estructura más reconocible que las cadenas de texto, y esta estructura puede ayudar a recuperar datos más relevantes para la generación. A veces, este enfoque se denomina GraphRAG. ^[26]

A veces, las búsquedas en bases de datos vectoriales pueden pasar por alto datos clave necesarios para responder a la pregunta del usuario. Una forma de mitigar esto es realizar una búsqueda de texto tradicional, añadir esos resultados a los fragmentos de texto vinculados a los vectores recuperados de la búsqueda vectorial e introducir el texto híbrido combinado en el modelo de lenguaje para su generación.^{[cita requerida]}

Los sistemas de RAG, se evalúan comúnmente mediante parámetros diseñados para evaluar tanto la precisión de recuperación como la calidad generativa. Entre los conjuntos de datos más populares se incluyen BEIR, un conjunto de tareas de recuperación de información en diversos dominios, y Natural Questions o Google QA para el control de calidad de dominio abierto.^{[cita requerida]}

Un RAG no es una solución completa al problema de las alucinaciones en los LLM. Según Ars Technica, «no es una solución directa, ya que el LLM aún puede alucinar en torno al material fuente en su respuesta».^[6]

Si bien un RAG mejora la precisión de los modelos de lenguaje grandes (LLM), no elimina todos los desafíos. Una limitación es que, si bien un RAG reduce la necesidad de reentrenamiento frecuente del modelo, no la elimina por completo. Además, los LLM pueden tener dificultades para reconocer cuándo carecen de información suficiente para proporcionar una respuesta fiable. Sin un entrenamiento específico, los modelos pueden generar respuestas incluso cuando deberían indicar incertidumbre. Según IBM, este problema puede surgir cuando el modelo no es capaz de evaluar sus propias limitaciones de conocimiento.^[1]

Los sistemas de RAG pueden recuperar fuentes correctas pero engañosas, lo que da lugar a errores de interpretación. En algunos casos, un LLM puede extraer afirmaciones de una fuente sin considerar su contexto, lo que resulta en una conclusión incorrecta.^[11] Además, al enfrentarse a información contradictoria, los modelos de RAG pueden tener dificultades para determinar qué fuente es precisa. El peor resultado de esta limitación es que el modelo puede combinar detalles de múltiples fuentes, generando respuestas que combinan información obsoleta y actualizada de forma engañosa. Según MIT Technology Review, estos problemas se producen porque los sistemas de RAG pueden malinterpretar los datos que recuperan.^[2]