【检索增强】Retrieval-Augmented Generation for Large Language Models：A Survey-编程知识

简述

本文将RAG搜索范式分成了三类：朴素RAG、高级RAG和模块化RAG

在这里插入图片描述
从模块化RAG来看，朴素RAG是只有读取和检索模块，高级RAG除了朴素RAG中的读取和检索模块外，还具有重写和重排模块。

从某种程度上来说，朴素RAG是高级RAG的一个特例，而高级RAG又是模块化RAG的一个特例。三种范式之间是一种继承与发展的关系。

朴素RAG

朴素RAG是传统的RAG过程，包括：索引、检索和生成。

索引：索引过程是离线数据准备的关键，涉及三个阶段。
（1）数据预处理：数据清洗、提取、格式转换为标准纯文本、切割分块等。
（2）嵌入表示：将分块后的数据用嵌入模型将其用向量表示。
（3）创建索引：创建索引以键值对的形式存储这些文本块及其向量嵌入，从而实现高效且可扩展的搜索功能。

检索：受到用户查询后，将会去索引库中匹配向量。
（1）用户查询向量化：系统使用索引阶段使用的相同编码模型将输入转码为向量表示。
（2）计算相似度分数：计算查询向量和索引语料库中向量的相似度分数。
（3）优先级排序并检索：系统对与查询最相关的前K个块进行优先级排序，检索出来对应的文本块，这些文本块将作为结果会返回给用户。

生成：查询与选择出的文档将会被拼接在一起，作为一个连贯的prompt输入给LLM。

传统RAG的缺陷：
低精度、检索快不对齐、幻觉、低回忆率
在这里插入图片描述

高级RAG

高级RAG有针对性地解决朴素RAG的潜在问题，实现了检索前策略和检索后策略。还是用了滑动窗口技术、细粒度分割和元数据等技术改进索引方法，引入了各种方法来优化检索过程。

检索前过程：优化数据索引。优化数据索引的目标是提高被检索内容的质量。这涉及五种主要策略：增强数据粒度、优化索引结构、添加元数据、对齐优化和混合检索。
（1）增强数据粒度：旨在提高文本的标准化、一致性、事实准确性和丰富的上下文，从而提高RAG系统的性能。这包括删除不相关的信息，消除实体和术语中的歧义，确认事实的准确性，维护上下文和更新过时的文件。
（2）优化索引结构：调整块的大小以捕获相关上下文、跨多个索引路径进行查询，以及通过利用图数据索引中的节点之间的关系来合并图结构中的信息以捕获相关上下文。
（3）添加元数据：将引用的元数据（日期和用途等）集成到块中进行过滤，以及将引用的章节和小节等元数据集成到块中以提高检索效率。
（4）对齐优化：通过在文档中引入“假设问题”来纠正对齐问题和差异，从而解决文档之间的对齐问题和差异。

检索：通过计算查询和块之间的相似性识别合适的上下文，Embedding模型是这个过程的核心。
（1）微调Embedding模型：微调Embedding模型会显著影响RAG系统中检索内容的相关性。该过程包括：自定义Embedding模型、增强特定领域上下文中的检索相关性。可以适应ChatGPT等语言模型来生成用于微调的预训练数据，以制定基于文档块的数据。
（2）动态Embedding：适应单词使用的上下文，不像静态嵌入，它为每个单词使用单个向量。例如，在向BERT这样的Transformer模型中，相同的单词可以根据周围的单词具有不同的嵌入。OpenAI的embeddings-ada-02模型建立在LLM的原理之上，是一个复杂的动态嵌入模型，可以捕获上下文理解。然而，它可能不会像最新的大规模语言模型（如GPT-4）那样对上席文同样表现出敏感性。

检索后过程：在从数据库中检索有价值的上下文之后，必须将其与查询合并，作为llm的输入，同时解决上下文窗口限制带来的挑战。简单地将所有相关文件一次性呈现给法学硕士可能会超出上下文窗口限制，引入噪音，并阻碍对关键信息的关注。为了解决这些问题，需要对检索到的内容进行额外处理。
（1）重排：对检索到的信息重新排序，将最相关的内容重新定位到提示的边缘（开头或结尾）是一个关键策略。
（2）prompt压缩：检索文档中的噪声会对RAG性能产生不利影响。在后处理中，重点在于压缩不相关的上下文，突出关键段落，减少整体上下文长度。包括：利用小语言模型来计算提示互信息或困惑，估计元素的重要性；在不同粒度上训练压缩器来解决这个问题；计了总结技术来增强LLM的关键信息感知，特别是在处理广泛的上下文时。

模块化RAG

模块化RAG提供了一个更为灵活和通用的框架，集成了多种增强功能模块的方法，例如在检索器中加入相似检索的搜索模块和应用微调方法。模块化RAG允许序列化的管道和跨多个模块端到端的方法。

模块化RAG的结构：

1、搜索模块·：从多源异构数据来源中获取数据。

针对特定场景进行了定制，并结合了对其他语料库的直接搜索。这种集成是使用LLM生成的代码、查询语言(如SQL或Cypher)以及其他自定义工具来实现的。这些搜索的数据源可以包括搜索引擎、文本数据、表格数据和知识图谱。

2、记忆模块：通过利用LLM的记忆信息来指导检索。

包括：识别与当前输入最相似的记忆；利用检索增强生成器迭代创建无界内存池，将“原始问题”和“双重问题”结合起来。通过使用检索增强的生成模型，使用自己的输出来改进自己，文本在推理过程中与数据分布更加一致。利用模型本身的输出来代替训练数据。

3、融合模块：使用LLM将查询扩展到多个不同的角度，多个不同的方法来查询。

这种方法不仅捕获了用户所寻求的明确信息，而且还揭示了更深层次的、具有变革性的知识。融合过程包括对原始查询和扩展查询进行并行向量搜索，智能重新排序以优化结果，并将最佳结果与新查询配对。这种复杂的方法确保搜索结果与用户的显性和隐性意图紧密结合，从而导致更有洞察力和相关的信息发现。

4、路由模块：查询路由决定用户查询的后续操作。

RAG系统的检索过程利用了多种来源，这些来源在领域、语言和格式上都有所不同，可以根据情况进行交替或合并。查询路由决定用户查询的后续操作，包括：汇总、搜索特定数据库或将不同的路径合并到单个响应中。查询路由器还为查询选择适当的数据存储，其中可能包括各种来源，如矢量存储、图形数据库或关系数据库，或者索引层次结构——例如，用于多文档存储的摘要索引和文档块向量索引。查询路由器的决策是预定义的，并通过llm调用执行，llm调用将查询定向到所选的索引。

5、预测模块：解决检索内容中冗余和噪声等常见问题，该模块不是直接从数据源中检索，而是利用LLM生成必要的上下文。