书生·浦语训练营二期第三次笔记-茴香豆：搭建你的 RAG 智能助理

RAG学习文档1：
https://paragshah.medium.com/unlock-the-power-of-your-knowledge-base-with-openai-gpt-apis-db9a1138cac4
RAG学习文档2: https://blog.demir.io/hands-on-with-rag-step-by-step-guide-to-integrating-retrieval-augmented-generation-in-llms-ac3cb075ab6f
词嵌入相关理论文档：https://openai.com/blog/introducing-text-and-code-embeddings； 对应论文https://arxiv.org/abs/2201.10005
openai升级版的词嵌入API文档：https://openai.com/blog/new-embedding-models-and-api-updates

RAG技术

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
RAG的检索阶段和生成阶段进行分别评价

在这里插入图片描述

茴香豆简介

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

茴香豆部署

环境配置

进入开发机后，从官方环境复制运行 InternLM 的基础环境，命名为 InternLM2_Huixiangdou，在命令行模式下运行：

studio-conda -o internlm-base -t InternLM2_Huixiangdou

在这里插入图片描述
复制完成后，在本地查看环境。

conda env list

结果如下所示。
在这里插入图片描述

运行 conda 命令，激活 InternLM2_Huixiangdou python 虚拟环境:

conda activate InternLM2_Huixiangdou

下载基础文件

# 创建模型文件夹
cd /root && mkdir models# 复制BCE模型
ln -s /root/share/new_models/maidalun1020/bce-embedding-base_v1 /root/models/bce-embedding-base_v1
ln -s /root/share/new_models/maidalun1020/bce-reranker-base_v1 /root/models/bce-reranker-base_v1# 复制大模型参数（下面的模型，根据作业进度和任务进行**选择一个**就行）
ln -s /root/share/new_models/Shanghai_AI_Laboratory/internlm2-chat-7b /root/models/internlm2-chat-7b

下载安装茴香豆

配环境的时候清华源崩了，换成阿里源

pip install --index-url https://mirrors.aliyun.com/pypi/simple/ protobuf==4.25.3 accelerate==0.28.0 aiohttp==3.9.3 auto-gptq==0.7.1 bcembedding==0.1.3 beautifulsoup4==4.8.2 einops==0.7.0 faiss-gpu==1.7.2 langchain==0.1.14 loguru==0.7.2 lxml_html_clean==0.1.0 openai==1.16.1 openpyxl==3.1.2 pandas==2.2.1 pydantic==2.6.4 pymupdf==1.24.1 python-docx==1.1.0 pytoml==0.1.21 readability-lxml==0.8.1 redis==5.0.3 requests==2.31.0 scikit-learn==1.4.1.post1 sentence_transformers==2.2.2 textract==1.6.5 tiktoken==0.6.0 transformers==4.39.3 transformers_stream_generator==0.0.5 unstructured==0.11.2## 因为 Intern Studio 不支持对系统文件的永久修改，在 Intern Studio 安装部署的同学不建议安装 Word 依赖，后续的操作和作业不会涉及 Word 解析。
## 想要自己尝试解析 Word 文件的同学，uncomment 掉下面这行，安装解析 .doc .docx 必需的依赖
# apt update && apt -y install python-dev python libxml2-dev libxslt1-dev antiword unrtf poppler-utils pstotext tesseract-ocr flac ffmpeg lame libmad0 libsox-fmt-mp3 sox libjpeg-dev swig libpulse-dev

从茴香豆官方仓库下载茴香豆。

cd /root
# 下载 repo
git clone https://github.com/internlm/huixiangdou && cd huixiangdou
git checkout 447c6f7e68a1657fce1c4f7c740ea1700bde0440
#茴香豆工具在 Intern Studio 开发机的安装工作结束。如果部署在自己的服务器上，参考上节课模型下载内容或本节 3.4 配置文件解析 部分内容下载模型文件。

在这里插入图片描述

使用茴香豆搭建RAG助手

修改配置文件

用已下载模型的路径替换 /root/huixiangdou/config.ini 文件中的默认模型，需要修改 3 处模型地址，分别是:

  1. 命令行输入下面的命令，修改用于向量数据库和词嵌入的模型
sed -i '6s#.*#embedding_model_path = "/root/models/bce-embedding-base_v1"#' /root/huixiangdou/config.ini

- `sed -i` 表示直接修改文件内容，而不是输出到终端。
  • 6s 表示要替换第6行的内容。
  • # 用作分隔符，可以替代常用的 /，以避免与路径中的 / 冲突。
  • .* 匹配任意字符，表示替换整行的内容。
  • embedding_model_path = "/root/models/bce-embedding-base_v1" 是要替换的新内容，设置了用于向量数据库和词嵌入的模型路径。

这条命令的作用是将 /root/huixiangdou/config.ini 文件的第6行修改为 embedding_model_path = "/root/models/bce-embedding-base_v1"，设置了向量数据库和词嵌入使用的模型路径。

  1. 用于检索的重排序模型
sed -i '7s#.*#reranker_model_path = "/root/models/bce-reranker-base_v1"#' /root/huixiangdou/config.ini

与第一条命令类似，这条命令将 /root/huixiangdou/config.ini 文件的第7行修改为 reranker_model_path = "/root/models/bce-reranker-base_v1"，设置了用于检索的重排序模型的路径。

  1. 和本次选用的大模型
sed -i '29s#.*#local_llm_path = "/root/models/internlm2-chat-7b"#' /root/huixiangdou/config.ini

与前两条命令类似，这条命令将 /root/huixiangdou/config.ini 文件的第29行修改为 local_llm_path = "/root/models/internlm2-chat-7b"，设置了本次选用的大模型的路径。
在这里插入图片描述
现在config.ini中的地址信息都被更改了：

在这里插入图片描述

创建知识库

使用 InternLM 的 Huixiangdou 文档作为新增知识数据检索来源，在不重新训练的情况下，打造一个 Huixiangdou 技术问答助手。

首先，下载 Huixiangdou 语料：

cd /root/huixiangdou && mkdir repodirgit clone https://github.com/internlm/huixiangdou --depth=1 repodir/huixiangdou

提取知识库特征，创建向量数据库。数据库向量化的过程应用到了 LangChain 的相关模块，默认嵌入和重排序模型调用的网易 BCE 双语模型，如果没有在 config.ini 文件中指定本地模型路径，茴香豆将自动从 HuggingFace 拉取默认模型。

除了语料知识的向量数据库，茴香豆建立接受和拒答两个向量数据库，用来在检索的过程中更加精确的判断提问的相关性，这两个数据库的来源分别是：

  • 接受问题列表，希望茴香豆助手回答的示例问题

    • 存储在 huixiangdou/resource/good_questions.json 中
      在这里插入图片描述

  • 拒绝问题列表，希望茴香豆助手拒答的示例问题

    • 存储在 huixiangdou/resource/bad_questions.json 中
    • 其中多为技术无关的主题或闲聊
    • 如：“nihui 是谁”, “具体在哪些位置进行修改？”, “你是谁？”, “1+1”
      在这里插入图片描述
      运行下面的命令，增加茴香豆相关的问题到接受问题示例中：
cd /root/huixiangdou
mv resource/good_questions.json resource/good_questions_bk.jsonecho '["mmpose中怎么调用mmyolo接口","mmpose实现姿态估计后怎么实现行为识别","mmpose执行提取关键点命令不是分为两步吗，一步是目标检测，另一步是关键点提取，我现在目标检测这部分的代码是demo/topdown_demo_with_mmdet.py demo/mmdetection_cfg/faster_rcnn_r50_fpn_coco.py checkpoints/faster_rcnn_r50_fpn_1x_coco_20200130-047c8118.pth   现在我想把这个mmdet的checkpoints换位yolo的，那么应该怎么操作","在mmdetection中，如何同时加载两个数据集，两个dataloader","如何将mmdetection2.28.2的retinanet配置文件改为单尺度的呢？","1.MMPose_Tutorial.ipynb、inferencer_demo.py、image_demo.py、bottomup_demo.py、body3d_pose_lifter_demo.py这几个文件和topdown_demo_with_mmdet.py的区别是什么，\n2.我如果要使用mmdet是不是就只能使用topdown_demo_with_mmdet.py文件，","mmpose 测试 map 一直是 0 怎么办？","如何使用mmpose检测人体关键点？","我使用的数据集是labelme标注的，我想知道mmpose的数据集都是什么样式的，全都是单目标的数据集标注，还是里边也有多目标然后进行标注","如何生成openmmpose的c++推理脚本","mmpose","mmpose的目标检测阶段调用的模型，一定要是demo文件夹下的文件吗，有没有其他路径下的文件","mmpose可以实现行为识别吗，如果要实现的话应该怎么做","我在mmyolo的v0.6.0 (15/8/2023)更新日志里看到了他新增了支持基于 MMPose 的 YOLOX-Pose，我现在是不是只需要在mmpose/project/yolox-Pose内做出一些设置就可以，换掉demo/mmdetection_cfg/faster_rcnn_r50_fpn_coco.py 改用mmyolo来进行目标检测了","mac m1从源码安装的mmpose是x86_64的","想请教一下mmpose有没有提供可以读取外接摄像头，做3d姿态并达到实时的项目呀？","huixiangdou 是什么？","使用科研仪器需要注意什么？","huixiangdou 是什么？","茴香豆 是什么？","茴香豆 能部署到微信吗？","茴香豆 怎么应用到飞书","茴香豆 能部署到微信群吗？","茴香豆 怎么应用到飞书群","huixiangdou 能部署到微信吗？","huixiangdou 怎么应用到飞书","huixiangdou 能部署到微信群吗？","huixiangdou 怎么应用到飞书群","huixiangdou","茴香豆","茴香豆 有哪些应用场景","huixiangdou 有什么用","huixiangdou 的优势有哪些？","茴香豆 已经应用的场景","huixiangdou 已经应用的场景","huixiangdou 怎么安装","茴香豆 怎么安装","茴香豆 最新版本是什么","茴香豆 支持哪些大模型","茴香豆 支持哪些通讯软件","config.ini 文件怎么配置","remote_llm_model 可以填哪些模型?"
]' > /root/huixiangdou/resource/good_questions.json

再创建一个测试用的问询列表，用来测试拒答流程是否起效：

cd /root/huixiangdouecho '[
"huixiangdou 是什么？",
"你好，介绍下自己"
]' > ./test_queries.json

在确定好语料来源后，运行下面的命令，创建 RAG 检索过程中使用的向量数据库：

# 创建向量数据库存储目录
cd /root/huixiangdou && mkdir workdir # 分别向量化知识语料、接受问题和拒绝问题中后保存到 workdir
python3 -m huixiangdou.service.feature_store --sample ./test_queries.json

向量数据库的创建需要等待一小段时间，过程约占用 1.6G 显存。

完成后，Huixiangdou 相关的新增知识就以向量数据库的形式存储在 workdir 文件夹下。

检索过程中，茴香豆会将输入问题与两个列表中的问题在向量空间进行相似性比较，判断该问题是否应该回答，避免群聊过程中的问答泛滥。确定的回答的问题会利用基础模型提取关键词，在知识库中检索 top K 相似的 chunk，综合问题和检索到的 chunk 生成答案。
运行截图：
在这里插入图片描述
拒答流程测试中，第一个问题“huixiangdou是什么？”顺利的通过了测试，检索模块也搜寻到了相关的语料。
在这里插入图片描述

第二个问题，被拒答模块成功的拒绝了：
但是我在跟着文档走的时候遇到了一个问题，提示
在这里插入图片描述
断言语句 assert (len(context) <= context_max_length) 用于确保上下文的长度（len(context)）小于或等于允许的最大上下文长度（context_max_length）。如果条件不满足，就会引发 AssertionError。
我把retriver.py中的context_max_length变长了，之后可以实现和视频中一样的运行流程。
在这里插入图片描述
在这里插入图片描述

运行茴香豆知识助手

我们已经提取了知识库特征，并创建了对应的向量数据库。现在，让我们来测试一下效果：

命令行运行：

# 填入问题
sed -i '74s/.*/    queries = ["huixiangdou 是什么？", "茴香豆怎么部署到微信群", "今天天气怎么样？"]/' /root/huixiangdou/huixiangdou/main.py# 运行茴香豆
cd /root/huixiangdou/
python3 -m huixiangdou.main --standalone

RAG 技术的优势就是非参数化的模型调优，这里使用的仍然是基础模型 InternLM2-Chat-7B， 没有任何额外数据的训练。面对同样的问题，我们的茴香豆技术助理能够根据我们提供的数据库生成准确的答案。

  1. 首先，通过命令 python3 -m huixiangdou.main --standalone 启动茴香豆程序。--standalone 参数表示以独立模式运行。

  2. 程序开始加载各种模型和配置：

    • 加载了一些自然语言处理的模型，如 SentenceTransformer 和 BCEmbedding 的 RerankerModel。
    • 加载了一些配置文件，如 config.ini，其中包含了模型路径、数据路径和日志路径等设置。

  3. 程序启动了一个 HTTP 服务，监听在 0.0.0.0:8888，等待客户端的请求。

在这里插入图片描述

  1. 收到一个问题 “huixiangdou 是什么？”，程序开始处理（使用Prompt和internlm2-7b进行交互）：
    • 首先判断这是一个有主题的疑问句，得分（这里打分好像失败了，模型回复无法进行打分）。
    • 然后提取出问题的主题是 “huixiangdou 的含义或定义”。
    • 在知识库中搜索相关的材料，找到了 README.md 文件，判断问题和材料的相关度为8分。
    • 使用 InternLM2-chat-7b 模型根据材料生成了一个回答，解释了 HuixiangDou 的定义和特点。
    • 将问题、回答和相关材料返回给客户端。
      在这里插入图片描述
      在这里插入图片描述

最后，这是茴香豆返回的最终答案：
在这里插入图片描述

  1. 收到另一个问题 “茴香豆怎么部署到微信群”，程序再次处理：
    • 判断这是一个得分为8分的疑问句，主题是 “茴香豆的微信部署”。
    • 在知识库中找到了相关的 README_zh.md 文件，问题和材料的相关度为8分。
    • 使用 InternLM2-chat-7b 模型根据材料生成了一个详细的部署步骤说明。
    • 将问题、回答和相关材料返回给客户端。
      在这里插入图片描述
      在这里插入图片描述

在这里插入图片描述

茴香豆返回的最终答案：
在这里插入图片描述

  1. 收到第三个问题 “今天天气怎么样？”，程序判断这个问题与知识库无关，直接返回空答案。
    （这里判断主题相似度的prompt好像缺失了，直接就返回了空答案。）
    在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.hqwc.cn/news/599052.html

如若内容造成侵权/违法违规/事实不符，请联系编程知识网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

yolov9直接调用zed相机实现三维测距（python）

yolov9直接调用zed相机实现三维测距（python）

yolov9直接调用zed相机实现三维测距&#xff08;python&#xff09; 1. 相关配置2. 相关代码2.1 相机设置2.2 测距模块2.2 实验结果 相关链接 此项目直接调用zed相机实现三维测距&#xff0c;无需标定&#xff0c;相关内容如下&#xff1a; 1. yolov4直接调用zed相机实现三维测…
阅读更多...
90天玩转Python—05—基础知识篇：Python基础知识扫盲,使用方法与注意事项

90天玩转Python—05—基础知识篇：Python基础知识扫盲,使用方法与注意事项

90天玩转Python系列文章目录 90天玩转Python—01—基础知识篇：C站最全Python标准库总结 90天玩转Python--02--基础知识篇：初识Python与PyCharm 90天玩转Python—03—基础知识篇：Python和PyCharm（语言特点、学习方法、工具安装） 90天玩转Python—04—基础知识篇：Pytho…
阅读更多...
C语言开发实战：使用EasyX在Visual Studio 2022中创建井字棋游戏

C语言开发实战：使用EasyX在Visual Studio 2022中创建井字棋游戏

&#x1f31f; 前言 欢迎来到我的技术小宇宙&#xff01;&#x1f30c; 这里不仅是我记录技术点滴的后花园&#xff0c;也是我分享学习心得和项目经验的乐园。&#x1f4da; 无论你是技术小白还是资深大牛&#xff0c;这里总有一些内容能触动你的好奇心。&#x1f50d; &#x…
阅读更多...
c++的学习之路：16、string（3）

c++的学习之路：16、string（3）

上章有一些东西当时没学到&#xff0c;这里学到了将在补充&#xff0c;文章末附上代码&#xff0c;思维导图。 目录 一、赋值重载 二、带模板的创建 三、析构函数 四、代码 五、思维导图 一、赋值重载 这里的赋值重载就是直接利用交换函数进行把传参生成的临时数据和需要…
阅读更多...
2024/4/7 IOday6

2024/4/7 IOday6

1&#xff1a;有一个隧道&#xff0c;全长5公里&#xff0c;有2列火车&#xff0c;全长200米&#xff0c; 火车A时速 100公里每小时 火车B时速 50公里每小时 现在要求模拟火车反复通过隧道的场景(不可能2列火车都在隧道内运行) #include <stdio.h> #include <string.…
阅读更多...
特别详细的Spring Cloud 系列教程1：服务注册中心Eureka的启动

特别详细的Spring Cloud 系列教程1：服务注册中心Eureka的启动

Eureka已经被Spring Cloud继承在其子项目spring-cloud-netflix中&#xff0c;搭建Eureka Server的方式还是非常简单的。只需要通过一个独立的maven工程即可搭建Eureka Server。 我们引入spring cloud的依赖和eureka的依赖。 <dependencyManagement><!-- spring clo…
阅读更多...
工单派单-saas工单处理软件效益分析，智能解决企业管理痛点亿发

工单派单-saas工单处理软件效益分析，智能解决企业管理痛点亿发

企业对引入工单管理系统是有迫切需求的&#xff0c;工单管理系统可以有效地管理任务和工作流程&#xff0c;提高工作效率和客户满意度。 在没有工单管理系统之前&#xff0c;许多企业可能面临着诸如任务分配不清晰、信息不透明、工作流程混乱等管理挑战。举例来说&#xff0c;…
阅读更多...
蓝桥杯 历届真题 杨辉三角形【第十二届】【省赛】【C组】

蓝桥杯 历届真题 杨辉三角形【第十二届】【省赛】【C组】

资源限制 内存限制&#xff1a;256.0MB C/C时间限制&#xff1a;1.0s Java时间限制&#xff1a;3.0s Python时间限制&#xff1a;5.0s 思路&#xff1a; 由于我第一写没考虑到大数据的原因&#xff0c;直接判断导致只得了40分&#xff0c;下面是我的代码&#xff1a; #…
阅读更多...
《Ubuntu20.04环境下的ROS进阶学习6》

《Ubuntu20.04环境下的ROS进阶学习6》

一、手持激光雷达建图 在上次的学习中我们已经使用hector_Mapping在仿真环境下建图了&#xff0c;那么本节我们将拿出真实雷达做一次室内的建图。我们使用的是思岚的S2L激光雷达。 二、下载思岚的应用手册 首先我们根据自己的激光雷达类型去到思岚官网下载相应的ROS包&#xff…
阅读更多...
哪些医疗器械申请FDA，需要准备网络安全文件？需要提交的文件都是什么样的？

哪些医疗器械申请FDA，需要准备网络安全文件？需要提交的文件都是什么样的？

一、什么类型的医疗器械需要递交网络安全文件&#xff1f; FD&C法案第524B条(c) 条将“网络设备”定义为&#xff1a; 1&#xff09;经申请人验证、安装或授权的软件或设备&#xff1b; 2&#xff09;具备连接互联网的能力&#xff1b; 3&#xff09;包含经申请人验证、…
阅读更多...
刷代码随想录有感（24）

刷代码随想录有感（24）

有时候我会怀疑努力的意义&#xff0c;因为我总是花人家好几倍的时间去理解一个狗看了都觉得弱智的问题&#xff0c;思考过后我知道&#xff0c;努力本没有意义&#xff0c;是在未来可能十年内取得成就时突然回想起来之前做过一些事情&#xff0c;未来的成就赋予曾经的意义&…
阅读更多...
pdf、docx、markdown、txt提取文档内容，可以应用于rag文档解析

pdf、docx、markdown、txt提取文档内容，可以应用于rag文档解析

返回的是文档解析分段内容组成的列表&#xff0c;分段内容默认chunk_size: int 250, chunk_overlap: int 50&#xff0c;250字分段&#xff0c;50分段处保留后面一段的前50字拼接即窗口包含下下一段前面50个字划分 from typing import Union, Listimport jieba import recla…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023