【InternLM 实战营第二期-笔记3】茴香豆：搭建你的 RAG 智能助理-编程知识

书生·浦语是上海人工智能实验室和商汤科技联合研发的一款大模型,很高兴能参与本次第二期训练营，我也将会通过笔记博客的方式记录学习的过程与遇到的问题，并为代码添加注释，希望可以帮助到你们。

记得点赞哟(๑ゝω╹๑)

茴香豆：搭建你的 RAG 智能助理

视频教程网址：茴香豆：搭建你的 RAG 智能助理_哔哩哔哩_bilibili

github教程网址：文档地址

作业笔记提交地址

RAG内容介绍

大模型的训练时间在前，无法解答针对新增知识的问题，如何解决大模型的幻觉？

传统方法：采集新增语料，通过微调等方式对模型进行再训练。
缺陷：知识新增太快，语料太多，语料难以收集，训练成本太大。

针对此问题改进：rag技术的提出。（不需要训练，解决新增知识的问题）

定义

Rag(retrieval augmented generation)是一种结合了检索（retrieval)和生成（generation)的技术，旨在通过利用外部知识库来增强大型语言模型（llms)的性能。它通过检索与用户输入相关的信息片段，并结合这些信息来生成更准确，更丰富的回答。

可以理解为一种搜索引擎，将用户输入内容作为索引，在外部知识库中搜寻到内容，结合大语言模型进行回答

解决LLMs在处理知识密集型任务时可能遇到的挑战：

生成幻觉（hallucination)
过时知识
缺乏透明和可追溯的推理过程

提供更准确的回答、降低成本，实现外部记忆。

RAG工作原理

索引indexing——检索Retrival ——生成Generation

索引indexing：知识源处理，（如文档、网页）分割成chunk，编码成向量，存储在向量数据库中。
检索Retrival ：输入问题处理，接收用户问题编码为向量，在向量数据库之间找到与之最相关的文档块（top-k chunks)。
生成Generation：答案生成， 将检索到的外挂信息与原始问题一起作为提示，输入LLM中，得到最终的回答。

向量数据库（Vector-DB）

数据存储： 将文本及其他数据通过其他预训练的模型转换为固定长度的向量表示，这些向量能够捕捉文本的语义信息。

相似度检索： 根据用户的查询向量，使用向量数据库快速找出最相关的向量的过程。通常通过计算余弦相似度或其他相似性度量来完成。检索结果根据相似度得分进行排序，最相关的文档将被用于后续的文本
生成。

向量表示的优化： 包括使用更高级的文本编码技术，如句子嵌入或段落嵌入，以及对数据库进行优化以支持大规模向量搜索。

RAG流程示例

为了解决大模型的时效性问题，RAG给出了如下的解决方案：

检索模块将用户的问题向量化，与数据库进行相似度匹配，
找出匹配度最高的Chunks,
将问题与chunks一起返回给生成模块，形成prompt
生成自然语言答案返回给用户。
实效性数据则需要不断更新知识库，实现及时补充最新版知识。

RAG发展进程

三种RAG的范式：

Naive RAG：即索引，检索，生成三部分构成的最基本的泛式，这种范式经常用于简答的问答系统和信息检索场景中
Advanced RAG：在三个基础部分之外对检索前后都进行了增强，在检索之前对用户的问题进行路由，扩展，重写等处理，在检索到的内容进行重排序，总结。融合等处理，是信息收集和处理效率更高。常用于摘要生成，内容推荐场景
Modular RAG：将RAG的基础部分和后续的各种优化技术和功能模块化，可以根据实际需求定制，可以完成多模态任务和对话系统

RAG常见优化方法

提高向量数据的质量：
- 嵌入优化（embeding_opyimization)
  - 结合稀疏和密集检索；
  - 多任务
- 索引优化（indexingOPtimization）
  - 细粒度分割（chunk）
  - 元数据
- 查询优化（QueryOPtimization）
  - 查询扩展、转换
  - 多查询
- 上下文管理
  - 重排（rerank)
  - 上下文选择/压缩
Retrival优化
- 迭代检索（Interactive Retrieval)
  - 根据初始查询和迄今为止生成的文本进行重复查询
- 递归检索（Recursive Retrival)
  - 迭代细化搜索查询；
  - 链式查询（chain—of-thought)指导检索过程
- 自适应检索（Adaptive Retrival）
  - Flare、Self-RAG；
  - 使用LLMs 主动决定检索的最佳时机和内容）
LLM微调（LLM Fine—tuning）检索微调、生成微调、双重微调

RAG vs.微调（Fine-tuning）

大模型常用优化方法比较

评估框架和基准测试

RAG总结

茴香豆

茴香豆（豆哥）介绍

茴香豆的核心特性

茴香豆构建

茴香豆的知识库构建通常是个人与企业的相关技术知识文档，目前支持Markdown文件、word文档、ppt文件等常用的文件类型，可以设置积极和消极的标签控制助手的回答范围。
茴香豆读取用户问题以及相关文档的平台，在国内一般是微信群和飞书群，国外是discord和slack等技术交流应用软件。茴香豆目前支持调用本地或远端大模型的API，如书生浦语、通义千问、ChatGPT。Kimi等

茴香豆的工作流

应用茴香豆web版创建属于自己的知识领域回答助手

茴香豆web版链接

在这个页面创建知识库（名称密码可以随意）

随后上传文档

然后就可以提问啦，可以设置问题回答模板，以及拒绝回答的问题样例。并且可以直接部署到飞书，微信等多个平台

这边使用了查单模拟器的官方文档进行测试，效果还是非常棒的，除了抽象肢体上的理解还有些偏差意外，搜索能力已经非常完善了

茴香豆部署实战

注意：当前项目需要30%配额

1 环境配置

1.1 配置基础环境

这里以在 Intern Studio 服务器上部署茴香豆为例。

首先，打开 Intern Studio 界面，点击 创建开发机 配置开发机系统。

填写 开发机名称 后，点击选择镜像使用 Cuda11.7-conda 镜像，然后在资源配置中，使用 30% A100 * 1 的选项，然后立即创建开发机器。

点击 进入开发机 选项。

进入开发机后，从官方环境复制运行 InternLM 的基础环境，命名为 InternLM2_Huixiangdou，在命令行模式下运行：

studio-conda -o internlm-base -t InternLM2_Huixiangdou

复制完成后，在本地查看环境。

conda env list

结果如下所示。

# conda environments:
#
base                  *  /root/.conda
InternLM2_Huixiangdou                 /root/.conda/envs/InternLM2_Huixiangdou

运行 conda 命令，激活 InternLM2_Huixiangdou python 虚拟环境:

conda activate InternLM2_Huixiangdou

环境激活后，命令行左边会显示当前（也就是 InternLM2_Huixiangdou）的环境名称，如下图所示:

后续教程所有操作都需要在该环境下进行，重启开发机或打开新命令行后要重新激活环境。

1.2 下载基础文件

复制茴香豆所需模型文件，为了减少下载和避免 HuggingFace 登录问题，所有作业和教程涉及的模型都已经存放在 Intern Studio 开发机共享文件中。本教程选用 InternLM2-Chat-7B 作为基础模型。

# 创建模型文件夹
cd /root && mkdir models# 复制BCE模型
ln -s /root/share/new_models/maidalun1020/bce-embedding-base_v1 /root/models/bce-embedding-base_v1
ln -s /root/share/new_models/maidalun1020/bce-reranker-base_v1 /root/models/bce-reranker-base_v1# 复制大模型参数（下面的模型，根据作业进度和任务进行**选择一个**就行）
ln -s /root/share/new_models/Shanghai_AI_Laboratory/internlm2-chat-7b /root/models/internlm2-chat-7b

注意：如果这边报错ln: failed to create symbolic link ‘xxx’: Read-only file system 是正常的，因为第一节课已经链接过一次了，而多次链接就会显示无写入权限的问题

1.3 下载安装茴香豆

安装茴香豆运行所需依赖。

# 安装 python 依赖
# pip install -r requirements.txtpip install protobuf==4.25.3 accelerate==0.28.0 aiohttp==3.9.3 auto-gptq==0.7.1 bcembedding==0.1.3 beautifulsoup4==4.8.2 einops==0.7.0 faiss-gpu==1.7.2 langchain==0.1.14 loguru==0.7.2 lxml_html_clean==0.1.0 openai==1.16.1 openpyxl==3.1.2 pandas==2.2.1 pydantic==2.6.4 pymupdf==1.24.1 python-docx==1.1.0 pytoml==0.1.21 readability-lxml==0.8.1 redis==5.0.3 requests==2.31.0 scikit-learn==1.4.1.post1 sentence_transformers==2.2.2 textract==1.6.5 tiktoken==0.6.0 transformers==4.39.3 transformers_stream_generator==0.0.5 unstructured==0.11.2## 因为 Intern Studio 不支持对系统文件的永久修改，在 Intern Studio 安装部署的同学不建议安装 Word 依赖，后续的操作和作业不会涉及 Word 解析。
## 想要自己尝试解析 Word 文件的同学，uncomment 掉下面这行，安装解析 .doc .docx 必需的依赖
# apt update && apt -y install python-dev python libxml2-dev libxslt1-dev antiword unrtf poppler-utils pstotext tesseract-ocr flac ffmpeg lame libmad0 libsox-fmt-mp3 sox libjpeg-dev swig libpulse-dev

从茴香豆官方仓库下载茴香豆。

cd /root
# 下载 repo
git clone https://github.com/internlm/huixiangdou && cd huixiangdou
git checkout 447c6f7e68a1657fce1c4f7c740ea1700bde0440

茴香豆工具在 Intern Studio 开发机的安装工作结束。如果部署在自己的服务器上，参考上节课模型下载内容或本节 3.4 配置文件解析部分内容下载模型文件。

2 使用茴香豆搭建 RAG 助手

2.1 修改配置文件

用已下载模型的路径替换 /root/huixiangdou/config.ini 文件中的默认模型，需要修改 3 处模型地址，分别是:

命令行输入下面的命令，修改用于向量数据库和词嵌入的模型

sed -i '6s#.*#embedding_model_path = "/root/models/bce-embedding-base_v1"#' /root/huixiangdou/config.ini

用于检索的重排序模型

sed -i '7s#.*#reranker_model_path = "/root/models/bce-reranker-base_v1"#' /root/huixiangdou/config.ini

和本次选用的大模型

sed -i '29s#.*#local_llm_path = "/root/models/internlm2-chat-7b"#' /root/huixiangdou/config.ini

修改好的配置文件应该如下图所示：

配置文件具体含义和更多细节参考 3.4 配置文件解析。

2.2 创建知识库

本示例中，使用 InternLM 的 Huixiangdou 文档作为新增知识数据检索来源，在不重新训练的情况下，打造一个 Huixiangdou 技术问答助手。

首先，下载 Huixiangdou 语料：

cd /root/huixiangdou && mkdir repodirgit clone https://github.com/internlm/huixiangdou --depth=1 repodir/huixiangdou

提取知识库特征，创建向量数据库。数据库向量化的过程应用到了 LangChain 的相关模块，默认嵌入和重排序模型调用的网易 BCE 双语模型，如果没有在 config.ini 文件中指定本地模型路径，茴香豆将自动从 HuggingFace 拉取默认模型。

除了语料知识的向量数据库，茴香豆建立接受和拒答两个向量数据库，用来在检索的过程中更加精确的判断提问的相关性，这两个数据库的来源分别是：

接受问题列表，希望茴香豆助手回答的示例问题
- 存储在 huixiangdou/resource/good_questions.json 中
拒绝问题列表，希望茴香豆助手拒答的示例问题
- 存储在 huixiangdou/resource/bad_questions.json 中
- 其中多为技术无关的主题或闲聊
- 如：“nihui 是谁”, “具体在哪些位置进行修改？”, “你是谁？”, “1+1”

运行下面的命令，增加茴香豆相关的问题到接受问题示例中：

cd /root/huixiangdou
mv resource/good_questions.json resource/good_questions_bk.jsonecho '["mmpose中怎么调用mmyolo接口","mmpose实现姿态估计后怎么实现行为识别","mmpose执行提取关键点命令不是分为两步吗，一步是目标检测，另一步是关键点提取，我现在目标检测这部分的代码是demo/topdown_demo_with_mmdet.py demo/mmdetection_cfg/faster_rcnn_r50_fpn_coco.py checkpoints/faster_rcnn_r50_fpn_1x_coco_20200130-047c8118.pth   现在我想把这个mmdet的checkpoints换位yolo的，那么应该怎么操作","在mmdetection中，如何同时加载两个数据集，两个dataloader","如何将mmdetection2.28.2的retinanet配置文件改为单尺度的呢？","1.MMPose_Tutorial.ipynb、inferencer_demo.py、image_demo.py、bottomup_demo.py、body3d_pose_lifter_demo.py这几个文件和topdown_demo_with_mmdet.py的区别是什么，\n2.我如果要使用mmdet是不是就只能使用topdown_demo_with_mmdet.py文件，","mmpose 测试 map 一直是 0 怎么办？","如何使用mmpose检测人体关键点？","我使用的数据集是labelme标注的，我想知道mmpose的数据集都是什么样式的，全都是单目标的数据集标注，还是里边也有多目标然后进行标注","如何生成openmmpose的c++推理脚本","mmpose","mmpose的目标检测阶段调用的模型，一定要是demo文件夹下的文件吗，有没有其他路径下的文件","mmpose可以实现行为识别吗，如果要实现的话应该怎么做","我在mmyolo的v0.6.0 (15/8/2023)更新日志里看到了他新增了支持基于 MMPose 的 YOLOX-Pose，我现在是不是只需要在mmpose/project/yolox-Pose内做出一些设置就可以，换掉demo/mmdetection_cfg/faster_rcnn_r50_fpn_coco.py 改用mmyolo来进行目标检测了","mac m1从源码安装的mmpose是x86_64的","想请教一下mmpose有没有提供可以读取外接摄像头，做3d姿态并达到实时的项目呀？","huixiangdou 是什么？","使用科研仪器需要注意什么？","huixiangdou 是什么？","茴香豆 是什么？","茴香豆 能部署到微信吗？","茴香豆 怎么应用到飞书","茴香豆 能部署到微信群吗？","茴香豆 怎么应用到飞书群","huixiangdou 能部署到微信吗？","huixiangdou 怎么应用到飞书","huixiangdou 能部署到微信群吗？","huixiangdou 怎么应用到飞书群","huixiangdou","茴香豆","茴香豆 有哪些应用场景","huixiangdou 有什么用","huixiangdou 的优势有哪些？","茴香豆 已经应用的场景","huixiangdou 已经应用的场景","huixiangdou 怎么安装","茴香豆 怎么安装","茴香豆 最新版本是什么","茴香豆 支持哪些大模型","茴香豆 支持哪些通讯软件","config.ini 文件怎么配置","remote_llm_model 可以填哪些模型?"
]' > /root/huixiangdou/resource/good_questions.json

再创建一个测试用的问询列表，用来测试拒答流程是否起效：

cd /root/huixiangdouecho '[
"huixiangdou 是什么？",
"你好，介绍下自己"
]' > ./test_queries.json

在确定好语料来源后，运行下面的命令，创建 RAG 检索过程中使用的向量数据库：

# 创建向量数据库存储目录
cd /root/huixiangdou && mkdir workdir # 分别向量化知识语料、接受问题和拒绝问题中后保存到 workdir
python3 -m huixiangdou.service.feature_store --sample ./test_queries.json

向量数据库的创建需要等待一小段时间，过程约占用 1.6G 显存。

完成后，Huixiangdou 相关的新增知识就以向量数据库的形式存储在 workdir 文件夹下。

检索过程中，茴香豆会将输入问题与两个列表中的问题在向量空间进行相似性比较，判断该问题是否应该回答，避免群聊过程中的问答泛滥。确定的回答的问题会利用基础模型提取关键词，在知识库中检索 top K 相似的 chunk，综合问题和检索到的 chunk 生成答案。

2.3 运行茴香豆知识助手

我们已经提取了知识库特征，并创建了对应的向量数据库。现在，让我们来测试一下效果：

命令行运行：

# 填入问题
sed -i '74s/.*/    queries = ["huixiangdou 是什么？", "茴香豆怎么部署到微信群", "今天天气怎么样？"]/' /root/huixiangdou/huixiangdou/main.py# 运行茴香豆
cd /root/huixiangdou/
python3 -m huixiangdou.main --standalone

RAG 技术的优势就是非参数化的模型调优，这里使用的仍然是基础模型 InternLM2-Chat-7B，没有任何额外数据的训练。面对同样的问题，我们的茴香豆技术助理能够根据我们提供的数据库生成准确的答案：

InternLM2-Chat-7B 的关于 huixiangdou 问题的原始输出：

到此我们就完成了一个茴香豆知识助手的服务器端部署（基础作业）的全部内容。

后面可以根据自己的实际需求，学习茴香豆的进阶应用或者阅读茴香豆文档将茴香豆链接到即时通讯软件或打造自己的茴香豆 Web 版。

3 茴香豆进阶（选做）

茴香豆并非单纯的 RAG 功能实现，而是一个专门针对群聊优化的知识助手，下面介绍一些茴香豆的进阶用法。详情请阅读技术报告或观看本节课理论视频。

3.1 加入网络搜索

茴香豆除了可以从本地向量数据库中检索内容进行回答，也可以加入网络的搜索结果，生成回答。

开启网络搜索功能需要用到 Serper 提供的 API：

进入 Serper API 界面，复制自己的 API-key：

替换 /huixiangdou/config.ini 中的 ${YOUR-API-KEY} 为自己的API-key：

[web_search]
# check https://serper.dev/api-key to get a free API key
x_api_key = "${YOUR-API-KEY}"
domain_partial_order = ["openai.com", "pytorch.org", "readthedocs.io", "nvidia.com", "stackoverflow.com", "juejin.cn", "zhuanlan.zhihu.com", "www.cnblogs.com"]
save_dir = "logs/web_search_result"

其中 domain_partial_order 可以设置网络搜索的范围。

3.2 使用远程模型

茴香豆除了可以使用本地大模型，还可以轻松的调用云端模型 API。

目前，茴香豆已经支持 Kimi，GPT-4，Deepseek 和 GLM 等常见大模型API。

想要使用远端大模型，首先修改 /huixiangdou/config.ini 文件中

enable_local = 0 # 关闭本地模型
enable_remote = 1 # 启用云端模型

接着，如下图所示，修改 remote_ 相关配置，填写 API key、模型类型等参数。

远端模型配置选项	GPT	Kimi	Deepseek	ChatGLM	xi-api	alles-apin
`remote_type`	gpt	kimi	deepseek	zhipuai	xi-api	alles-apin
`remote_llm_max_text_length` 最大值	192000	128000	16000	128000	192000	-
`remote_llm_model`	“gpt-4-0613”	“moonshot-v1-128k”	“deepseek-chat”	“glm-4”	“gpt-4-0613”	-

启用远程模型可以大大降低GPU显存需求，根据测试，采用远程模型的茴香豆应用，最小只需要2G内存即可。

需要注意的是，这里启用的远程模型，只用在问答分析和问题生成，依然需要本地嵌入、重排序模型进行特征提取。

也可以尝试同时开启 local 和 remote 模型，茴香豆将采用混合模型的方案，详见技术报告，效果更好。

茴香豆 Web 版在 OpenXLab 上部署了混合模型的 Demo，可上传自己的语料库测试效果。

3.3 利用 Gradio 搭建网页 Demo

让我们用 Gradio 搭建一个自己的网页对话 Demo，来看看效果。

首先，安装 Gradio 依赖组件：

pip install gradio==4.25.0 redis==5.0.3 flask==3.0.2 lark_oapi==1.2.4

运行脚本，启动茴香豆对话 Demo 服务：

cd /root/huixiangdou
python3 -m tests.test_query_gradio

此时服务器端接口已开启。如果在本地服务器使用，直接在浏览器中输入 127.0.0.1:7860 ，即可进入茴香豆对话 Demo 界面。

针对远程服务器，如我们的 Intern Studio 开发机，我们需要设置端口映射，转发端口到本地浏览器：

查询开发机端口和密码（图中端口示例为 38374）：

在本地打开命令行工具：

Windows 使用快捷键组合 Windows + R（Windows 即开始菜单键）打开指令界面，并输入命令 Powershell，按下回车键
Mac 用户直接找到并打开终端
Ubuntu 用户使用快捷键组合 ctrl + alt + t

在命令行中输入如下命令，命令行会提示输入密码：

ssh -CNg -L 7860:127.0.0.1:7860 root@ssh.intern-ai.org.cn -p <你的端口号>

复制开发机密码到命令行中，按回车，建立开发机到本地到端口映射。

在本地浏览器中输入 127.0.0.1:7860 进入 Gradio 对话 Demo 界面，开始对话。

如果需要更换检索的知识领域，只需要用新的语料知识重复步骤 2.2 创建知识库提取特征到新的向量数据库，更改 huixiangdou/config.ini 文件中 work_dir = "新向量数据库路径"；

或者运行：

python3 -m tests.test_query_gradi --work_dir <新向量数据库路径>

无需重新训练或微调模型，就可以轻松的让基础模型学会新领域知识，搭建一个新的问答助手。

3.4 配置文件解析

茴香豆的配置文件位于代码主目录下，采用 Toml 形式，有着丰富的功能，下面将解析配置文件中重要的常用参数。

[feature_store]
...
reject_throttle = 0.22742061846268935
...
embedding_model_path = "/root/models/bce-embedding-base_v1"
reranker_model_path = "/root/models/bce-reranker-base_v1"
...
work_dir = "workdir"

reject_throttle: 拒答阈值，0-1，数值越大，回答的问题相关性越高。拒答分数在检索过程中通过与示例问题的相似性检索得出，高质量的问题得分高，无关、低质量的问题得分低。只有得分数大于拒答阈值的才会被视为相关问题，用于回答的生成。当闲聊或无关问题较多的环境可以适当调高。
embedding_model_path 和 reranker_model_path: 嵌入和重排用到的模型路径。不设置本地模型路径情况下，默认自动通过 Huggingface 下载。开始自动下载前，需要使用下列命令登录 Huggingface 账户获取权限：

huggingface-cli login

work_dir: 向量数据库路径。茴香豆安装后，可以通过切换向量数据库路径，来回答不同知识领域的问答。

[llm.server]
...
local_llm_path = "/root/models/internlm2-chat-1_8b"
local_llm_max_text_length = 3000
...

local_llm_path: 本地模型文件夹路径或模型名称。现支持 书生·浦语 和 通义千问 模型类型，调用 transformers 的 AutoModels 模块，除了模型路径，输入 Huggingface 上的模型名称，如*“internlm/internlm2-chat-7b”、“qwen/qwen-7b-chat-int8”、“internlm/internlm2-chat-20b”*，也可自动拉取模型文件。
local_llm_max_text_length: 模型可接受最大文本长度。

远端模型支持参考上一小节。

[worker]
# enable search enhancement or not
enable_sg_search = 0
save_path = "logs/work.txt"
...

[worker]: 增强搜索功能，配合 [sg_search] 使用。增强搜索利用知识领域的源文件建立图数据库，当模型判断问题为无关问题或回答失败时，增强搜索功能将利用 LLM 提取的关键词在该图数据库中搜索，并尝试用搜索到的内容重新生成答案。在 config.ini 中查看 [sg_search] 具体配置示例。

[worker.time]
start = "00:00:00"
end = "23:59:59"
has_weekday = 1

[worker.time]: 可以设置茴香豆每天的工作时间，通过 start 和 end 设定应答的起始和结束时间。
has_weekday: = 1 的时候，周末不应答😂（豆哥拒绝 996）。

[frontend]
...

[fronted]: 前端交互设置。茴香豆代码仓库查看具体教程。

3.5 文件结构

通过了解主要文件的位置和作用，可以更好的理解茴香豆的工作原理。

.
├── LICENSE
├── README.md
├── README_zh.md
├── android
├── app.py
├── config-2G.ini
├── config-advanced.ini
├── config-experience.ini
├── config.ini # 配置文件
├── docs # 教学文档
├── huixiangdou # 存放茴香豆主要代码，重点学习
├── huixiangdou-inside.md
├── logs
├── repodir # 默认存放个人数据库原始文件，用户建立
├── requirements-lark-group.txt
├── requirements.txt
├── resource
├── setup.py
├── tests # 单元测试
├── web # 存放茴香豆 Web 版代码
└── web.log
└── workdir # 默认存放茴香豆本地向量数据库，用户建立

./huixiangdou
├── __init__.py
├── frontend # 存放茴香豆前端与用户端和通讯软件交互代码
│   ├── __init__.py
│   ├── lark.py
│   └── lark_group.py
├── main.py # 运行主贷
├── service # 存放茴香豆后端工作流代码
│   ├── __init__.py
│   ├── config.py #
│   ├── feature_store.py # 数据嵌入、特征提取代码
│   ├── file_operation.py
│   ├── helper.py
│   ├── llm_client.py
│   ├── llm_server_hybrid.py # 混合模型代码
│   ├── retriever.py # 检索模块代码
│   ├── sg_search.py # 增强搜索，图检索代码
│   ├── web_search.py # 网页搜索代码
│   └── worker.py # 主流程代码
└── version.py

茴香豆工作流中用到的 Prompt 位于 huixiangdou/service/worker.py 中。可以根据业务需求尝试调整 Prompt，打造你独有的茴香豆知识助手。

...# Switch languages according to the scenario.if self.language == 'zh':self.TOPIC_TEMPLATE = '告诉我这句话的主题，直接说主题不要解释：“{}”'self.SCORING_QUESTION_TEMPLTE = '“{}”\n请仔细阅读以上内容，判断句子是否是个有主题的疑问句，结果用 0～10 表示。直接提供得分不要解释。\n判断标准：有主语谓语宾语并且是疑问句得 10 分；缺少主谓宾扣分；陈述句直接得 0 分；不是疑问句直接得 0 分。直接提供得分不要解释。'  # noqa E501self.SCORING_RELAVANCE_TEMPLATE = '问题：“{}”\n材料：“{}”\n请仔细阅读以上内容，判断问题和材料的关联度，用0～10表示。判断标准：非常相关得 10 分；完全没关联得 0 分。直接提供得分不要解释。\n'  # noqa E501self.KEYWORDS_TEMPLATE = '谷歌搜索是一个通用搜索引擎，可用于访问互联网、查询百科知识、了解时事新闻等。搜索参数类型 string， 内容是短语或关键字，以空格分隔。\n你现在是{}交流群里的技术助手，用户问“{}”，你打算通过谷歌搜索查询相关资料，请提供用于搜索的关键字或短语，不要解释直接给出关键字或短语。'  # noqa E501self.SECURITY_TEMAPLTE = '判断以下句子是否涉及政治、辱骂、色情、恐暴、宗教、网络暴力、种族歧视等违禁内容，结果用 0～10 表示，不要解释直接给出得分。判断标准：涉其中任一问题直接得 10 分；完全不涉及得 0 分。直接给得分不要解释：“{}”'  # noqa E501self.PERPLESITY_TEMPLATE = '“question:{} answer:{}”\n阅读以上对话，answer 是否在表达自己不知道，回答越全面得分越少，用0～10表示，不要解释直接给出得分。\n判断标准：准确回答问题得 0 分；答案详尽得 1 分；知道部分答案但有不确定信息得 8 分；知道小部分答案但推荐求助其他人得 9 分；不知道任何答案直接推荐求助别人得 10 分。直接打分不要解释。'  # noqa E501self.SUMMARIZE_TEMPLATE = '{} \n 仔细阅读以上内容，总结得简短有力点'  # noqa E501# self.GENERATE_TEMPLATE = '材料：“{}”\n 问题：“{}” \n 请仔细阅读参考材料回答问题，材料可能和问题无关。如果材料和问题无关，尝试用你自己的理解来回答问题。如果无法确定答案，直接回答不知道。'  # noqa E501self.GENERATE_TEMPLATE = '材料：“{}”\n 问题：“{}” \n 请仔细阅读参考材料回答问题。'  # noqa E501
...