使用RAG-GPT集成智谱AI、DeepSeek快速搭建OpenAI Cookbook智能客服

news/2024/11/15 14:06:38/文章来源:https://www.cnblogs.com/AI-Inception/p/18202773

使用RAG-GPT集成智谱AI、DeepSeek快速搭建OpenAI Cookbook智能客服

引言

前面介绍了使用RAG-GPT和OpenAI快速搭建LangChain官网智能客服，目前国内也有一些比较不错的云端大模型API服务。本文将介绍通过RAG-GPT集成智谱AI和DeepSeek，快速搭建OpenAI Cookbook智能客服。

RAG技术原理介绍

在介绍RAG-GPT项目之前，我们首先要理解RAG的基本原理，RAG在问答系统中的一个典型应用主要包括三个模块，分别是：

  • Indexing（索引）：将文档分割成chunk，编码成向量，并存储在向量数据库中。
  • Retrieval（检索）：根据用户输入query和向量数据库中chunks语义相似度检索与问题最相关的前k个chunk，形成本次问答的上下文。
  • Generation（生成）：将原始问题和检索到的chunks整合形成合适的prompt一起输入到LLM中，让LLM输出与上下文有关的回答。

智能文档的在线检索流程可以用一张图说明，上图中展示了一个完整的问答流程：

  • 用户发起query
  • 结合Bot实际应用场景，评估是否对query进行rewrite
  • Retieval模块根据query检索出Indexing中的相关的文档
  • 将召回的文档进行Reranking
  • 并且根据relevance score进行过滤，过滤掉低质的文档
  • 形成合适的Prompt后输入到LLM大模型中，最后生成答案

以上是对RAG技术的基本介绍，如果想深入了解技术细节可以参考这篇文章：RAG技术全解析：打造下一代智能问答系统。

如何快速实现RAG的智能问答系统？

从RAG的原理介绍中可以看到要实现RAG整套架构还是存在一定工作量，需要构建索引、检索、集成LLM、Prompt优化等一系列模块，具有一定的难度。

基于此，RAG-GPT提供了一整套开源解决方案，旨在利用LLM和RAG技术快速搭建一个全功能的客服解决方案。该项目基于Flask框架，包括前端用户界面、后端服务和管理员控制台，为企业利用LLM搭建智能客服等对话场景提供了一个完整的自动化解决方案，可以帮助开发者快速搭建一个智能问答系统，且代码完全开源。
项目地址：https://github.com/open-kf/rag-gpt

RAG-GPT的基本架构

RAG-GPT关键特性：

  • 内置LLM支持：支持云端LLM和本地LLM。
  • 快速设置：只需五分钟即可部署生产级对话服务机器人。
  • 多样化知识库集成：支持多种类型的知识库，包括网站、独立URL和本地文件。
  • 灵活配置：提供用户友好的后台，配备可定制的设置以简化管理。
  • 美观的用户界面：具有可定制且视觉上吸引人的用户界面。

从特性可以知道，RAG相比一些商业收费的基于知识库的问答系统优势在于：

  • 易用、快速搭建。
  • 能自主管理知识库，避免商业秘密和知识产权泄漏。
  • 可以自主选择LLM模型和甚至扩展部署本地模型。

RAG-GPT 快速搭建智能问答系统

RAG-GPT的基本组成分为三部分：

  • 智能问答后端服务
  • 管理后台系统
  • 用户使用的ChatBot UI。

下面，将介绍如何启动RAG-GPT项目和使用这三个模块，将RAG-GPT集成到你的网站只需要5个步骤：

1. 下载源代码，通过Git克隆RAG-GPT的GitHub仓库：
git clone https://github.com/open-kf/rag-gpt.git && cd rag-gpt
2.配置环境变量

在启动RAG-GPT服务之前，需要修改相关配置，以便程序正确初始化。

如果使用智谱AI作为LLM底座

cp env_of_zhipuai .env

.env 文件中的变量

LLM_NAME="ZhipuAI"
ZHIPUAI_API_KEY="xxxx"
GLM_MODEL_NAME="glm-3-turbo"
MIN_RELEVANCE_SCORE=0.3
BOT_TOPIC="xxxx"
URL_PREFIX="http://127.0.0.1:7000/"
USE_PREPROCESS_QUERY=0
USE_RERANKING=1
USE_DEBUG=0

对 .env 中的变量做以下调整：

  • 不要修改 LLM_NAME。
  • 将 ZHIPUAI_API_KEY 替换为你自己的密钥。请登录智谱AI网站查看你的 API 密钥。
  • 更新 GLM_MODEL_NAME 设置，将 glm-3-turbo 替换为 glm-4，如果你想使用GLM-4。
  • 将 BOT_TOPIC 更改为你的机器人的名称。这非常重要，因为它将在构造Prompt中使用。我在这里要搭建OpenAI Cookbook网站的智能客服，所以改写为OpenAI Cookbook。
  • 调整 URL_PREFIX 以匹配你的网站的域名。
  • 有关常量的含义和用法的更多信息，可以查看 server/constant 目录下的文件。

如果使用DeepSeek作为LLM底座

[!NOTE]
DeepSeek没有提供Embedding API，这里使用ZhipuAI的Embedding API。
我们需要同时准备ZHIPUAI_API_KEY和DEEPSEEK_API_KEY。

cp env_of_deepseek .env

.env 文件中的变量

LLM_NAME="DeepSeek"
ZHIPUAI_API_KEY="xxxx"
DEEPSEEK_API_KEY="xxxx"
DEEPSEEK_MODEL_NAME="deepseek-chat"
MIN_RELEVANCE_SCORE=0.3
BOT_TOPIC="xxxx"
URL_PREFIX="http://127.0.0.1:7000/"
USE_PREPROCESS_QUERY=0
USE_RERANKING=1
USE_DEBUG=0

对 .env 中的变量做以下调整：

  • 不要修改 LLM_NAME。
  • 将 ZHIPUAI_API_KEY 替换为你自己的密钥。请登录智谱AI网站查看你的 API 密钥。
  • 将 DEEPSEEK_API_KEY 替换为你自己的密钥。请登录DeepSeek网站查看你的 API 密钥。
  • 更新 DEEPSEEK_MODEL_NAME 设置，目前只有deepseek-chat这个合适的选项。
  • 将 BOT_TOPIC 更改为你的机器人的名称。这非常重要，因为它将在构造Prompt中使用。我在这里要搭建OpenAI Cookbook网站的智能客服，所以改写为OpenAI Cookbook。
  • 调整 URL_PREFIX 以匹配你的网站的域名。
  • 有关常量的含义和用法的更多信息，可以查看 server/constant 目录下的文件。
3.执行启动命令

分别执行以下命令，即可启动。

[!NOTE]
请使用 Python 3.10.x 或以上版本。

先安装python依赖项

python3 -m venv myenv

source myenv/bin/activate

pip install -r requirements.txt

启动项目即可：

python create_sqlite_db.py
python rag_gpt_app.py

或者执行

sh start.sh

4.快速体验聊天效果
  • 启动服务后先打开管理后台。

首先要登录到管理后台，浏览器输入：http://127.0.0.1:7000/open-kf-admin/
登录账号为：admin 密码 ：open_kf_AIGC@2024 .

  • 导入知识库，这里输入LangChain的网站。

在管理后台切换到 Source tab，输入想要抓取的OpenAI Cookbook的网页地址列表：

https://cookbook.openai.com/
https://cookbook.openai.com/examples/gpt4o/introduction_to_gpt4o
https://cookbook.openai.com/examples/batch_processing
https://cookbook.openai.com/examples/assistants_api_overview_python
https://cookbook.openai.com/examples/gpt_with_vision_for_video_understanding
https://cookbook.openai.com/examples/multimodal/using_gpt4_vision_with_function_calling
https://cookbook.openai.com/examples/creating_slides_with_assistants_api_and_dall-e3
https://cookbook.openai.com/examples/parse_pdf_docs_for_rag
https://cookbook.openai.com/examples/custom_image_embedding_search
https://cookbook.openai.com/examples/evaluation/evaluate_rag_with_llamaindex

点击 Submit 即可一键爬取上面网页的内容作为知识库。

获取网站的所有网页URL后，此时网页URL展示的状态是 Recorded。 服务端会通过一个异步任务处理网页内容抓取，并且计算Embedding，然后存入向量数据库。

服务端处理完后，可以看到爬取网页URL的日志。

在admin页面，在管理后台上所有网页URL展示的状态都是 Trained 。

浏览器打开http://127.0.0.1:7000/open-kf-chatbot/，就可以访问Bot了。

5.一键嵌入到网站

RAG-GPT提供了将聊天机器人嵌入到网站的方法，使得用户可以直接在网站上使用智能问答服务。
打开管理后台菜单切换到embed，复制两个代码即可实现一键嵌入，这两个代码片效果分别如下：一个是iframe嵌入一个聊天窗口，一个是在页面右下角点击弹出聊天窗口。
可以新建一个文本文件，将代码复制进去，用浏览器打开就可以看到嵌入效果了。

6.管理后台其他功能
  • 管理员可以通过仪表板查看用户的历史请求记录，以便进行分析和优化。

可以按照时间、用户查询聊天记录和修改问答对的答案以更符合自身需求。

  • 配置聊天对话的UI

用户可以定制化聊天对话框的风格，使其更符合自身网站的风格特性。

结语

RAG-GPT项目具备开源免费、易于部署集成、开箱即用和功能丰富的特点，为LLM大模型在特定领域的应用落地提供了一套企业级的解决方案。RAG-GPT已经支持本地文件知识库，集成国内LLM大模型等特性，使得RAG-GPT满足更多样化的需求。

关于我们

OpenIM是领先的开源即时通讯（IM）平台，目前在GitHub上的星标已超过13k。随着数据和隐私安全的重视以及信息技术的快速发展，政府和企业对于私有部署的IM需求急剧增长。OpenIM凭借“安全可控”的特点，在协同办公软件市场中占据了一席之地。在后AIGC时代，IM作为人机交互的首要接口，其价值愈发重要，OpenIM期待在此时代扮演更关键的角色。

基于这样的视角，我们最近开源了RAG-GPT项目，已被部分企业采用并持续完善中。
如果您对RAG-GPT感兴趣，可以访问以下链接了解更多信息：

项目地址： https://github.com/open-kf/rag-gpt

在线Demo： https://demo.rentsoft.cn/

我们的目标是改进文件管理功能，更有效地管理数据，并整合企业级知识库。欢迎大家在GitHub上Star并关注，支持我们的开源旅程。

开源说明：RAG-GPT采用Apache 2.0许可，支持免费使用和二次开发。遇到问题时，请在GitHub提Issue或加入我们的OpenKF开源社区群讨论。如果您需要更智能的客服系统，请与我们联系。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.hqwc.cn/news/709427.html

如若内容造成侵权/违法违规/事实不符，请联系编程知识网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

openpyxl Worksheet

openpyxl Worksheet

worksheet 说明 Worksheet 代表一个 Excel 工作表。 worksheet 初始化 from openpyxl import Workbook# 创建一个新的Excel工作簿 wb = Workbook()# 获取第一个工作表 worksheet = wb.active# 保存工作簿到指定的文件名 wb.save("execl_test.xlsx")# 关闭工作簿 wb.c…
阅读更多...
C#使用开源操作库MiniExcel操作Excel

C#使用开源操作库MiniExcel操作Excel

简介 MiniExcel简单、高效避免OOM的.NET处理Excel查、写、填充数据工具。 目前主流框架大多需要将数据全载入到内存方便操作，但这会导致内存消耗问题，MiniExcel 尝试以 Stream 角度写底层算法逻辑，能让原本1000多MB占用降低到几MB，避免内存不够情况。特点 低内存耗用，避免…
阅读更多...
Django性能优化：提升加载速度

Django性能优化：提升加载速度

title: Django性能优化：提升加载速度 date: 2024/5/20 20:16:28 updated: 2024/5/20 20:16:28 categories:后端开发tags:缓存策略 HTTP请求 DNS查询 CDN分发 前端优化 服务器响应 浏览器缓存第一章：Django性能优化概述 1.1 性能优化的意义 性能优化是Web开发中的关键环节，它…
阅读更多...
crypto--rsa基础（1）

crypto--rsa基础（1）

在ctf---crypto中rsa应该是最常见也是现在最容易考到的密码题型吧，这篇博客就简单的介绍一下rsa和rsa的一些基本的攻击手法. 对于我们这些萌新来说要做rsa的话也必须先掌握四大基本公式就是欧拉函数，费马小定理，中国剩余定理，威尔逊定理，现在就先基本了解一下就能够做题了…
阅读更多...
Python/Go 面试题目整理

Python/Go 面试题目整理

目录一、Python 基础知识1.1 可变与不可变数据类型1.8 深浅拷贝1.2 PEP8 编程规范1.3 匿名函数1.4 装饰器1.5 迭代器1.6 生成器1.7 面向对象编程思想1.7.1 Python 中的__new__和__init__的区别1.7.2 反射1.7.3 面向对象1.7.4 鸭子类型1.7.5 你对Python的继承怎么看？1.9 GC 机制…
阅读更多...
TypeScript入门介绍

TypeScript入门介绍

目录TypeScript入门介绍什么是 TypeScript？发展历史优缺点应用场景开发工具环境依赖编程IDEvs调试构建工具/工程化步骤汇总第一个项目 TypeScript入门介绍 什么是 TypeScript？1.1 TypeScript 是由微软开发的一种开源的编程语言。它是 JavaScript 的一个超集，通过为 JavaScri…
阅读更多...
Shell编程之免交互

Shell编程之免交互

目录1.Here Document免交互2.Here Document常规用法（1）免交互执行命令（2）免交互创建并编辑文件内容（3）tee3.Expect免交互4.编写expect免交互脚本步骤5.read 1.Here Document免交互 使用I/O重定向的方式将命令列表提供给交互式程序 标准输入的一种替代品 命令 <<标记…
阅读更多...
jupyter notebook无法找到自己的虚拟环境

jupyter notebook无法找到自己的虚拟环境

1：打开cmd/Anaconda Prompt/Anaconda Powershell Prompt2：进入虚拟环境conda activate 环境名 3：conda list查看有无ipykernel包 如果没有，安装两个包：conda install nb_conda conda install ipykernel 如果下载不了将指令换成conda install nb_conda_kernels 注：conda/…
阅读更多...
URLSearchParams:url查询处理工具

URLSearchParams:url查询处理工具

let params=new URLSearchParams(a=1&b=2&c=3#hash) 方法和属性： .get( ).has( )　　//返回true/false .append(name,value)　　//向URL中添加新的参数.set(name,value)　　//设置指定参数的值，如果参数不存在则添加新参数 .delete(name)　　//删除指定名称的参数 .k…
阅读更多...
信息安全事件应急包好DVWA(finish)

信息安全事件应急包好DVWA(finish)

​ *DVWA* *信息安全事件应急处理报告**皮包**公司* *20**24**年**5**月**20**日* ** ** 目 录 一、 概述 1.1 应急处理服务背景 1.2 应急处理服务目的 1.3 应急处理服务范围 1.4 应急处理服务依据 1.4.1 应急处理服务委托协议 1.4.2 基础标准与法律文件 1.4.3 参考文件…
阅读更多...
P8624 [蓝桥杯 2015 省 AB] 垒骰子

P8624 [蓝桥杯 2015 省 AB] 垒骰子

原题链接 题解code #include<bits/stdc++.h> using namespace std; #define ll long long const ll mod=1e9+7; ll a[7][7]={0},e[7]={0};void cf1() {ll tem[7]={0};for(int i=1;i<=6;i++){for(int j=1;j<=6;j++){tem[i]+=a[i][j]*e[j];tem[i]%=mod;}}for(int i=1…
阅读更多...
BLE+Compound复合设备

BLE+Compound复合设备

实现功能：BLE主从一体功能（centperi）添加USB复合设备（compound）。 思路：参考BLE_USB例程，该例程已经将BLE和模拟USB设备功能整合，并通过TMOS任务处理。将复合设备的报表替换BLE_USB的报表。 USB上传：
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023