基于FastGPT搭建知识库问答系统

在这里插入图片描述

什么是 FastGPT ？

FastGPT 是一个基于 LLM 大语言模型的知识库问答系统，提供开箱即用的数据处理、模型调用等能力。同时可以通过 Flow 可视化进行工作流编排，从而实现复杂的问答场景！

FastGPT 允许用户构建本地知识库，以提高 AI 的理解能力和应用场景的适应性。该系统的设计旨在让 AI 更好地理解用户需求并提供更准确的回答。

FastGPT 功能演示

本文假设你已经安装了 One API 和 M3E，如果还没有的话，建议你先阅读👇两篇

文章传送门：

  • 大模型接口管理和分发系统One API
  • 开源文本嵌入模型M3E

安装

在群晖上以 Docker 方式安装。

config.json

由于环境变量不利于配置复杂的内容，新版 FastGPT 采用了 ConfigMap 的形式挂载配置文件 config.json

这个配置文件中包含了系统参数和各个模型配置，使用时务必去掉注释!!!!!!!!!!!!!!

源文件的地址在这里👇：https://doc.fastai.site/docs/development/configuration/


老苏修改后的完整的 config.json 放在了这里👇：
https://raw.githubusercontent.com/wbsu2003/synology/main/FastGPT/config.json

llmModels

之前尝试过私有化部署的 LLM Models，在老苏的小机器上除了 Qwen:0.5b外，其他基本上都跑不动，所以这次尝试是用 Moonshot AI，其可用的模型包括 moonshot-v1-8k 、 moonshot-v1-32k 和 moonshot-v1-128k

vectorModels

FastGPT 默认使用了 openai 的 embedding 向量模型

  "vectorModels": [{"model": "text-embedding-ada-002", // 模型名（与OneAPI对应）"name": "Embedding-2", // 模型展示名"avatar": "/imgs/model/openai.svg", // logo"charsPointsPrice": 0, // n积分/1k token"defaultToken": 700, // 默认文本分割时候的 token"maxToken": 3000, // 最大 token"weight": 100, // 优先训练权重"defaultConfig":{},  // 自定义额外参数。例如，如果希望使用 embedding3-large 的话，可以传入 dimensions:1024，来返回1024维度的向量。（目前必须小于1536维度）"dbConfig": {}, // 存储时的额外参数（非对称向量模型时候需要用到）"queryConfig": {} // 参训时的额外参数}],

老苏改用了 M3E 向量模型进行替换

  "vectorModels": [{"model": "m3e","name": "M3E","price": 0.1,"defaultToken": 500,"maxToken": 1800}],

docker-compose.yml

下面的内容基于官方的 docker-compose.yml 修改而成，因为包含了中文注释，所以记得用 UTF-8 编码

源文件地址：https://github.com/labring/FastGPT/blob/main/files/deploy/fastgpt/docker-compose.yml

version: '3.3'services:pg:image: ankane/pgvector:v0.5.0 # git#image: registry.cn-hangzhou.aliyuncs.com/fastgpt/pgvector:v0.5.0 # 阿里云container_name: fastgpt-pgrestart: always#ports:#  - 5432:5432volumes:- ./pdata:/var/lib/postgresql/dataenvironment:# 这里的配置只有首次运行生效。修改后，重启镜像是不会生效的。需要把持久化数据删除再重启，才有效果- POSTGRES_USER=username- POSTGRES_PASSWORD=password- POSTGRES_DB=postgresmongo:image: mongo:5.0.18#image: registry.cn-hangzhou.aliyuncs.com/fastgpt/mongo:5.0.18container_name: fastgpt-mongorestart: always#ports:#  - 27017:27017volumes:- ./mdata:/data/dbenvironment:- MONGO_INITDB_ROOT_USERNAME=myusername- MONGO_INITDB_ROOT_PASSWORD=mypasswordcommand: mongod --keyFile /data/mongodb.key --replSet rs0entrypoint:- bash- -c- |openssl rand -base64 128 > /data/mongodb.keychmod 400 /data/mongodb.keychown 999:999 /data/mongodb.keyecho 'const isInited = rs.status().ok === 1if(!isInited){rs.initiate({_id: "rs0",members: [{ _id: 0, host: "mongo:27017" }]})}' > /data/initReplicaSet.js# 启动MongoDB服务exec docker-entrypoint.sh "$$@" &# 等待MongoDB服务启动until mongo -u myusername -p mypassword --authenticationDatabase admin --eval "print('waited for connection')" > /dev/null 2>&1; doecho "Waiting for MongoDB to start..."sleep 2done# 执行初始化副本集的脚本mongo -u myusername -p mypassword --authenticationDatabase admin /data/initReplicaSet.js# 等待docker-entrypoint.sh脚本执行的MongoDB服务进程wait $$!fastgpt:image: registry.cn-hangzhou.aliyuncs.com/fastgpt/fastgpt:v4.7 # git#image: registry.cn-hangzhou.aliyuncs.com/fastgpt/fastgpt:v4.7 # 阿里云container_name: fastgpt-webrestart: alwaysdepends_on:- mongo- pgports:- 3155:3000volumes:- ./config.json:/app/data/config.json- ./tmp:/app/tmpenvironment:# root 密码，用户名为: root。如果需要修改 root 密码，直接修改这个环境变量，并重启即可。- DEFAULT_ROOT_PSW=1234# AI模型的API地址哦。务必加 /v1。这里默认填写了OneApi的访问地址。- OPENAI_BASE_URL=http://192.168.0.197:3033/v1# AI模型的API Key。（这里默认填写了OneAPI的快速默认key，测试通后，务必及时修改）- CHAT_API_KEY=sk-bn6M52bOfdxYB3n2Ee717eA2C66b45318f1c95E4D9553d94# 数据库最大连接数- DB_MAX_LINK=30# 登录凭证密钥- TOKEN_KEY=any# root的密钥，常用于升级时候的初始化请求- ROOT_KEY=root_key# 文件阅读加密- FILE_TOKEN_KEY=filetoken# MongoDB 连接参数. 用户名myusername,密码mypassword。- MONGODB_URI=mongodb://myusername:mypassword@mongo:27017/fastgpt?authSource=admin# pg 连接参数- PG_URL=postgresql://username:password@pg:5432/postgres

docker-compose.yml 可以在这里下载☞，https://raw.githubusercontent.com/wbsu2003/synology/main/FastGPT/docker-compose.yml

然后执行下面的命令

# 新建文件夹 fastgpt 和 子目录
mkdir -p /volume1/docker/fastgpt/{pg,mongo,tmp}# 进入 fastgpt 目录
cd /volume1/docker/fastgpt# 将 docker-compose.yml 放入当前目录# 一键启动
docker-compose up -d# 如果修改了 config.sys 文件，需要重启 FastGPT
docker-compose down
docker-compose up -d

运行

在浏览器中输入 http://群晖IP:3155 就能看到登录界面

如果你没有更改默认配置，那么用户名便是 root，密码为 1234

在这里插入图片描述

新建知识库

首先需要新建一个知识库

在这里插入图片描述

取个名字

在这里插入图片描述

选择 文本数据集

来源选择 本地文件

将文件拖入

在这里插入图片描述

上传了一个 pdf

在这里插入图片描述

直接用了默认设置

在这里插入图片描述

开始上传

在这里插入图片描述

多了一个数据集

在这里插入图片描述

等状态变成 已就绪 就可以开始建应用了

当然这个过程也很消耗资源，小机器死机了一次，好在最后还是索引成功了

可以测试下搜索

在这里插入图片描述

新建应用

新建一个应用

在这里插入图片描述

模板选择了 知识库+对话引导

进入 简易配置，关联知识库

在这里插入图片描述

也可以进入 高级编排

这里已经可以开始调试了

在这里插入图片描述

再来一条

在这里插入图片描述

没问题的话就可以保存、发布了

开始聊天

进入 聊天

在这里插入图片描述

相关接口的开发问题随便问，这给客服工作省了多大的事啊

在这里插入图片描述

看看 Moonshot AI 赠送的 15块 还剩下多少?

所有的请求，在 One API 的日志中都有记录

FastGPT 是支持纯本地私有化部署的，但老苏考虑了自己小机器的性能，采用了混合部署的方式，其中向量模型采用了本地私有化部署，而 LLM 模型则使用了云服务

流程跑通了，接下来就是优化了，比如 标记预期答案 等

在这里插入图片描述

当然，你还可以将 FastGPT 通过 OpenAPI 接口，被第三方应用调用，可以是全局 API key（可操作 FastGPT 上的相关服务和资源，无法直接调用应用对话）

也可以是应用 API key（可直接调用应用对话）

在这里插入图片描述

参考文档

labring/FastGPT: FastGPT is a knowledge-based platform built on the LLM, offers out-of-the-box data processing and model invocation capabilities, allows for workflow orchestration through Flow visualization!
地址：https://github.com/labring/FastGPT

FastGPT
地址：https://fastgpt.in/

快速了解 FastGPT | FastGPT
地址：https://doc.fastai.site/docs/intro/

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.hqwc.cn/news/652510.html

如若内容造成侵权/违法违规/事实不符，请联系编程知识网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

备考2024年小学生古诗文大会：做做10道历年真题和知识点（持续）

备考2024年小学生古诗文大会：做做10道历年真题和知识点（持续）

根据往年的安排，2024年上海市小学生古诗文大会预计还有一个月就将启动。我们继续来随机看10道往年的上海小学生古诗文大会真题，这些题目来自我去重、合并后的1700在线题库，每道题我都提供了参考答案和独家解析。 根据往期的经验，只…
阅读更多...
Vue入门篇：生命周期，钩子函数，工程化开发Vue（脚手架安装），组件化开发（全局注册，局部注册）

Vue入门篇：生命周期，钩子函数，工程化开发Vue（脚手架安装），组件化开发（全局注册，局部注册）

目录 1.Vue生命周期和生命周期的四个阶段2.Vue生命周期函数（钩子函数)3.工程化开发&脚手架Vue CLI1.在powershell管理员权限下打开命令行安装脚手架：2.查看vue版本：3.创建项目架子4.运行项目 4.组件化开发&根组件1.App.vue文件&#…
阅读更多...
「Kafka」Kafka单机和集群安装（二）

「Kafka」Kafka单机和集群安装（二）

「Kafka」Kafka单机和集群安装（二） 一、单机启动1. 下载安装Kafka2. 启动ZooKeeper2. 启动Kafka 二 、集群启动1. 安装zookeeper2. 安装kakfa3. 封装启动脚本 一、单机启动 1. 下载安装Kafka 阿里云下载地址：Kafka阿里云镜像站，官…
阅读更多...
AI大模型探索之路-训练篇5：大语言模型预训练数据准备-词元化

AI大模型探索之路-训练篇5：大语言模型预训练数据准备-词元化

系列文章目录🚩 AI大模型探索之路-训练篇1：大语言模型微调基础认知 AI大模型探索之路-训练篇2：大语言模型预训练基础认知 AI大模型探索之路-训练篇3：大语言模型全景解读 AI大模型探索之路-训练篇4：大语言模型训练数据…
阅读更多...
全面解析平台工程与 DevOps 的区别与联系

全面解析平台工程与 DevOps 的区别与联系

平台工程的概念非常流行，但很多开发人员仍然不清楚它是如何实际运作的，这是非常正常的。 平台工程是与 DevOps 并行吗？还是可以相互替代？或者 DevOps 和平台工程是两个完全不同的概念？ 一种比较容易将两者区分开来的方…
阅读更多...
mysql中join内外连接查询例子

mysql中join内外连接查询例子

文章目录 join关键字概要举例using 与 on 区别 join关键字 在MySQL中，JOIN 是一种用于将两个或多个表中的行联合起来的操作。 连接（join）就是将一张表中的行按照某个条件（连接条件）与另一张表中的行连接起来形成一个新…
阅读更多...
泰坦尼克号乘客生存情况预测分析2

泰坦尼克号乘客生存情况预测分析2

泰坦尼克号乘客生存情况预测分析1 泰坦尼克号乘客生存情况预测分析2 泰坦尼克号乘客生存情况预测分析3 泰坦尼克号乘客生存情况预测分析总 背景描述 Titanic数据集在数据分析领域是十分经典的数据集，非常适合刚入门的小伙伴进行学习！ 泰坦尼克号轮船的…
阅读更多...
react 基础学习笔记一

react 基础学习笔记一

1、jsx语法过程 jsx使用react构造组件，通过bable进行编译成js对象，在用ReactDom.render()渲染成DOM元素，最后再插入页面的过程。 2、创建组件 组件的定义：将公用的代码组装成一个独立的文件，保持代码独立性&#xff0…
阅读更多...
如何将图片压缩100k？几个方法帮你解决

如何将图片压缩100k？几个方法帮你解决

很多平台为了保证用户体验，会限制我们上传图片的大小，所以我们在社交平台分享图片的时候，就会看有些要求为100kb的字样，那么我们怎么把一些过大的图片压缩100kb大小呢？试试下面介绍的这几个方法吧。 在工具栏中选择【…
阅读更多...
每天五分钟深度学习：如何理解梯度下降算法可以逼近全局最小值？

每天五分钟深度学习：如何理解梯度下降算法可以逼近全局最小值？

本文重点 上节课程中，我们已经知道了逻辑回归的代价函数J。要想最小化代价函数，我们需要使用梯度下降算法。 梯度下降算法地直观理解： 为了可视化，我们假设w和b都是单一实数，实际上，w可以是更高地维度。 代价函数J是在水平轴w和b上的曲面，因此曲面的高度就是J(w,b)在…
阅读更多...
深入理解分布式事务① ----＞分布式事务基础（四大特性、五大类型、本地事务、MySQL并发事务问题、MySQL事务隔离级别命令设置）详解

深入理解分布式事务① ----＞分布式事务基础（四大特性、五大类型、本地事务、MySQL并发事务问题、MySQL事务隔离级别命令设置）详解

目录 深入理解分布式事务① ---->分布式事务基础（四大特性、五大类型、本地事务、MySQL并发事务问题、MySQL事务隔离级别命令设置）详解事务的基本概念1、什么是事务？2、事务的四大特性2-1：原子性（Atomic&#xff09…
阅读更多...
创建electron,解决包清理的问题,解决镜像源卡住下载时间长

创建electron,解决包清理的问题,解决镜像源卡住下载时间长

我的电脑用户名是Anyphasy,我的node.js安装在D:\developp\nodejss18.18.0 使用npm config get prefix查看node.js安装路径 npm config get prefix 创建electron 创建package.json文件,它里面记载了你的electron版本,项目描述,以及启动命令等信息 npm init -y 先查看你自己的…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023