AnythingLLM：基于RAG方案构专属私有知识库（开源｜高效｜可定制）

一、前言

继OpenAI和Google的产品发布会之后，大模型的能力进化速度之快令人惊叹，然而，对于很多个人和企业而言，为了数据安全不得不考虑私有化部署方案，从GPT-4发布以来，国内外的大模型就拉开了很明显的差距，能够实现的此路径无非就只剩下国内的开源大模型可以选择了。而现阶段切入大模型应用落地最合适的方案依然是结合大模型基于RAG检索增强来实现知识库的检索和生存。从而构建个人或者企业私有化的本地知识库。

你只需要将本地私有的 PDF、Word 文档和文本文件嵌入到本地向量库，连接上LLM，然后就可以通过对话、搜索的方式进行回答问题、提供见解，甚至生成摘要。

接下来我们就介绍一下 Mintplex Labs 的两个高度创新的开源项目。它们是 AnythingLLM（一种企业级解决方案，专为创建自定义 ChatBot（包括 RAG 模式）而设计）和 Vector Admin（一种用于有效管理多个向量存储的复杂管理 GUI）。

AnythingLLM 不仅仅是另一个聊天机器人。它是一个全栈应用程序，这意味着它融合了从数据处理到用户界面的所有技术优势。最好的部分？它是开源且可定制的。这意味着如果您有技能，您可以根据自己的喜好进行调整。或者，如果您像我一样更喜欢现成的东西，那么它开箱即用，效果非常好。

二、概述

2.1、AnythingLLM 介绍

AnythingLLM 是 Mintplex Labs Inc. 开发的一款开源 ChatGPT 等效工具，用于在安全的环境中与文档等进行聊天，专为想要使用现有文档进行智能聊天或构建知识库的任何人而构建。

AnythingLLM 能够把各种文档、资料或者内容转换成一种格式，让LLM（如ChatGPT）在聊天时可以引用这些内容。然后你就可以用它来和各种文档、内容、资料聊天，支持多个用户同时使用，还可以设置谁能看或改哪些内容。 支持多种LLM、嵌入器和向量数据库。

2.2、AnythingLLM 特点

  • 多用户支持和权限管理：允许多个用户同时使用，并可设置不同的权限。

  • 支持多种文档类型：包括 PDF、TXT、DOCX 等。

  • 简易的文档管理界面：通过用户界面管理向量数据库中的文档。

  • 两种聊天模式：对话模式保留之前的问题和回答，查询模式则是简单的针对文档的问答

  • 聊天中的引用标注：链接到原始文档源和文本。

  • 简单的技术栈，便于快速迭代。

  • 100% 云部署就绪。

  • “自带LLM”模式：可以选择使用商业或开源的 LLM。

  • 高效的成本节约措施：对于大型文档，只需嵌入一次，比其他文档聊天机器人解决方案节省 90% 的成本。

  • 完整的开发者 API：支持自定义集成。

2.3、支持的 LLM、嵌入模型和向量数据库

  • LLM：包括任何开源的 llama.cpp 兼容模型、OpenAI、Azure OpenAI、Anthropic ClaudeV2、LM Studio 和 LocalAi。

  • 嵌入模型：AnythingLLM 原生嵌入器、OpenAI、Azure OpenAI、LM Studio 和 LocalAi。

  • 向量数据库：LanceDB（默认）、Pinecone、Chroma、Weaviate 和 QDrant。

2.4、技术概览

整个项目设计为单线程结构，主要由三部分组成:收集器、前端和服务器。

  • collector：Python 工具，可快速将在线资源或本地文档转换为 LLM 可用格式。

  • frontend：ViteJS + React 前端，用于创建和管理 LLM 可使用的所有内容。

  • server：NodeJS + Express 服务器，处理所有向量数据库管理和 LLM 交互。

首先，收集器是一个实用的Python工具，它使用户能够快速将来自在线资源（如指定的YouTube频道的视频、Medium文章、博客链接等）或本地文档中的可公开访问数据转换为LLM可用的格式。该应用程序的前端采用了vitejs 和React进行构建，通过Node.js和Express服务器处理所有LLM交互和VectorDB管理。这种设计使得用户能够在直观友好的界面中进行操作，并且通过高效的服务器架构实现快速响应和管理大规模的数据。

三、AnythingLLM 部署

接下来开始完成本地模型（特别是文本嵌入和生成）以及向量存储的部署，所有这些都旨在与上述解决方案无缝集成。为此，我们将结合使用 LocalAI 和 Chroma。

3.1、安装 Chroma Vectorstore

该过程首先克隆官方存储库并启动 Docker 容器。

git clone https://github.com/chroma-core/chroma.git
cd chroma
docker compose up -d --build

为了验证向量存储的可用性，我们连接到其 API 文档，网址为：http://localhost:8000/docs

使用此 API，我们继续创建一个新集合，恰当地命名为“playground”。

curl -X 'POST' 'http://localhost:8000/api/v1/collections?tenant=default_tenant&database=default_database' -H 'accept: application/json' -H 'Content-Type: application/json' -d '{ "name": "playground", "get_or_create": false}'

接下来，我们检查结果以确保设置正确。

curl http://localhost:8000/api/v1/collections[{"name": "playground","id": "0072058d-9a5b-4b96-8693-c314657365c6","metadata": {"hnsw:space": "cosine"},"tenant": "default_tenant","database": "default_database"}
]

3.2、LocalAI 的部署

LocalAi 是一个功能齐全的 CLI 应用程序，你可以运行它来轻松启动 API 服务器，以便与 HuggingFace 上找到的开源模型聊天以及运行嵌入模型！

接下来，我们的重点转移到建立 LocalAI Docker 容器。

git clone https://github.com/go-skynet/LocalAI
cd LocalAI
docker compose up -d --pull always

一旦容器运行，我们就开始下载、安装和测试两个特定模型。

我们的第一个模型是来自 Bert 的句子转换器嵌入模型：MiniLM L6。

curl http://localhost:8080/models/apply -H "Content-Type: application/json" -d '{ "id": "model-gallery@bert-embeddings" }'curl http://localhost:8080/v1/embeddings -H "Content-Type: application/json" -d '{ "input": "The food was delicious and the waiter...","model": "bert-embeddings" }'{"created": 1702050873,"object": "list","id": "b11eba4b-d65f-46e1-8b50-38d3251e3b52","model": "bert-embeddings","data": [{"embedding": [-0.043848168,0.067443006,...0.03223838,0.013112408,0.06982294,-0.017132297,-0.05828256],"index": 0,"object": "embedding"}],"usage": {"prompt_tokens": 0,"completion_tokens": 0,"total_tokens": 0}
}

随后，我们探索 Hugging Face 的LLM：Zephyr-7B-β，这是基础 Mistral 7B 模型的改进版本。

curl http://localhost:8080/models/apply -H "Content-Type: application/json" -d '{ "id": "huggingface@thebloke__zephyr-7b-beta-gguf__zephyr-7b-beta.q4_k_s.gguf", "name": "zephyr-7b-beta" }'curl http://localhost:8080/v1/chat/completions -H "Content-Type: application/json" -d '{ "model": "zephyr-7b-beta", "messages": [{"role": "user", "content": "Why is the Earth round?"}], "temperature": 0.9 }'{"created": 1702050808,"object": "chat.completion","id": "67620f7e-0bc0-4402-9a21-878e4c4035ce","model": "thebloke__zephyr-7b-beta-gguf__zephyr-7b-beta.q4_k_s.gguf","choices": [{"index": 0,"finish_reason": "stop","message": {"role": "assistant","content": "\nThe Earth appears round because it is
actually a spherical body. This shape is a result of the 
gravitational forces acting upon it from all directions. The force 
of gravity pulls matter towards the center of the Earth, causing 
it to become more compact and round in shape. Additionally, the 
Earth's rotation causes it to bulge slightly at the equator, 
further contributing to its roundness. While the Earth may appear 
flat from a distance, up close it is clear that our planet is 
indeed round."}}],"usage": {"prompt_tokens": 0,"completion_tokens": 0,"total_tokens": 0}
}

3.3、部署和配置 AnythingLLM

成功安装模型和向量存储后，我们的下一步是部署 AnythingLLM 应用程序。为此，我们将利用 Mintplex Labs 提供的官方 Docker 镜像。

docker pull mintplexlabs/anythingllm:masterexport STORAGE_LOCATION="/var/lib/anythingllm" && \
mkdir -p $STORAGE_LOCATION && \
touch "$STORAGE_LOCATION/.env" && \
docker run -d -p 3001:3001 \
-v ${STORAGE_LOCATION}:/app/server/storage \
-v ${STORAGE_LOCATION}/.env:/app/server/.env \
-e STORAGE_DIR="/app/server/storage" \
mintplexlabs/anythingllm:master

通过导航到 http://localhost:3001 可以访问应用程序，我们可以在其中使用直观的 GUI 开始配置过程。

在配置中，我们选择 LocalAI 后端，可通过 http://127.0.0.1:8080/v1 URL 访问，并集成 Zephyr 模型。值得注意的是，AnythingLLM 还支持其他后端，例如 OpenAI、Azure OpenAI、Anthropic Claude 2 和本地可用的 LM Studio。

接下来，我们将嵌入模型与相同的 LocalAI 后端保持一致，确保系统具有凝聚力。

接下来，我们选择 Chroma 向量数据库，使用 URL http://127.0.0.1:8000。值得一提的是，AnythingLLM 还与其他向量存储兼容，例如 Pinecone、QDrant、Weaviate 和 LanceDB。

AnythingLLM 的自定义选项包括添加徽标以个性化实例的可能性。但是，为了本教程的简单起见，我们将跳过这一步。同样，虽然有配置用户和权限管理的选项，但我们将继续进行简化的单用户设置。

然后，我们继续创建一个工作区，恰当地命名为“Playground”，反映了我们早期 Chroma 系列的名称。

AnythingLLM 起始页旨在通过类似聊天的界面向用户提供初始说明，并可以灵活地根据特定需求定制此内容。

从我们的“Playground”工作区，我们可以上传文档，进一步扩展我们的设置的功能。

我们监控日志以确认 AnythingLLM 有效地将相应的向量插入到 Chroma 中。

Adding new vectorized document into namespace playground
Chunks created from document: 4
Inserting vectorized chunks into Chroma collection.
Caching vectorized results of custom-documents/techsquad-3163747c-a2e1-459c-92e4-b9ec8a6de366.json to prevent duplicated embedding.
Adding new vectorized document into namespace playground
Chunks created from document: 8
Inserting vectorized chunks into Chroma collection.
Caching vectorized results of custom-documents/techsquad-f8dfa1c0-82d3-48c3-bac4-ceb2693a0fa8.json to prevent duplicated embedding.

此功能使我们能够与文档进行交互式对话。

AnythingLLM 的一个有趣功能是它能够显示构成其响应基础的内容。

总之，AnythingLLM 及其中的每个工作区都提供了一系列可配置参数。其中包括系统提示、响应温度、聊天记录、文档相似度阈值等，从而实现定制化、高效的用户体验。

3.4、安装和配置 Vector Admin

为了完成我们的架构，我们现在专注于安装 Vector Admin GUI，它是一个强大的工具，用于可视化和管理 AnythingLLM 在 Chroma 中存储的向量。

安装过程涉及利用 Mintplex Labs 提供的 Docker 容器：一个用于 Vector Admin 应用程序，另一个用于 PostgreSQL 数据库，该数据库存储应用程序的配置和聊天历史记录。

git clone https://github.com/Mintplex-Labs/vector-admin.git
cd vector-admin/docker/
cp .env.example .env

我们修改 .env 文件，将服务器端口从 3001 调整为 3002，避免与 AnythingLLM 已使用的端口发生冲突。在Linux系统上，还需要为PostgreSQL连接字符串设置默认的Docker网关IP地址。

SERVER_PORT=3002
DATABASE_CONNECTION_STRING="postgresql://vectoradmin:password@127.0.0.1:5433/vdbms"

此外，我们配置 SYS_EMAIL 和 SYS_PASSWORD 变量来定义第一个 GUI 连接的凭据。

鉴于默认端口的更改，我们还在 docker-compose.yaml 和 Dockerfile 中反映了此修改。

配置完后端之后，我们将注意力转向前端安装。

cd ../frontend/
cp .env.example .env.production

在 .env.production 文件中，我们更新端口以与 Docker 网关保持一致。

GENERATE_SOURCEMAP=false
VITE_API_BASE="http://127.0.0.1:3002/api"

完成这些设置后，我们构建并启动 Docker 容器。

docker compose up -d --build vector-admin

通过 http://localhost:3002 访问 GUI 非常简单。初始连接使用 .env 文件中指定的 SYS_EMAIL 和 SYS_PASSWORD 值。仅在首次登录时需要这些凭据，以从 GUI 创建主管理员用户并开始配置该工具。

GUI 中的第一步是创建组织，然后建立向量数据库连接。对于数据库类型，我们选择 Chroma，尽管 Pinecone、QDrant 和 Weaviate 也是兼容的选项。

同步工作区数据后，存储在 Chroma 内“playground”集合中的文档和向量变得可见。

这些载体的详细信息也可用于深入分析。

关于功能的说明：直接通过 Vector Admin 编辑向量内容目前受到限制，因为它利用 OpenAI 的嵌入模型。由于我们选择了 s-BERT MiniLM，因此此功能不可用。如果我们选择 OpenAI 的模型，上传新文档并将向量直接嵌入到 Chroma 中是可能的。

Vector Admin 还拥有其他功能，如用户管理和高级工具，包括相似性搜索中的自动偏差检测、即将推出的快照以及组织之间的迁移功能（以及扩展后的 vectostores）。

该工具特别令人钦佩的是它能够完全控制载体，从而大大简化其管理。

四、总结

至此，我们对Mintplex Labs的AnythingLLM和Vector Admin进行了全面探索。这些工具简化了RAG模式的设置流程，并使得与文档的对话交互成为可能。随着这些项目不断进化，新功能也在不断推出。因此，关注他们的更新并开始使用这些工具来交互式处理您的文件将是一个明智的选择。

五、References

[1]. AnythingLLM GitHub: https://github.com/Mintplex-Labs/anything-llm

[2]. LocalAI Docs: https://localai.io/

[3]. VectorAdmin: https://vectoradmin.com/

[4]. AnythingLLM: https://useanything.com/

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.hqwc.cn/news/278722.html

如若内容造成侵权/违法违规/事实不符，请联系编程知识网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

ACL与NAT

ACL与NAT

目录 一、ACL （一）ACL基本理论 （二）ACL的类型 1.基本ACL 2.高级ACL 3.二层ACL （三）基本原理 （四）项目实验 通配符掩码 二、NAT （一）基本理论 &am…
阅读更多...
LeetCode 300最长递增子序列 674最长连续递增序列 718最长重复子数组 | 代码随想录25期训练营day52

LeetCode 300最长递增子序列 674最长连续递增序列 718最长重复子数组 | 代码随想录25期训练营day52

动态规划算法10 LeetCode 300 最长递增子序列 2023.12.15 题目链接代码随想录讲解[链接] int lengthOfLIS(vector<int>& nums) {//创建变量result存储最终答案,设默认值为1int result 1;//1确定dp数组&#xff0c;dp[i]表示以nums[i]为结尾的子数组的最长长度ve…
阅读更多...
汽车充电协议OpenV2G的平替cbexigen!!

汽车充电协议OpenV2G的平替cbexigen!!

纵所周知&#xff0c;开源欧规协议 CCS 的 OpenV2G 协议不支持 ISO15118-20:2022 协议&#xff0c;并且软件维护者已经明确不在进行该软件的维护。 前几天在 Github 上冲浪发现了一个宝藏开源项目&#xff0c;完美的实现的 OpenV2G 的 Exidizer 工具的功能&#xff1a;cbexigen…
阅读更多...
Redis设计与实现之整数集合

Redis设计与实现之整数集合

目录 一、内存映射数据结构 二、整数集合 1、整数集合的应用 2、数据结构和主要操作 3、intset运行实例 创建新intset 添加新元素到 intset 添加新元素到 intset&#xff08;不需要升级&#xff09; 添加新元素到 intset (需要升级) 4、升级 升级实例 5、关于升级 …
阅读更多...
[.NET开发者的福音]一个方便易用的在线.NET代码编辑工具.NET Fiddle

[.NET开发者的福音]一个方便易用的在线.NET代码编辑工具.NET Fiddle

前言 今天给大家分享一个方便易用的.NET在线代码编辑工具&#xff0c;能够帮助.NET开发人员快速完成代码编写、测试和分享的需求&#xff08;.NET开发者的福音&#xff09;&#xff1a;.NET Fiddle。 .NET Fiddle介绍 我们可以不用再担心环境与庞大的IDE安装的问题&#xff0…
阅读更多...
C# WPF上位机开发（键盘绘图控制）

C# WPF上位机开发（键盘绘图控制）

【 声明&#xff1a;版权所有&#xff0c;欢迎转载&#xff0c;请勿用于商业用途。 联系信箱&#xff1a;feixiaoxing 163.com】 在软件开发中&#xff0c;如果存在canvas图像的话&#xff0c;一般有几种控制方法。一种是鼠标控制&#xff1b;一种是键盘控制&#xff1b;还有一…
阅读更多...
TG-5510cb: txo高稳定性+105℃高温

TG-5510cb: txo高稳定性+105℃高温

TG-5510CB是一款高稳定性TCXO&#xff0c;可提供CMOS或限幅正弦输出&#xff0c;5G基站和边缘计算的额定温度为85C&#xff0c;需要室外安装、小型化和无风扇运行。与其他TCXO相比&#xff0c;实验室提供了许多改进&#xff0c;如低温度斜率和相位噪声。符合GR-1244-CORE地层3和…
阅读更多...
RMQ算法总结

RMQ算法总结

知识概览 RMQ又叫ST表、跳表&#xff0c;可以用来解决区间最值问题&#xff0c;这里这有查询没有修改。当然&#xff0c;这样的问题用线段树也是可以解决的。RMQ算法本质上是倍增动态规划&#xff0c;它的思想是先倍增预处理再查询。f(i, j)表示从i开始&#xff0c;长度是的区…
阅读更多...
MATLAB 系统辨识 + PID 自动调参

MATLAB 系统辨识 + PID 自动调参

MATLAB 系统辨识 PID 自动调参 Matlab R2021b下载安装详细教程Chapter1 MATLAB 系统辨识 PID 自动调参1. 导入数据2. 系统辨识3. PID 自动调参 Chapter2 MATLAB系统辨识Chapter3 【MATLAB】使用系统辨识工具箱(System Identification)建模Chapter4 matlab系统辨识工具箱及其反…
阅读更多...
在 Spring Boot 中发送邮件简单实现

在 Spring Boot 中发送邮件简单实现

Spring Boot 对于发送邮件这种常用功能也提供了开箱即用的 Starter&#xff1a;spring-boot-starter-mail。 通过这个 starter&#xff0c;只需要简单的几行配置就可以在 Spring Boot 中实现邮件发送&#xff0c;可用于发送验证码、账户激活等等业务场景。 本文将通过实际的案…
阅读更多...
从根上理解elasticsearch(lucene)查询原理(2)-lucene常见查询类型原理分析

从根上理解elasticsearch(lucene)查询原理(2)-lucene常见查询类型原理分析

大家好&#xff0c;我是蓝胖子&#xff0c;在上一节我提到要想彻底搞懂elasticsearch 慢查询的原因&#xff0c;必须搞懂lucene的查询原理&#xff0c;所以在上一节我分析了lucene查询的整体流程&#xff0c;除此以外&#xff0c;还必须要搞懂各种查询类型内部是如何工作&#…
阅读更多...
【1.6计算机组成与体系结构】存储系统

【1.6计算机组成与体系结构】存储系统

目录 1.层次化存储结构2.Cache2.1 Cache的介绍2.2 局部性原理2.3 Cache应用 1.层次化存储结构 由 ⬆ CPU&#xff1a;寄存器。 快 ⬆ Cache&#xff1a;按内容存取(相联存储器)。 到 ⬆内存&#xff08;主存&#xff09;&#xff1a;DRAM。 慢 ⬆ 外存&#xff08;辅存&#…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023