【DeepSeek+dify+Ollama打造私有化RAG 01】

news/2025/3/10 16:04:24/文章来源:https://www.cnblogs.com/frankruby/p/18762902

本地部署DeepSeek-RI打造自己的私有知识库

一、本地部署需要借助Ollama,Ollama是一个开源框架,专为在本地机器上便捷部署和运行大模型语言模型LLLM而设计

官网:https://ollama.com/

1、安装ollama

官网下载后,直接就可以进行安装,安装后再终端输入:olllama

2、 本地部署DeepSeek RI

1)在ollma官网,点击Models按钮,进入模型选择页面,可以看到有deepseek ri等模型

2)点击deepseek-r1,可以看到提供了1.5b7b8b14b32b70b671b 这几种规模大小的模型下载。毫无疑问,数字越大,需要的机器配置越高

选择哪种,可以参考下面的列表:
1.5B:CPU最低4核,内存8GB+,硬盘3GB+存储空间,显卡非必需,若GPU加速可选4GB+
显存,适合低资源设备部署等场景。
7B:CPU 8核以上,内存16GB+,硬盘8GB+,显卡推荐8GB+显存,可用于本地开发测试等
场景。
8B:硬件需求与7B相近略高,适合需更高精度的轻量级任务。
14B:CPU 12核以上,内存32GB+,硬盘15GB+,显卡16GB+显存,可用于企业级复杂任务
等场景。
32B:CPU 16核以上,内存64GB+,硬盘30GB+,显卡24GB+显存,适合高精度专业领域任
务等场景。
70B:CPU 32核以上,内存128GB+,硬盘70GB+,显卡需多卡并行,适合科研机构等进行高
复杂度生成任务等场景。选择哪种,可以参考下面的列表:
1.5B:CPU最低4核,内存8GB+,硬盘3GB+存储空间,显卡非必需,若GPU加速可选4GB+
显存,适合低资源设备部署等场景。
7B:CPU 8核以上,内存16GB+,硬盘8GB+,显卡推荐8GB+显存,可用于本地开发测试等
场景。
8B:硬件需求与7B相近略高,适合需更高精度的轻量级任务。
14B:CPU 12核以上,内存32GB+,硬盘15GB+,显卡16GB+显存,可用于企业级复杂任务
等场景。
32B:CPU 16核以上,内存64GB+,硬盘30GB+,显卡24GB+显存,适合高精度专业领域任
务等场景。
70B:CPU 32核以上,内存128GB+,硬盘70GB+,显卡需多卡并行,适合科研机构等进行高
复杂度生成任务等场景。

3)选择合适的参数后,复制具体的命令(ollama run deepseek-r1:7b),在终端黏贴惊醒安装

4)安装完成后,就可以在本地使用deepseek-R1了

 二、本地部署DIfy

什么是dify:生成式AI应用创新引擎。开源的LLM应用开发平台,提供从Agent构建到AI workflow编排、RAG检索、模型管理等能力,轻松构建和运营生成式AI原生应用。比LangChain更易用

上面的步骤已经部署了dp了,但是为了方便后面的RAG的使用,我们需要借助Dify改进这一点

dify官网:https://dify.ai/zh

1、dify的运行需要docker,docker官网:https://www.docker.com/  下载安装docker的桌面客户端

  双击运行

2、

 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/896855.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

网易邮箱如何用大数据任务调度实现海量邮件数据处理?Apache DolphinScheduler用户交流会上来揭秘!

一定不要错过这场精彩的线上用户交流会!在这里,你将有机会深入了解网易邮箱关于Apache DolphinScheduler平台的实际应用案例,汲取大厂的前沿实践经验。你是否对大数据领域的前沿应用充满好奇?网易邮箱作为互联网大厂网易的重要业务线,在大数据应用方面有着诸多值得借鉴的实…

信创国产系统对国产芯片产业的推动作用

信创国产系统与国产芯片产业紧密相连,二者的协同发展对于我国信息技术产业的自主可控和安全稳定具有至关重要的意义。信创国产系统的崛起,正以一种前所未有的力量推动着国产芯片产业不断向前迈进,在提升产业竞争力、保障国家信息安全等方面发挥着不可忽视的作用。 创造市场需…

Apache DolphinScheduler项目2月份进展总结

各位热爱DolphinScheduler的小伙伴们,今年2月份的社区月报如期而至,更新了DolphinScheduler项目和社区在本月的重大进展,请查收! DolphinScheduler月度Merge Stars 感谢以下小伙伴在2025年2月期间为Apache DolphinScheduler社区做的精彩贡献(排名不分先后):@ruanwenjun,…

信创国产系统实施后的效果评估与改进方法

信创国产系统的实施是推动信息技术自主创新、保障国家信息安全的重要举措。随着信创国产系统在各个领域的广泛应用,对其实施后的效果进行科学评估并持续改进显得尤为关键。这不仅关系到系统能否稳定、高效运行,更关乎企业和国家在数字化转型过程中的战略布局与发展。通过合理…

3.10 lambda算法

1.1 表达式(expression)(可以把两个表达式写在一起组成一个新的表达式) 包含:变量(单个字母/多个字母);括号(表示是一个整体);λ和.描述函数(函数由λ和变量开头,然后是一个.,然后是表达式),λ没有特殊的含义,只是说函数由此开始,在λ后面,.前面的字母成为变…

pfastq-dump 软件的安装以及测试

pfastq-dump 软件的安装以及测试 001、官网:https://github.com/inutano/pfastq-dump002、下载最新版wget -c https://github.com/inutano/pfastq-dump/archive/refs/tags/v0.1.6.tar.gztar -xzvf pfastq-dump-0.1.6.tar.gzcd pfastq-dump-0.1.6/bin/chmod +x pfastq-dump 00…

7.9K star!跨平台开发从未如此简单,这个开源框架让APP开发效率飙升!

Lynx 是一个革命性的跨平台开发框架,使用 TypeScript 开发即可同时构建 iOS、Android 和 Web 应用。通过创新的布局引擎和原生渲染技术,让开发者用一套代码实现三端同屏效果,大大提升整体的开发效率!嗨,大家好,我是小华同学,关注我们获得“最新、最全、最优质”开源项目…

国内头部HR SaaS厂商的薪酬管理实践:以标准化功能满足复杂薪酬管理需求

易路的成功案例证明了其在薪酬数字化管理转型中的领导地位,为其他企业提供了宝贵的参考和启示。随着易路的不断创新和优化,我们有理由相信它将继续引领行业,帮助企业实现薪酬管理的战略性业务支撑,为企业在激烈的市场竞争中提供强大的人力资源支持,实现企业与员工的共同发…

源码安装Rpcapd,用于 wireshark 远程抓包

背景 libpcap 是一个基础且关键的网络数据包捕获库,为 Wireshark、tcpdump 等流行工具提供核心功能支持。其中,rpcapd(Remote Packet Capture Daemon)组件允许在远程系统上进行数据包捕获,这一功能让我们能够从一个中心位置监控多个远程网络接入点,而无需在每个监控点都部署…

3.10 计数基础排列与组合

1.1 基本计数原则:乘积法则 1.1.1总共有多少种不同的长度为7的位串(位串:可视为一个数组,长度为7) A:2^7=128 1.1.2 计数有穷集的子集|S|表示长度;幂集:幂集(Power Set)是集合论中的一个基本概念。给定一个集合 S,其幂集 P(S) 是包含 S 所有子集的集合,包括空集和 S…

Nginx 常用功能,反向代理笔记

前言 本文是runoob教程的搬运,稍微修改了原文中的一些错误拼写的问题,顺便对一些概念进行了更详细的解释,欢迎批评指正!Nginx常用功能Http代理,反向代理:作为web服务器最常用的功能之一,尤其是反向代理。 这里我给来2张图,对正向代理与反向代理做个诠释,具体细节,大家…

Oracle 19c 数据库实战:从单机部署到 DG 高可用架构搭建

前言:在当今数字化时代,数据已成为企业最宝贵的资产之一。而数据库作为数据存储和管理的核心工具,其重要性不言而喻。Oracle 数据库作为全球领先的商业数据库管理系统,以其卓越的性能、可靠性和强大的功能,广泛应用于企业的关键业务系统中。无论是大型企业的 ERP、CRM 系统…