DeepSeek本地化部署

news/2025/2/5 21:26:42/文章来源:https://www.cnblogs.com/aeolian/p/18699187

DeepSeek-R1本地化部署

在 Mac 上使用 Ollama 运行 DeepSeek-R1,并通过 Open-WebUI 提供 Web 端访问。

1. 安装 Ollama

Ollama官方:https://ollama.com/
Ollama 是一个轻量级的 AI 推理框架,支持本地运行 LLM(大型语言模型)。首先,下载并安装 Ollama。

# brew安装ollama
brew install --cask ollama
# 检查Ollama是否安装成功,成功会显示版本号,如:ollama version is 0.5.7
ollama --version

img

2. 下载模型

下载 DeepSeek-R1 模型
模型下载地址:https://ollama.ai/library/deepseek-r1

# 该命令会自动下载 DeepSeek-R1 1.5B 版本的模型,并存储在本地。
ollama pull deepseek-r1:1.5b

img

3. 本地运行 DeepSeek-R1

执行后,终端会进入交互模式,可以直接输入文本与模型进行对话。

# 查看已下载的模型
ollama list
# 运行模型
ollama run deepseek-r1:1.5b

img

通过 Open-WebUI 运行

使用 Web 界面交互模型,可以安装 Open-WebUI。该工具提供了一个用户友好的 Web 前端,使得 DeepSeek-R1 更加易用。

克隆 Open-WebUI 仓库

git clone git@github.com:open-webui/open-webui.git

启动 Open-WebUI 容器

#mac安装docker,安装完成后应用程序中会有docker程序,点击即可启动
brew install --cask --appdir=/Applications docker
#启动docker
docker run -d \-p 3000:8080 \--add-host=host.docker.internal:host-gateway \-v open-webui:/app/backend/data \--name open-webui \--restart always \ghcr.io/open-webui/open-webui:main#停止容器·
docker stop open-webui
#删除容器
docker rm open-webui
#删除存储数据
docker volume rm open-webui

• -p 3000:8080:将容器的 8080 端口映射到本机 3000 端口;
• --add-host=host.docker.internal:host-gateway:允许容器访问宿主机网络;
• -v open-webui:/app/backend/data:挂载数据存储目录,保存容器的状态和数据。
• --restart always:确保容器在重启后自动运行;
• ghcr.io/open-webui/open-webui:main:拉取 Open-WebUI 的最新版本镜像。

运行容器后,访问 http://localhost:3000 即可访问 Open-WebUI。

img

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/879271.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

微服务 - 服务雪崩和限流

1. 服务雪崩 1.1 什么是服务雪崩? 在微服务中,假如一个或者多个服务出现故障,如果这时候,依赖的服务还在不断发起请求,或者重试,那么这些请求的压力会不断在下游堆积,导致下游服务的负载急剧增加。不断累计之下,可能会导致故障的进一步加剧,可能会导致级联式的失败,甚…

CTF-web-矛盾

1.打开链接,查看题目2.要求输入数字1但是又不允许输入数字,可输入1a,弱比较 “=”转化后即为13.即可获得flag

DRF 视图

视图概览 REST framework 提供了众多的通用视图基类与扩展类,以简化视图的编写。 视图的继承关系: 视图的方法与属性: Request 与 Response 1. Request REST framework 传入视图的request对象不再是Django默认的HttpRequest对象,而是REST framework提供的扩展了HttpReques…

MySQL训练营-如何判断SQL的主要消耗阶段

慢查询分析思路确认是锁还是执行消耗对于执行消耗,分析执行过程基础知识回顾 InnoDB 聚簇索引结构 CREATE TABLE `t1` (`id` int NOT NULL AUTO_INCREMENT,`a` int DEFAULT NULL,`b` int DEFAULT NULL,`c` int DEFAULT NULL,PRIMARY KEY (`id`),KEY `a` (`a`),KEY `bc` (`b`,c…

windows本地部署deepseek-R1模型并接入wx

1、本地部署deepseek-R1模型 通过官网 https://ollama.com 下载安装 ollama 选择自身GPU显存适合的 模型,这里我用的8b ollama run deepseek-r1:8b2、hook wechat接入对话 通过项目 https://github.com/ngc660sec/NGCBot hook wechat想必这种方式会比docker+cow网页版登录的方…

口胡赛 2025.2.5

T1 首先不要 \(p\) 这个肯定是不能枚举 \(p\) 再直白处理的,因为最快的 Floyd 都要 \(O(n^3)\) 这样。 那么不要 \(p\) 的信息是合并得来的,但是直接合并复杂度也不够,考虑使用经典分治,先加入 \([l,mid]\) 然后递归 \((mid,r]\),撤销 \([l,mid]\),加入 \((mid,r]\),在递…

linux系统语言修改

查看当前系统语言查看已有的语言包修改linux系统语言 指令: gvim /etc/locale.conf 将“ ”的内容替换即可:

基于ESP32的桌面小屏幕实战[7]:第一个工程Hello world!以及打印日志

摘要 本文构建下载了示例工程hello world,并在其中调用esp_log.h中的日志函数打印日志。 1. 创建工程 打开esp目录,把hello world文件夹复制到当前文件夹,并打开hello world文件夹。 cd ~/esp cp -r esp-idf/examples/get-started/hello_world . cd ~/esp/hello_world使用命…

基于Python的Selenium详细教程

本文使用环境:windows11、Python 3.10.5、PyCharm 2022.1.3、Selenium 4.3.0 需要你懂的技术:Python、HTML、CSS、JavaScript一、PyCharm安装配置Selenium本文使用环境:windows11、Python 3.10.5、PyCharm 2022.1.3、Selenium 4.3.0需要你懂的技术:Python、HTML、CSS、Java…

作业01

public class HomeWork01 {public static void main(String[] args) {int n1 = 13;int n2 = 17;int n3 = n1+n2;System.out.println("n3 = "+ n3);//30int n4 = 38;int n5 = n4-n3;System.out.println("n5 ="+n5);//8}}

CROS错误,xhr类型

解决方案:向Web.config里添加此项设置即可