记录本地部署自己的DeepSeek 大模型AI

news/2025/1/30 19:26:24/文章来源:https://www.cnblogs.com/LaiYun/p/18695293
  • 准备工具

  Ollama用于简化大型语言模型(LLM)的本地部署和使用,可以同时支持多个大模型,开发者能够方便地在本地环境中运行和测试不同的语言模型,简单的说就是相当于一个容器。

  官网地址:https://ollama.com/

  ChatBox AI:是一款用于接入各种大模型的客户端,使在大模型AI时方便、美观。就是一个UI客户端,用起来更方便快捷。

  官网地址:https://chatboxai.app/zh

  •  下载安装Ollama

  首先先下载Ollama,进入官网,点击Download

   这里选择自己电脑或者服务器的系统,我的是Windows系统就选择了Windows端下载

  这里有些朋友可能会遇到无法下载的问题,我刚开始用IDM下载也卡在90%就一直下不下来,这里提供我下载好的软件包给大家

百度网盘链接:https://pan.baidu.com/s/1kFH3wUKLdorENBMV57O6CQ
提取码:kbls

  下载好了就是安装了,安装过程我就不截图了,注意Ollama默认安装是在C盘的,以及下载的大模型数据也是默认在C盘,所以一定要注意自己C盘的存储空间够用

  安装好Ollama后Windows+R,输入CMD进入命令窗口

  输入ollama -v  有版本号就说明安装好了,安装好了会自动启动Ollama,在任务栏右下角有个羊驼的图标

 

  • 下载DeepSeek R1模型

  在Ollama官网点击Models,选择deepseek-r1

   这里是选择DeepSeek蒸馏后的密集模型,注意这里的模型要根据自己的电脑性能来下载,如果资源不足,下载了也会跑不起来,我这里选择的是第一个最小的模型。对应的资源和模型我放个图,大家自己对应下

   感兴趣的自己看看这个对应的模型所需的性能:https://apxml.com/posts/gpu-requirements-deepseek-r1

   复制Ollama选中模型对应下载命令,如图所示

 复制命令到命令窗

 然后回车开始下载,这里略过下载过程,这里是下载完成后的截图,下载完成后就可以提问了,没想到这么简单吧,哈哈哈

 

  •  安装ChatBox AI并接入DeepSeek

   下载ChatBox AI,https://chatboxai.app/zh,也可以使用网页版的,这里我下载了客户端,安装过程略过

   选择Ollama API后,然后选择我们下载好的DeepSeek模型,这里如果大家还有其他模型也可以选择对应的模型。

   到了这里,我们进行提问,可能会遇到报错

  这里我们点击我的电脑,右键属性-->高级系统设置-->环境变量

 

   新建两个环境变量

  OLLAMA_HOST:0.0.0.0

  OLLAMA_ORIGING:*

  到这里就可以提问啦,但是这个最小的模型有点旧,我问了今天是几月几日,他回答是2023年1月27日,实际今天是2025年1月30日,实际推理能力我没测试,大家可以试试

   到这里就完成全部本地化部署了。

  • 删除大模型资源包

  再讲下如何删除大模型数据包,因为可能有的朋友不听劝或者没注意看模型所需资源要求,导致下载了与自己电脑资源不对应的模型包,电脑无法跑起来。这时候需要删除模型资源包。

  由于这里我已经删除了,我就不附图了,大家安装文字说明来基本就可以完成了

  打开CMD命令窗口,输入Ollama list

  这样就会显示你安装了的所有大模型资源包,复制对应的资源包名称

  再输入:ollama rm deepseek-r1:1.5b 

  语法:ollama rm 模型资源包名称 

  这样大模型资源包就删除了,然后Ollama可以在Windows系统程序那里找到正常卸载。

  撒花完结

 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/877129.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

CF999

A link首先,每次操作(第一次除外)之前\(s\)一定是一个奇数,那么我们要再加一个奇数才能让它变为偶数分数加一。 那么就是说操作过至少一次后,有几个奇数就有几分。 那么如果有至少一个偶数,那么第一次用偶数可以得分,后面再用奇数可以得分,偶数的不了分,最终得分就是奇…

1.30

1.30 Maze - 洛谷 | 计算机科学教育新生态 (luogu.com.cn)从一个空格走cnt - k个点并标记,然后将没有标记的点设为A即可import java.io.BufferedReader; import java.io.IOException; import java.io.InputStreamReader; import java.io.OutputStream; import java.io.OutputS…

java中jdk的下载地址

java中jdk的下载地址 https://www.oracle.com/java/technologies/downloads/#java17-windows作者:流年少年 出处:https://www.cnblogs.com/ishoulgodo/ 想问问题,打赏了卑微的博主,求求你备注一下的扣扣或者微信;这样我好联系你;(っ•̀ω•́)っ✎⁾⁾!如果觉得这篇文章…

对国外某网站的SQL注入实战

对国外某网站的SQL注入实战 记录一次某功能点遇到SQL注入漏洞尝试丢到SQLMAP运行虽然成功,但是有些SQL注入类型存在但SQLMAP未识别出来,随后便使用手工注入的方式获得数据库相关数据的随笔 功能点某网站存在URL如下的GET形公告展示点: /xxx/index.php?mod=detail&_id=23…

@所有Mac用户 刺客信条系列登陆Mac平台!

🌟【历史性的跨越】🌟 在无数Mac游戏爱好者的热切期盼中,终于将风靡全球的3A级巨作——刺客信条🌟【历史性的跨越】🌟 在无数Mac游戏爱好者的热切期盼中,终于将风靡全球的3A级巨作——刺客信条系列,成功移植至MacOS系统!这意味着,无论是穿梭于中世纪欧洲的隐秘巷弄…

五、USB PD协议层之控制消息

当Message Header中的Number of Data Objects字段设置为0,控制消息仅由一个Message Header和一个CRC组成。协议层发起控制消息(如,Accept Message, Reject Message 等)。 控制消息类型在消息头的Message Type字段(位4…0)中指定,并汇总在下表中。1、GoodCRC Message Good…

htb support walkthrough window 域渗透

nmap udp端口 nmap -sU 10.10.11.174 Starting Nmap 7.95 ( https://nmap.org ) at 2025-01-30 01:17 UTC Nmap scan report for 10.10.11.174 Host is up (0.092s latency). Not shown: 996 open|filtered udp ports (no-response) PORT STATE SERVICE 53/udp open domai…

01 设计测试用例

设计测试用例的万能思路 针对某个物品/功能进行测试。 万能思路:功能测设 + 界面测试 + 性能测试 + 兼容性测试 + 易用性测试 + 安全测试。总结: 功能测试: 水杯:装水、喝水... 注册场景:注册 + 登录 ​ 想象日常使用中的注册场景有哪些功能。 界面测试: 非软件:颜色…

C++ 实现一个vector

C++如何写一个带有allocator的vector 在STL中,容器一般都有一个allocator模板参数。 allocator用于获取/释放内存及构造/析构内存中元素的分配器。类型必须满足分配器 (Allocator) 。如果 Allocator::value_type 与 T 不同,那么行为未定义(C++20 前)程序非良构(C++20 起)。 模…

使用xtrabackup对MySQL8.0.34进行备份和恢复

Percona XtraBackup 是一款开源的、用于 MySQL 和 MariaDB 的热备份工具,它可以在不停止数据库服务的情况下进行全量或增量备份,并且能够快速恢复数据。以下从特点、安装、备份与恢复操作、注意事项等方面进行详细介绍。 特点热备份:可以在数据库正常运行时进行备份,不影响…

【THM】Search Skills(搜索技巧)-学习

学习有效地搜索互联网并使用专门的搜索引擎和技术文档。本文相关的TryHackMe实验房间链接:https://tryhackme.com/r/room/searchskills 本文相关内容:学习有效地搜索互联网并使用专门的搜索引擎和技术文档。介绍 在 Google 上快速搜索“学习网络安全-learn cyber security”返…

使用ailabel对图片进行标注,vue3/js+ailabel.js

​ 一、实现效果 对方案可以添加多张图片,并在图片上进行标注。并且可以通过下方的缩略图切换方案图片 (demo) 二、效果图三、页面元素 <div class="w-full overflow-auto p-2" style="height: calc(100% - 7rem)"><div class="btns mb-2…