-
准备工具
Ollama:用于简化大型语言模型(LLM)的本地部署和使用,可以同时支持多个大模型,开发者能够方便地在本地环境中运行和测试不同的语言模型,简单的说就是相当于一个容器。
官网地址:https://ollama.com/
ChatBox AI:是一款用于接入各种大模型的客户端,使在大模型AI时方便、美观。就是一个UI客户端,用起来更方便快捷。
官网地址:https://chatboxai.app/zh
-
下载安装Ollama
首先先下载Ollama,进入官网,点击Download
这里选择自己电脑或者服务器的系统,我的是Windows系统就选择了Windows端下载
这里有些朋友可能会遇到无法下载的问题,我刚开始用IDM下载也卡在90%就一直下不下来,这里提供我下载好的软件包给大家
百度网盘链接:https://pan.baidu.com/s/1kFH3wUKLdorENBMV57O6CQ
提取码:kbls
下载好了就是安装了,安装过程我就不截图了,注意Ollama默认安装是在C盘的,以及下载的大模型数据也是默认在C盘,所以一定要注意自己C盘的存储空间够用。
安装好Ollama后Windows+R,输入CMD进入命令窗口
输入:ollama -v 有版本号就说明安装好了,安装好了会自动启动Ollama,在任务栏右下角有个羊驼的图标
-
下载DeepSeek R1模型
在Ollama官网点击Models,选择deepseek-r1
这里是选择DeepSeek蒸馏后的密集模型,注意这里的模型要根据自己的电脑性能来下载,如果资源不足,下载了也会跑不起来,我这里选择的是第一个最小的模型。对应的资源和模型我放个图,大家自己对应下
感兴趣的自己看看这个对应的模型所需的性能:https://apxml.com/posts/gpu-requirements-deepseek-r1
复制Ollama选中模型对应下载命令,如图所示
复制命令到命令窗
然后回车开始下载,这里略过下载过程,这里是下载完成后的截图,下载完成后就可以提问了,没想到这么简单吧,哈哈哈
- 安装ChatBox AI并接入DeepSeek
下载ChatBox AI,https://chatboxai.app/zh,也可以使用网页版的,这里我下载了客户端,安装过程略过
选择Ollama API后,然后选择我们下载好的DeepSeek模型,这里如果大家还有其他模型也可以选择对应的模型。
到了这里,我们进行提问,可能会遇到报错
这里我们点击我的电脑,右键属性-->高级系统设置-->环境变量
新建两个环境变量
OLLAMA_HOST:0.0.0.0
OLLAMA_ORIGING:*
到这里就可以提问啦,但是这个最小的模型有点旧,我问了今天是几月几日,他回答是2023年1月27日,实际今天是2025年1月30日,实际推理能力我没测试,大家可以试试
到这里就完成全部本地化部署了。
- 删除大模型资源包
再讲下如何删除大模型数据包,因为可能有的朋友不听劝或者没注意看模型所需资源要求,导致下载了与自己电脑资源不对应的模型包,电脑无法跑起来。这时候需要删除模型资源包。
由于这里我已经删除了,我就不附图了,大家安装文字说明来基本就可以完成了
打开CMD命令窗口,输入Ollama list
这样就会显示你安装了的所有大模型资源包,复制对应的资源包名称
再输入:ollama rm deepseek-r1:1.5b
语法:ollama rm 模型资源包名称
这样大模型资源包就删除了,然后Ollama可以在Windows系统程序那里找到正常卸载。
撒花完结