本文主要介绍如何通过ollama快速部署deepseek、qwq、llama3、gemma3等大模型,网速好的小伙伴10分钟就能搞定。让你摆脱GPU焦虑,在普通电脑上面玩转大模型。
安装指南(无废话版)
第一步:安装ollama
我们可以从官网下载ollama,此步骤支持windows、mac、ubuntu操作系统,此处仅以windows作为演示。
打开ollama官网:https://ollama.com 点击download按钮进行下载,下载完成后点击安装。
安装完成后,你的电脑右下角会有ollama的图标(如果没有看到,可以展开折叠的状态栏检查)
验证安装是否成功:打开命令行(WIN+R
,在运行中输入cmd
后回车),输入ollama --version
,如果命令执行成功,并输出了版本信息,说明安装成功了。
第二步:下载deepseek
打开命令行(WIN+R
,在运行中输入cmd
后回车),下载并运行deepseek-r1 1.5b蒸馏版。
ollama run deepseek-r1:1.5b
下载完成后,ollama会为我们运行刚下载的大模型。下面是我运行成功的截图:
第三步:使用大模型
恭喜你已经在本地成功安装了第一个私有大模型。运行成功以后,我们可以直接在命令行和deepseek对话。
如你所见,这就是一个简单的对话窗口,也是大模型最原始的形态。
在本系列的后面章节中,我们会介绍如何使用工具来和大模型进行交互,构建专属于你的、数据安全的、私有可定制的AI工具集。
关注[拓荒者IT]公众号,获取最新内容,文末有福利。
内容讲解(干货)
ollama是什么?
Ollama 是一款开源工具,能让你在个人电脑上本地运行各种大语言模型(如 DeepSeek、QwQ等)。
简单说,它像是一个“离线版DeepSeek”,无需联网就能用AI聊天、写代码或处理文档。
下载模型后,电脑断网也能用,数据隐私更有保障。支持命令行操作,开发者能快速测试模型效果,或集成到自己的项目中。
适合技术爱好者、想保护隐私的用户,或需要定制AI功能的人。开源免费,对硬件要求不高,普通电脑也能跑小模型。
ollama常用的指令
命令 | 描述 |
---|---|
ollama serve |
启动 Ollama |
ollama create |
从 Modelfile 创建模型 |
ollama show |
显示模型信息 |
ollama run |
运行模型 |
ollama stop |
停止正在运行的模型 |
ollama pull |
从注册表中拉取模型 |
ollama push |
将模型推送到注册表 |
ollama list |
列出所有模型 |
ollama ps |
列出正在运行的模型 |
ollama cp |
复制模型 |
ollama rm |
删除模型 |
ollama help |
显示任意命令的帮助信息 |
标志 | 描述 |
---|---|
-h, --help |
显示 Ollama 的帮助信息 |
-v, --version |
显示版本信息 |
获取更多模型
在ollama官网,有非常多的开源模型供我们选择,地址:https://ollama.com/search
在模型列表中,我们点击deepseek-r1,打开页面如下:
选择自己电脑适配的模型大小,然后复制右侧的启动命令,在命令行执行即可。
总结
本文介绍了如何使用ollama本地部署DeepSeek等大模型,通过干货分享了ollama常用的指令,以及如何获取更多大模型。
但是我们目前仍然只是在命令行使用大模型,非常的不友好。下一章我们将介绍如何摆脱命令行的束缚,将ollama集成到本地的AI工具中,实现聊天、自定义智能体等功能。
👉 关注我,持续分享AI工具,AI应用场景,AI学习资源 ❤️
推荐阅读
-
AI编程:Cline+DeepSeek零门槛对话式编程,小白变全栈
-
AI编程:Trae AI编程快速上手,不用编码写一个年会抽奖程序
-
资源分享:清华出品 DeepSeek 从入门到精通 PPT 分享
-
资源分享:清华大学DeepSeek 全家桶PPT下载
-
北大内部培训资料:DeepSeek与AIGC应用,PPT分享
-
北大内部培训资料:DeepSeek提示词工程和落地场景PPT分享
-
干货分享!厦大140页PPT读懂大模型,从概念到实践