免费+数据安全!手把手教你在PC跑DeepSeek-R1大模型,小白也能秒变AI大神!

news/2025/2/7 13:23:15/文章来源:https://www.cnblogs.com/JavaEdge/p/18702408

0 为啥本地部署?

在本地运行 AI 模型具有以下优势:

  • 隐私:你的数据保留在你的机器上 — — 不存在共享敏感信息的风险
  • 成本: DeepSeek R1 可免费使用,无需订阅费或使用费
  • 控制:无需外部依赖即可进行微调和实验

1 使用Ollama

1.1 下载并运行应用程序

直达官网:

1.2 选择你的平台

MacOS、windows

直接下载,找到对应操作系统的软件到本地:

点击安装即可:

1.3 命令行下载指定模型

如:

ollama pull deepseek-r1:8b

系统会自动下载。 下载速度,看网速,我的网速不好,等了20分钟左右。 完成下载后,模型即可运行。

官网支持的模型:

按LiveCodeBench评分,DeepSeek V3得分42.2,蒸馏模型Qwen 14B得分53.1,具有相当的性能,而且尺寸相对来说属于桌面级能跑,推荐用14B:

1.4 运行

浏览器:

2 可视化软件

如Chatbox/cherry studio等工具,设置简单,内置功能丰富,与本地模型集成,免费畅享各种大模型且注重数据安全。

2.1 下载 Chatbox

官网:

安装完成后,打开左下角设置:

  • 将 API 主机设置为:http://127.0.0.1:11434
  • 选择 DeepSeek R1 作为活动模型
  • 保存

开始激聊:

img

PC软件连接本地大模型成功,后续即可根据自己需求训练DeepSeek,将DeepSeek训练成自己的私有专家。

2.2 遗留问题

现成 GUI 软件虽好,也不是菩萨,只是给你最基本聊天功能,想使用更高级的多模态功能,依旧需要付费,因此最终大招还是自己开发。

图片识别受限:

联网搜索受限:

3 本地大模型调用

本地部署完了,来看咋调用?

from langchain_community.llms import Ollamallm = Ollama(model="qwen2:0.5b")
llm.invoke(input="你是谁?")

使用流式

#使用流式
from langchain.callbacks.manager import CallbackManager
from langchain.callbacks.streaming_stdout import StreamingStdOutCallbackHandlerllm = Ollama(model="qwen2:0.5b", callback_manager=CallbackManager([StreamingStdOutCallbackHandler()])
)
llm.invoke(input="第一个登上月球的人是谁?")

本文已收录在Github,关注我,紧跟本系列专栏文章,咱们下篇再续!

  • 🚀 魔都架构师 | 全网30W+技术追随者
  • 🔧 大厂分布式系统/数据中台实战专家
  • 🏆 主导交易系统亿级流量调优 & 车联网平台架构
  • 🧠 AIGC应用开发先行者 | 区块链落地实践者
  • 🌍 以技术驱动创新,我们的征途是改变世界!
  • 👉 实战干货:编程严选网

本文由博客一文多发平台 OpenWrite 发布!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/880033.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

mkv和ass字幕文件合并

主要使用两种工具:ffmpeg和mkvmerge 操作系统:windows10及以上 ffmpeg下载:https://github.com/BtbN/FFmpeg-Builds/releases/download/latest/ffmpeg-master-latest-win64-gpl-shared.zip mkvmerge下载:https://mkvtoolnix.download/windows/releases/89.0/mkvtoolnix-64-…

【日记】我已经穿越了那层屏障(1903 字)

正文每次节后都知道,能说 “节后再说” 这句话当时有多爽(笑。现在节后有好多好多事情要做——年后再说的事,袭来!昨天是收假之后第一天,开了个会,我没去。结果他们下来都一幅晴天霹雳的样子,我十分诧异。结果一问,基本上全部的人都要轮岗了。我三月份又要跑去业务线,…

洛谷题单指南-线段树的进阶用法-P5445 [APIO2019] 路灯

原题链接:https://www.luogu.com.cn/problem/P5445 题意解读:给定一个长度为n的01串,一共有q个时刻,对于每个时刻,可能有两种操作:1. 把第x个位置取反 2. 查询a ~ b - 1之间的串在过去有多少个时刻都为1。 解题思路: 一、朴素想法 每个时刻对路灯的状态建立线段树,可以…

[LLM] ZeRO-DP技术简析

[LLM] ZeRO-DP技术简析 本文对ZeRO: Memory Optimizations Toward Training Trillion Parameter Models中提出的ZeRO-DP进行简要总结。相关的讲解其实网上也有很多了,不过只看网上的终究还是有点走马观花,所以我还是决定自己写一篇博客,记录一下我自己的理解。这篇博客讲的不…

人工智能训练线上算力实验环境

语音识别,转文字。from modelscope.pipelines import pipeline from modelscope.utils.constant import Tasksinference_pipeline = pipeline(task=Tasks.auto_speech_recognition,model=iic/speech_paraformer-large-vad-punc_asr_nat-zh-cn-16k-common-vocab8404-pytorch,mo…

腾讯云HAI与DeepSeek携手打造私有化高效代码助手

今天,我们依然以DeepSeek-R1大模型为核心,继续探索其在实际场景中的可用性。今天的重点将放在基于DeepSeek-R1大模型,结合JetBrains IDEA 插件代码助手(CodeGPT)进行的场景应用探索。 我们将利用腾讯云HAI服务器进行私有化部署,以确保数据安全和模型的高效运行。让我们一…

技术博客架构升级:解锁高效写作新体验

最近我对自己的技术博客架构做了一次重要升级,实现了文章内容与静态网站生成器的完全解耦。这个方案让写作回归纯粹,同时保持了自动化部署的优势。以下是具体的实现方案: 🛠️ 方案架构主仓库:flowstone/flowstone.github.io​ 主仓库仅保留静态网站生成器的相关配置,果…

window10本地搭建DeepSeek R1(三) NoneType object has no attribute encode

上面两章介绍了在本地安装DeepSeek+OpenWebUI。这里介绍一下几个需要注意的地方。 1:文件上传失败,上传文件是报错:python "NoneType object has no attribute encode" 在网上找了个方法,能解决:设置语言模型:安装如图箭头的步骤安装一个语义向量模型:sentenc…

如何用sockpef测试实例之间的网络时延

本文分享自天翼云开发者社区《如何用sockpef测试实例之间的网络时延》,作者:j****n网络时延:指数据(报文/分组、比特流)从网络的一端发送到另一端所需的时间。也叫延迟或迟延。 操作步骤:分别在测试机和辅助测试机上执行一下命令,安装sockperfyum install -y autoconf a…

Orleans7.0 游戏服务器全栈开发实战

本课程目标是从零开始搭建一套基于微软Orleans和DotNetty开源方案的游戏服务器框架,框架遵守Actor模型,可以充分利用多核,方便水平扩展。并且使用.NET平台,开发和部署都非常便捷。为了演示功能,也实现了一个简单的Unity客户端框架,最后使用这个框架实现了一个井字棋的对战…

回归本质:第一性原理引领团队项目管理新方向

第一性原理作为一种极具颠覆性和创新性的思维工具,在团队项目管理中发挥着重要作用。通过归零思考、解构现象和重构模式等步骤,团队能够更清晰地认识项目的本质需求,发现潜在问题并制定针对性的解决方案。同时,借助专业的项目管理软件如板栗看板,团队可以进一步提高管理效…

详细教程 | 如何使用DolphinScheduler调度Flink实时任务

Apache DolphinScheduler 非常适用于实时数据处理场景,尤其是与 Apache Flink 的集成。DolphinScheduler 提供了丰富的功能,包括任务依赖管理、动态调度、实时监控和日志管理,能够有效简化 Flink 实时任务的管理和部署。通过 DolphinScheduler 的可视化界面,用户可以轻松创…