AI大模型完全本地化部署指南——从零硬件开始

news/2025/2/23 15:42:42/文章来源:https://www.cnblogs.com/M4K0/p/18732174

本文将从基础硬件购置开始讲起,真正意义上从零开始,最终通过Ollama、LangChain、DeepSeek的一系列交互,输出本地大模型的第一声啼鸣,带你走进另一片广阔的世界。update:2025-02-23

硬件方面

主板选型:

主机组装:

P40显卡拆解,改散热:

kali显卡驱动安装

软件方面

ollama服务端配置

ollama安装没什么难度,建议直接参考官网https://ollama.com,根据安装提示一直按下一步即可,安装模型命令是ollama pull 模型名称

ollama服务端执行export OLLAMA_HOST=0.0.0.0:11434;ollama serve ;开启外部网络访问支持。启动后可执行ollam list查看本地已部署模型信息,以下是我之前安装过的。

conda虚拟环境部署

软件环境部署:

  conda create -n LangChainP312 python==3.12conda activate LangChainP312pip install --upgrade langchainpip install --upgrade langchain-ollama

开发工具vs code,官网是https://code.visualstudio.com/Download,ubuntu系列linux执行sudo dpkg -i xxx.deb即可,windows安装步骤仍是各种下一步下一步,最后左侧安装一下python代码支持。

然后新建一个py文档开始写代码,注意和conda环境关联方法: 快捷键CTRL SHIFT P选择interpreter,指定conda环境LangChainP312。

客户端langchain代码编写

from langchain_ollama import OllamaLLM#更多参数配置,可以在OllamaLLM函数名位置右键或者F12跳转到源码位置
model = OllamaLLM(model="deepseek-r1:1.5b",base_url="http://192.168.50.171:11434")response= model.invoke("如何学习人工智能")print(response)

然后CTRL+F5就可以运行代码了,运行效果如下:

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/888413.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

juc-01-多线程基本知识

进程与线程的关系:一个进程由一到多个线程组成。线程是cpu最小的调度单位。 进程是资源分配的最小单位。 并行与并发:并行:同一时刻执行多个任务。 并发:同一时刻,微观串行,宏观并行,cpu极速切换执行线程。单核cpu,如果没有并发,则不能同时执行多个任务同步与异步:同…

OceanBase数据库实战:Windows Docker部署与DBeaver无缝对接

一、前言 OceanBase 是一款高性能、高可扩展的分布式数据库,适用于大规模数据处理和企业级应用。 随着大数据和云计算的普及,OceanBase 在企业数字化转型中扮演着重要角色。学习 OceanBase 可以帮助开发者掌握先进的分布式数据库技术,提升数据管理能力。使用 Docker 安装 Oc…

爬虫随笔(四) scrapy

声明本账号中的所有内容仅供学习交流使用,不用于其他任何目的,不提供完整代码,抓包内容、敏感网址、数据接口等均已做脱敏处理,严禁,用于商业用途和非法用途,否则有此产生的一切后果均与作者无关! scrapy在使用scrapy前准备工作,首先在pycharm中运行 pip install scrap…

微信小程序自动生成二维码

1、下载包 npm i weapp-qrcode 安装完成之后,出现这个文件夹 2. 构建npm打开微信开发者工具,进入对应的小程序项目。点击菜单栏中的 “工具” -> “构建 npm” 。 构建完成后,会在项目中生成一个miniprogram_npm文件夹 3、页面中引用 在js中调用方法 先引用: 显示效果…

QT布局管理器(QVBoxLayout,QHBoxLayout)不同部分比例大小设置方法

QT布局管理器(QVBoxLayout,QHBoxLayout)不同部分比例大小设置方法默认情况如果将多个控件加入到QT的布局管理器中(QVBoxLayout、QHBoxLayout)所有控件占用的宽度/高度是等比例大小的。然后,在实际应用和开发中往往希望在同一个布局管理器中,根据控件实际显示内容的多少或…

哪吒探针V1:全新版安装

哪吒探针可以方便的帮助我们监控服务器性能。 本文为大家带来最新版v1的安装过程。 一、安装控制面板 运行一键安装脚本 curl -L https://gitee.com/naibahq/scripts/raw/main/install.sh -o nezha.sh && chmod +x nezha.sh && sudo CN=true ./nezha.sh这里我们…

分散的离开公司的跨国纠纷的广泛斯大林年的;;;反斯大林可能的司法法国vdnmfjioaspgrjosgmdlfbdfvb

法斯基返回南京了哦;角色的绿柠檬酸公司经理年女郎科技的风格vs的风俗哦管理呢诺夫斯基考虑过赛时T1正解没调出来。打暴力,第二个暴力二分挂了但第一档暴力都是第二档的数据,but我先判的第二档,so人麻了。 不管了反正都要退役了,就先**这样吧。__________________________…

FrameScan:cms漏洞检测框架

免责声明: 工具仅供安全研究与学习之用,若将工具做其他用途,由使用者承担全部法律及连带责任,作者及发布者不承担任何法律及连带责任。信息及工具收集于互联网,真实性及安全性自测!!!项目介绍 FrameScan是一款python3编写的简易的cms漏洞检测利用框架,支持漏洞检测与简…

fork打开VS Code

在 File → Preferences → Custom Commands 中,添加 Respository 命令。 #!/bin/bash# 已知的路径格式(Unix/Linux风格,其中/d表示D盘) unix_path=$PWD# 提取盘符(注意:这里假设盘符总是小写,并且紧跟在根斜杠后面) disk_letter="${unix_path:1:1}" disk_le…

Windows平台调试器原理与编写02.一般断点与反汇编引擎

https://www.bpsend.net/thread-256-1-2.html 一般断点(软件断点) 断点的尊严断的下来 走的过去 下次还来所有合格的断点都应该满足这3个要求 OD下断点实际是把指令的第一个字节改成了CC,当程序执行到CC的时候其实是抛了一个异常(EXCEPTION_BREAKPOINT),这个异常就会进入调试器…

输入搜索、分组展示选项、下拉选取,全局跳转页,el-select 实现 —— 后端数据处理代码,抛砖引玉展思路

详细前端代码写于上一篇:输入搜索、分组展示选项、下拉选取,el-select 实现:即输入关键字检索,返回分组选项,选取跳转到相应内容页 —— VUE项目-全局模糊检索 【效果图】:分组展示选项 =>【提供界面操作体验】 【mybatis】:多数据表抓取数据<select id="fin…

使用@SpringBootApplication注解

https://docs.spring.io/spring-boot/docs/2.0.x/reference/html/using-boot-using-springbootapplication-annotation.html许多Spring Boot开发人员希望他们的应用程序能够使用自动配置(auto-configuration)、组件扫描(component scan),并能够在其“应用程序类(applicat…