之前小谢推出一篇部署本地大模型教程,但需要网络环境
AI机器人本地免费部署(部署Llama 3.1详细教程)
还是比较受到读者的欢迎,但应读者要求:需要这个模型能够训练,能够结合电子数据取证方向且行业内有些数据是不对外公开的,又因为有些机子是没办法连接外网的。
所以完全离线搭建本地的大模型,还是有必要的。其应用的场景可以是让它训练电子数据取证相关的法律法规,电子数据现场提取的流程规范及鉴定要求,计算机及服务器取证的相关知识点及大比武题解等。
话不多说,接下来我们进入实操。
1.环境准备
(1)Windows10系统及以上的计算机
(2)要求:
1.版本:1.5b,适用于一般文字编辑使用(需要1.1GB空余空间)
2.版本:7b(需要4.3GB空余空间)
3.版本:8b(需要4.6GB空余空间)
(3)网络环境:完全离线 不需要网络。(可先下载到U盘,运行U盘安装包可完全离线)
(4)小谢此次搭建的电脑环境如图
2.部署安装过程:
(1)公众号后台回复deepseek获取网盘下载链接。
(2)安装ollama
1.使用安装包进行安装
2.点击安装会默认安装在C盘,如果需要安装在其他盘符修改下环境变量即可。
3.安装完成后桌面右下角会显示安装完成。点击它会显示该界面
(3)下载模型
根据你的需要,下载模型
我这边以下载8b为例
(4)直接将该文件放到文件夹C:\Users%username%.ollama并将其解压到该文件夹下
(5)接下来我们来看看该模型是否解压成功。运行Windows PowerShell
输入命令ollama list 如果列表有显示出来则表示成功
(6)再使用命令ollama run deepseek-r1:8b
即可运行
4.命令行界面看起来不友好,接下来是要将该界面进行可视化并我们可以提供资料让他进行学习。
(1)将AnythingLLMDesktop.exe下载并进行安装
(2)安装,点击下一步默认安装即可
(3)在该界面选择模型
(4)再点击下一步
(5)这边我们可以跳过注册
(6)新建一个工作区名称
(7)在这边可以上传文档,让他进行学习
(7)点击该上传按钮后再点击进行上传
(8)上传后全选,点击“Move to Workspace”会自动移到右侧的工作区
(9)再点击保存上传即可
(10)上传完成后,这个图钉图标要把他“钉”起来,该文档才能生效
(11)接下来我们来测试下效果
看来他是对我们提供给他的电子数据取证的解题文档进行解析。当然举一反三,大家可以自己根据自己的需求,新建一个工作区,再喂给他文档资料就可以了。如果需要其他网盘的链接,可以后台私信小谢即可。
原创 小谢取证