搭建本地大模型-ollama-conda

构建本地大模型-ollama-conda

安装conda

环境

Win10LTSC

下载安装包

有两个版本，Anaconda3和Miniconda3。

两者的区别：
1、Anaconda3包含了很多库，Miniconda3只包含了基础库；
2、Anaconda3的安装包有Jupyter Notebook，Miniconda3没有。

建议：
刚入门的童鞋安装Anaconda3，保证开箱即用，等后期熟练了再安装Miniconda3。

我已经打包好程序，直接下载即可。
Anconda3:Anaconda3-2024.10-1-Windows-x86_64
Miniconda3:Miniconda3-py312_24.11.1-0-Windows-x86_64

链接: 百度云盘下载

链接：阿里云盘 提取码: 2ri0

安装

直接双击安装即可。

建议
1、安装位置不要放到C盘，因为Anconda会占用大量空间。图片介绍的是放D盘，你可以把D改成磁盘空间比较大的盘。

2、在 Advanced Installation Options: 页面一定要勾选 Add Anaconda to my PATH environment variable。

验证

win+R，输入cmd，回车。

输入以下代码，查看conda的版本

conda --version

如果出现以下代码，说明conda已经安装成功。如果没有出现的话，需要在安装anaconda的时候勾选添加到环境变量。

conda 24.11.2

PS:如果确定已经勾选环境变量，但是还是没有出现的话，需要重启电脑。

配置激活虚拟环境

配置虚拟环境

为什么要配置虚拟环境？
虚拟环境是一个独立的Python环境。

在这个环境中可以安装特定版本的Python及其对应的依赖包，而不会影响到系统中的其他Python环境：例如全局Python环境或其他虚拟环境中的库。

对于避免依赖冲突和项目的可移植性至关重要。

创建虚拟环境

以下代码的含义是：创建一个名为env_name的环境，python版本为3.10。

conda create -n env_name python=3.10

注意：
env_name:环境名称,可以根据自己的需求修改
python:python版本，可以根据自己的需求修改

激活虚拟环境:

conda activate env_name

退出虚拟环境:

conda deactivate

查看创建的虚拟环境

conda env list

删除虚拟环境

conda env remove -n env_name

安装ollama

下载安装包：
我已经打包好程序，直接下载即可。
百度云盘：
链接: https://pan.baidu.com/s/1Fw3J5RFcMrjWUrdoLy1gdg?pwd=bdyh 提取码: bdyh
阿里云盘：
链接：https://www.alipan.com/s/A8Z4RhbZE2u 提取码: r6j5

安装

直接双击安装即可。

设定环境变量

在系统变量中添加变量：

变量名 OLLAMA_HOST 变量值 127.0.0.1 或者 你的本机ip地址
变量名 OLLAMA_HOST 变量值 0.0.0.0
以上两个变量任选一个即可。127.0.0.1或者本机IP地址是本地访问，0.0.0.0是远程访问。

变量名 OLLAMA_MODELS 变量值 e:\models
此变量决定ollama下载的大模型存放的位置,提前建立好文件夹。最好不要放C盘，因为ollama的下载的大模型会占用大量空间。

变量名 OLLMA_PORT 变量值 11434
此变量决定ollama的端口。

启动ollama并测试

双击ollama.exe，启动ollama。

在cmd中输入以下代码：

ollama run qwen2.5

可以在cmd中看到ollama拉取模型的过程。拉取完毕以后，就可以在cmd中与大模型对话了。

查看ollama的模型列表：

ollama list

停止ollama

ollama stop

总结

就此，我们就完成了conda的安装和ollama的安装。能够进行基本的使用了。