把Ollama安装到D盘并使用NVIDIA GPU运行大模型

Ollama安装到D盘

.\OllamaSetup.exe /DIR="D:\Program Files\Ollama"

Ollama模型设置到D盘

添加环境变量
变量名：OLLAMA_MODELS
变量值：D:\ollama\models

让Ollama使用GPU

Ollama安装好后，为了让推理跑在GPU上，可以按照如下步骤 设置环境变量：

变量名：OLLAMA_GPU_LAYER
变量值：cuda

如果需要指定特定的 GPU，可以添加以下环境变量：

变量名：CUDA_VISIBLE_DEVICES
变量值：GPU的UUID（按编号有时找不到，所以使用UUID）在控制台输入 nvidia-smi -L ，即可查看GPU的UUID

显卡相关

需要安装新版本的CUDA才能使用GPU（可能最小也得是CUDA 11 才行，我的原本是CUDA 10版的driver）

查看CUDA版本

1. nvidia-smi
2. 或者桌面点右键，NVIDIA Control Panel，左下角 System Information，第二个选项卡 Components，3D Settings 第三行，NVCUDA64.DLL，NVIDIA CUDA 12.8.51 driver（代表是安装的12.8.51）【驱动更新之前是10.0的版本，运行ollama的时候，报下面的错误😂，估计是cuda版本太低】

The procedure entry point cuMemGetAllocationGranularity could not be located in the dynamic link library D:\Program Files\ollama\lib\runners\cuda_v11_avx\ggml_cuda_v11.dll.

用NVIDIA App来安装最新驱动

https://www.nvidia.cn/software/nvidia-app/
下载NVIDIA App，把显卡驱动更新到最新版

另外

CudaToolkit的安装包，不是必须的，只需要显卡驱动安装好，然后保证上面的版本最新就可以了

其他

ollama 常用指令

• ollama ps 查看CPU/GPU使用情况
• ollama list 查看已经下载的模型
• ollama run xxxx 运行模型

nvidia 指令

• 利用指令 nvidia-smi查看Nvidia显存应用情况，显存占用分布在 0%~5%，可以看到CUDA版本

参考资料

1. 将Ollama应用程序安装至其他盘，同时模型下载到其他盘
2. 设置Ollama模型跑在GPU上 （忽略里面需要安装CudaToolkit的部分）