系统:Win10
GPU :NVIDIA GeForce RTX 2070 with Max-Q Design
禁用GPU
在环境变量中添加 CUDA_VISIBLE_DEVICES 并设为空值。
使用 ollama ps 命令可以看到全部用的CPU
CUDA_VISIBLE_DEVICES 是一个环境变量,主要用于控制 NVIDIA CUDA 程序(如基于 CUDA 的应用程序或框架,例如 TensorFlow、PyTorch、Ollama 等)能够“看到”或使用的 GPU 设备。它由 NVIDIA CUDA 运行时库支持,作用是限制或指定 GPU 的可见性,从而影响程序的 GPU 使用行为。
使用GUP运行配置
在Ollama中,默认情况下它会尝试检测并使用可用的GPU(如果满足要求,如NVIDIA GPU且支持CUDA)。有时会发现不了GPU,需要进行一下操作:
如果驱动程序版本低于 31.0.101.5122 升级Intel Driver驱动程序
下载CUDA Toolkit
CUDA Toolkit(全称 NVIDIA CUDA Toolkit)是 NVIDIA 提供的一款软件开发工具包,用于支持开发者利用 NVIDIA GPU 进行通用并行计算。CUDA 是“Compute Unified Device Architecture”(计算统一设备架构)的缩写,它允许开发者通过编写特定代码(通常基于 C/C++ 或 Python 等语言)来利用 GPU 的强大并行计算能力。
使用 IPEX-LLM 在 Intel GPU 上运行,未设置成功,后续有条件再试。