0. 引言

Ollama 终于可以在 Windows 上运行了，一直以来都是 “Coming soon”。

运行 Mixtral 8*7B 试了一下，推理速度和推理效果都很不错。

而且模型的下载速度也很快，我用的联通1000M网络，大概90M~150M/s波动。

1. 下载 Ollma 安装文件

访问 https://ollama.com/download，选择 Windows，单击 “Download for Windows (Preview)” 进行下载。

2. 安装 Ollama

双击下载的 “OllamaSetup.exe”，直接安装就可以了。

3. 使用 Ollama

访问 https://ollama.com/library，搜索你要使用的模型，主流的模型，比如 llama2、qwen1.5、mixtral 等，Ollama都支持。

下面以允许 qwen 为例，我们要运行 7b 的模型，

拷贝上面红框的命令并运行，

ollama run qwen:7b

问一个问题试试，

4. (可选)环境变量

Ollama 下载的模型模型保存在 C 盘，如果想更改默认路径的话，可以通过设置 OLLAMA_MODELS 进行修改。

• OLLAMA_MODELS：F:\OllamaCache

还有，Ollama 默认提供 OpenAI 的兼容 API，默认端口是 11434，默认只可以通过 localhost 进行访问，如果想公开访问的话，可以通过设置 OLLAMA_HOST 进行修改。

• OLLAMA_HOST：0.0.0.0

5. (可选)修改默认模型

Ollama 默认提供 OpenAI 的兼容 API，默认端口是 11434，默认模型名是 run 后面使用的模型名，如果想使用 OpenAI 的模型名，可以通过ollama cp的方式，为模型起一个临时的名称。

例如，

ollama cp mixtral:8x7b-instruct-v0.1-fp16 gpt-4
ollama run gpt-4

refer: https://github.com/ollama/ollama/blob/main/docs/openai.md

完结！