概述：Ollama
基本介绍： Ollama
Ollama是一个支持在Windows、Linux和MacOS上本地运行大语言模型的工具。
它允许用户非常方便地运行和使用各种大语言模型,比如Qwen模型等。
用户只需一行命令就可以启动大语言模型。
主要特点
- 跨平台支持Windows、Linux、MacOS系统。
- 提供了丰富的模型库,包括Qwen、Llama等1700+大语言模型,可以在官网model library中直接下载使用。
- 支持用户上传自己的模型。
用户可以将huggingface等地方的ggml格式模型导入到ollama中使用。
也可以将基于pytorch等格式的模型转换为ggml格式后导入。
- 允许用户通过编写modelfile配置文件来自定义模型的推理参数,如temperature、top_p等,从而调节模型生成效果。
- 支持多GPU并行推理加速。
在多卡环境下,可以设置环境变量来指定特定GPU。
- 强大的技术团队支持，很多模型开源不到24小时就能获得支持。
总的来说,Ollama降低了普通开发者使用大语言模型的门槛,使得本地部署体验大模型变得简单易行。
对于想要搭建自己的AI应用,或者针对特定任务调优模型的开发者来说,是一个非常有用的工具。
它的一些特性,如允许用户自定义模型参数,对模型进行个性化适配提供了支持。
安装/部署篇
安装 on Windows
Step1 下载安装包
- download url
- https://ollama.com/download
- https://ollama.com/download/OllamaSetup.exe 【不推荐】
- https://github.com/ollama/ollama/releases/tag/v0.5.4
- https://github.com/ollama/ollama/releases/download/v0.5.4/ollama-windows-amd64.zip 【推荐/本博文】
X 参考文献
- Ollama
- https://ollama.com/
- https://github.com/ollama/ollama/tags
- https://github.com/ollama/ollama/releases/tag/v0.5.4
- https://github.com/ollama/ollama/releases/download/v0.5.4/ollama-windows-amd64.zip
- [NLP/AIGC] 基于【大语言模型(LLM)】+【检索增强生成(RAG)】+【指令微调(Fine-Tune)】技术，构建智能体的方法 - 博客园/千千寰宇 【推荐】
