使用ollama部署本地大模型

安装docker与docker-compose

安装ollama与anythingllm

docker-compose.yml

version: "3"services:ollama:image: ollama/ollamacontainer_name: ollamavolumes:- .ollama:/root/.ollamaports:- 11434:11434anythingllm:image: mintplexlabs/anythingllmcontainer_name: anythingllmports:- 3001:3001

运行docker-compose up -d启动两个容器

下载与运行大模型

进入ollama容器内
docker exec -it ollama /bin/bash

下载并运行大模型（以下二选一即可）
ollama run llamafamily/llama3-chinese-8b-instruct

llama3 8B中文微调模型(https://github.com/LlamaFamily/Llama-Chinese)

ollama run qwen

通义千问

待fun命令执行完成后，即可在命令行进行问答测试

AnythingLLM配置

打开http://localhost:3001进入AnythingLLM页面，参考下图进行配置

• 模型服务商: ollama
• Ollama Base URL: http://ollama:11434
• Chat Model Selection: 选择前面安装的llama3或者qwen模型
• Token context window: 默认的4096
  
  后续操作按照提示一直下一步

知识库上传

进入Chat界面之后，可以配置不同的工作区（可以设置不同工作区使用不同的大模型）；
工作区设置中可以上传本地的知识库文件