大模型本地部署搭建【ollama + deepseek + dify】

大模型本地部署搭建【在线】

一、ollama的下载、安装、配置

ollama是管理和运行所有开源大模型的平台

下载地址：https://ollama.com/download

或github下载：https://github.com/ollama/ollama/releases/tag/v0.5.7

测试安装成功

1. win +R 输入cmd打开命令行
2. 输入 ollama 命令
3. 使用ollama list命令查看有哪些大模型可以使用。

ollama系统配置【建议改完后重启下】

1、打开环境变量配置界面

2、在用户变量中添加两个变量

• OLLAMA_HOST ：0.0.0.0:11434 【用于本机访问，知识库是运行在一个虚拟机docker中的，需要一个穿透】
• OLLAMA_MODELS ：F:\OllamaModels 【大模型默认下载在C盘，修改大模型保存地址！】

使用ollama下载大模型

1、打开cmd命令行，将官网中的命令复制到其中运行，例如：

ollama run deepseek-r1:1.5b 这个命令是直接运行的，推出需要使用/bye命令

2、使用ollama list命令查看刚刚下载好的大模型

二、安装、搭建知识库软件

知识库软件有很多，功能大同小异，有细微的差别，根据需求使用，例如 dify、ragflow、openwebui等等

安装Docker-desktop

• 下载安装docker 桌面版

  • 下载地址：https://www.docker.com/products/docker-desktop/

• 安装过程一路下一步即可，打开cmd命令行输入docker检测是否安装

• 修改docker国内镜像

  • 打开docker软件 -> 不用登录 -> 左上角设置 -> Docker Engine

    • {"builder": {"gc": {"defaultKeepStorage": "20GB","enabled": true}},"experimental": false,"registry-mirrors": ["https://hub.rat.dev"]
      }
      

使用git克隆仓库

• 选择一个目录，不要有中文

• 执行克隆命令：

  git clone https://github.com/langgenius/dify.git
cd dify/docker

• 配置环境变量

  copy .env.example .env

• docker compose方式启动

  docker compose -f docker-compose.yaml up -d

• 关闭命令

  docker compose stop

三、dify页面

docker运行后，在浏览器中输入localhost/install使用