通过ollama安装deepseek-r1
我没有GPU服务器,安装7b版本小模型试试。
参考: https://github.com/ollama/ollama
安装ollama
# ollama默认端口11434
curl -fsSL https://ollama.com/install.sh | sh
ollama pull deepseek-r1:7b
# 查看本地模型
ollama list
ollama run deepseek-r1
修改ollama服务监听地址
-
vim /etc/systemd/system/ollama.service
, 在[Service]
部分添加以下内容:Environment="OLLAMA_HOST=0.0.0.0"
-
重新加载配置并重启服务
systemctl daemon-reload systemctl restart ollama
效果展示
Dify部署
参考: https://docs.dify.ai/zh-hans/getting-started/install-self-hosted/docker-compose
yum install -y git
git clone https://github.com/langgenius/dify.git
cd dify/docker
cp .env.example .env
docker-compose up -d
配置本地模型
设置 -> 模型供应商 -> 选择Ollama -> 添加自己的本地模型
创建知识库
创建知识库,并上传材料即可:
创建智能体
API调用
点击智能体左侧菜单中的访问API
,即可管理API密钥,并查阅API文档。