本地部署Gemma3模型
1. 拉取并运行 Ollama 容器
# 拉取 Ollama 镜像
docker pull ollama/ollama# 运行 Ollama 容器
docker run -d --gpus all -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama
2. 进入容器并部署 Gemma3 模型(默认4B版 )
# 进入 Ollama 容器
docker exec -it ollama /bin/bash# 在容器内部运行 Gemma3 模型
ollama run gemma3
3. 验证模型是否正常运行
-
在容器内部，运行以下命令与 Gemma3 模型进行交互：
ollama chat gemma3
4. 运行 Open WebUI 容器
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
5.体验
使用 Open WebUI调用gemma3:4b
显存占用情况
