Linux快速部署大语言模型LLaMa3，Web可视化j交互（Ollama+Open Web UI）

本文在个人博客同步发布，前往阅读

1 介绍

本文将介绍使用开源工具Ollama(60.6k⭐)部署LLaMa大模型，以及使用Open WebUI搭建前端Web交互界面的方法。

我们先来过一遍几个相关的概念，对这块比较熟悉的朋友可跳过。

1.1 大规模语言模型

大规模语言模型（Large Language Models, LLMs），顾名思义是指在大量语料数据的基础上训练成的模型，能够模拟人类的语言风格生成较为生动的文本。这类模型的主要特征有：

  • 规模大：训练所使用的数据量非常庞大，有时超过1000亿个参数。
  • 复杂性高：模型结构比较复杂
  • 具有较好的上下文理解能力：大规模语言模型可以理解文本的上下文和细微差别

1.2 LLaMa

LLaMA是一种大规模语言模型，由Meta AI基于Transformer深度学习框架开发。该模型旨在生成各种风格的高质量文本（例如创意写作、对话甚至诗歌），能够胜任以下工作：

  • 自然语言处理（NLP）：理解和生成自然语言。
  • 机器学习：根据数据和算法学习新的信息和技能。
  • 对话生成：可以与用户进行对话，并根据情况生成合适的回应。

1.3 Ollama

官网：Ollama

API文档：ollama/docs/api.md at main · ollama/ollama (github.com)

支持的模型列表：library

一款可以快速部署大模型的工具。

1.4 Open WebUI

官网：Open WebUI

相关介绍及源码：open-webui/open-webui: User-friendly WebUI for LLMs (Formerly Ollama WebUI) (github.com)

Open WebUI 是一个可视化的Web交互环境，它拥有清新简约的UI风格，具有可扩展、功能丰富、用户友好、自托管的特点，可以完全离线运行。它支持各种 LLM 运行程序，包括 Ollama 和 OpenAI 兼容的 API。

2 部署LLM服务

本文介绍的方法使用于Linux系统，同样适用于Windows系统的WSL（安装方法可参见我的这篇文章）。

2.1 部署Ollama

1、下载Ollama

Linux系统的安装命令如下：

curl -fsSL https://ollama.com/install.sh | sh

※此外官方还提供了macOS和Windows的下载方式。

2、下载llama3模型

ollama run llama3

※在这里可以看到该命令的相关介绍。

上述命令将自动拉取模型，并进行sha256验签。处理完毕后自动进入llama3的运行环境，可以使用中文或英文进行提问，ctrl+D退出。

3、配置服务

为使外网环境能够访问到服务，需要对HOST进行配置。

打开配置文件：vim /etc/systemd/system/ollama.service，根据情况修改变量Environment：

  • 服务器环境下：Environment="OLLAMA_HOST=0.0.0.0:11434"
  • 虚拟机环境下：Environment="OLLAMA_HOST=服务器内网IP地址:11434"

3、启动服务

启动服务的命令：ollama serve

首次启动可能会出现以下两个提示：

Couldn’t find ‘/home/用户名/.ollama/id_ed25519’. Generating new private key.

该提示表示文件系统中不存在ssh私钥文件，此时命令将自动帮我们生成该文件，并在命令行中打印相应的公钥。

Error: listen tcp 127.0.0.1:11434: bind: address already in use

看到该提示，大概率服务已在运行中，可以通过netstat -tulpn | grep 11434命令进行确认。

  • 若命令输出的最后一列包含“ollama”字样，则表示服务已启动，无需做额外处理。
  • 否则，可尝试执行下列命令重启ollama：
# ubuntu/debian
sudo apt update
sudo apt install lsof
stop ollama
lsof -i :11434
kill <PID>
ollama serve# centos
sudo yum update
sudo yum install lsof
stop ollama
lsof -i :11434
kill <PID>
ollama serve

如果您使用的是MacOS，可在🔗这里找到解决方法。

4、在外网环境验证连接

方法一：执行curl http://ip:11434命令，若返回“Ollama is running”，则表示连接正常。

方法二：在浏览器访问http://ip:11434，若页面显示文本“Ollama is running”，则表示连接正常。

2.2 Ollama常用命令

1、进入llama3运行环境：ollama run llama3

2、启动服务：ollama serve

3、重启ollama

systemctl daemon-reload
systemctl restart ollama

4、重启ollama服务

# ubuntu/debian
sudo apt update
sudo apt install lsof
stop ollama
lsof -i :11434
kill <PID>
ollama serve# centos
sudo yum update
sudo yum install lsof
stop ollama
lsof -i :11434
kill <PID>
ollama serve

5、确认服务端口状态：netstat -tulpn | grep 11434

3 部署Open WebUI

1、下载Open WebUI

Open WebUI基于docker部署，docker的安装方法可以参考这篇知乎文章。

Open WebUI既可以部署在服务端，也可以部署在客户端：

# 若部署在客户端，执行：
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main# 若部署在服务端，执行：
docker run -d -p 3000:8080 -e OLLAMA_BASE_URL=https://example.com -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

如果您的机器在国内，建议将--restart的参数值替换为ghcr.nju.edu.cn/open-webui/open-webui:main，下载速度会快非常多（见up主小杨生存日记的这篇文章）。

2、检查相关配置

下载完之后，就可以在浏览器访问了，地址为http://loacalhost:3000（客户端部署）或http://服务器ip:3000。

页面加载完成后（这个过程可能需要一些时间），新注册一个账号并登录。

登录之后，点击页面顶端的齿轮⚙图标进入设置：

  1. 侧边导航栏-General，将语言设置为中文
  2. 侧边导航栏-连接，若“Ollama 基础 URL”这一项为http://host.docker.internal:11434，则表示ollama服务正常且连接成功；如果是空的，则需要回头检查一下ollama服务了
  3. 侧边导航栏-模型，一般会自动拉取ollama服务上部署好的模型，可选模型参看官方的这篇文档
  4. 其它的项目根据需要设置即可

3、选择模型

在顶端下拉框选择好模型，就可以开始提问啦！
在这里插入图片描述

参考文章

  • macOS + Ollama + Enchanted，本地部署最新 Llama3 - 掘金 (juejin.cn)
  • 服务器部署开源大模型完整教程 Ollama+Gemma+open-webui - 哔哩哔哩 (bilibili.com)
  • Ollama管理本地开源大模型，用Open WebUI访问Ollama接口 - 知乎 (zhihu.com)

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.hqwc.cn/news/652220.html

如若内容造成侵权/违法违规/事实不符，请联系编程知识网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

YOLOv8 的安装、使用与训练

YOLOv8 的安装、使用与训练

YOLOV8 YOLOv8简介 YOLOv8是YOLO系列的最新版本&#xff0c;它融合了先进的深度学习技术和目标检测领域的最新研究成果 与其前身相比&#xff0c;YOLOv8在速度和精度方面都有了显著的提升&#xff0c;使其成为一个理想的实时目标检测解决方案。该模型结合了卷积神经网络&…
阅读更多...
身份证二要素核验介绍及使用方法

身份证二要素核验介绍及使用方法

一、身份证二要素核验简介及重要性 身份证二要素核验是一种重要的身份验证技术&#xff0c;它在现代社会中发挥着至关重要的作用&#xff0c;特别是在涉及个人信息安全和隐私保护的领域。通过身份证二要素核验&#xff0c;我们可以有效地确认个人身份的真实性&#xff0c;从而…
阅读更多...
基于spring boot的实习管理系统

基于spring boot的实习管理系统

基于spring boot的实习管理系统设计与实现 开发语言&#xff1a;Java 框架&#xff1a;springboot JDK版本&#xff1a;JDK1.8 服务器&#xff1a;tomcat7 数据库&#xff1a;mysql 5.7&#xff08;一定要5.7版本&#xff09; 数据库工具&#xff1a;Navicat11 开发软件&…
阅读更多...
SpringBoot学习之Kafka下载安装和启动【Windows版本】（三十四）

SpringBoot学习之Kafka下载安装和启动【Windows版本】（三十四）

一、配置Java环境变量 打开CMD输入java -version检查java环境变量是否配置正确，如果配置正确在CMD窗口输入java -version应该输出如下： ​ 怎么配置Java环境变量这里我就不赘叙了，网上教程很多，请读者自行搜索操作。 二、下载Kafka 1、Kafka官网地址：Apache Kafka，…
阅读更多...
5、Flink事件时间之Watermark详解

5、Flink事件时间之Watermark详解

1&#xff09;生成 Watermark 1.Watermark 策略简介 为了使用事件时间语义&#xff0c;Flink 应用程序需要知道事件时间戳对应的字段&#xff0c;即数据流中的每个元素都需要拥有可分配的事件时间戳。 通过使用 TimestampAssigner API 从元素中的某个字段去访问/提取时间戳。…
阅读更多...
设计模式学习笔记 - 开源实战五（下）：总结Mybatis中用到的10种设计模式

设计模式学习笔记 - 开源实战五（下）：总结Mybatis中用到的10种设计模式

概述 本章再对 Mybatis 用到的设计模式做一个总结。它用到的设计模式也不少。有些前面章节已经经过了&#xff0c;有些则比较简单。 SqlSessionFactoryBuilder&#xff1a;为什么要用建造者模式来创建 SqlSessionFactory&#xff1f; 在《Mybatis如何权衡易用性、性能和灵活性…
阅读更多...
机器学习之sklearn基础教程

机器学习之sklearn基础教程

ChatGPT Scikit-learn (简称sklearn) 是一个非常受欢迎的Python机器学习库。它包含了从数据预处理到训练模型的各种工具。下面是一个关于如何使用sklearn进行机器学习的基础教程。 1. 安装和导入sklearn库 首先&#xff0c;你需要安装sklearn库&#xff08;如果你还没有安装的…
阅读更多...
【嵌入式AI部署神经网络】STM32CubeIDE上部署神经网络之指纹识别（Pytorch）——篇一|环境搭建与模型初步部署篇

【嵌入式AI部署神经网络】STM32CubeIDE上部署神经网络之指纹识别（Pytorch）——篇一|环境搭建与模型初步部署篇

前言：本篇主要讲解搭建所需环境，以及基于pytorch框架在stm32cubeide上部署神经网络，部署神经网络到STM32单片机，本篇实现初步部署模型，没有加入训练集与验证集，将在第二篇加入。篇二详细讲解STM32CubeIDE上部署神经网络之指纹识别（Pytorch）的数据准备和模型训练过程等，…
阅读更多...
c++图论基础(1)

c++图论基础(1)

目录 无向图 无向图度 无向图性质 有向图 有向图度 有向图性质 图的分类&#xff1a; 稀疏图&#xff1a; 稠密图&#xff1a; 零图&#xff1a; 有向完全图&#xff1a; 无向完全图&#xff1a; 度序列&#xff1a; 图是由顶点集合(简称点集)和顶点间的边(简称边…
阅读更多...
【nodejs状态库mobx之computed规则】

【nodejs状态库mobx之computed规则】

The above example nicely demonstrates the benefits of a computed value, it acts as a caching point. Even though we change the amount, and this will trigger the total to recompute, it won’t trigger the autorun, as total will detect its output hasn’t been …
阅读更多...
目标检测——YOLOv6算法解读

目标检测——YOLOv6算法解读

论文&#xff1a;YOLOv6: A Single-Stage Object Detection Framework for Industrial Applications (2022.9.7) 作者&#xff1a;Chuyi Li, Lulu Li, Hongliang Jiang, Kaiheng Weng, Yifei Geng, Liang Li, Zaidan Ke, Qingyuan Li, Meng Cheng, Weiqiang Nie, Yiduo Li, Bo …
阅读更多...
十个案例学习Flume

十个案例学习Flume

在上一篇文章中&#xff0c;已经知道了Flume的架构、概述、与安装&#xff0c;现在我们来用十个案例去学习flume的使用。 在使用之前&#xff0c;提供一个大致思想&#xff0c;使用Flume的过程是确定scource类型&#xff0c;channel类型和sink类型&#xff0c;编写conf文件并开…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023