如何在矩池云复现开源对话语言模型 ChatGLM

ChatGLM-6B 是一个开源的、支持中英双语的对话语言模型，基于 General Language Model (GLM) 架构，具有 62 亿参数。结合模型量化技术，用户可以在消费级的显卡上进行本地部署（INT4 量化级别下最低只需 6GB 显存）。 ChatGLM-6B 使用了和 ChatGPT 相似的技术，针对中文问答和对话进行了优化。经过约 1T 标识符的中英双语训练，辅以监督微调、反馈自助、人类反馈强化学习等技术的加持，62 亿参数的 ChatGLM-6B 已经能生成相当符合人类偏好的回答。

今天给大家分享如何在矩池云服务器复现 ChatGLM-6B，用 GPU 跑模型真是丝滑啊。

硬件要求

如果是GPU： 显存需要大于6G。

  • ChatGLM-6B 是一个开源的、支持中英双语问答的对话语言模型，基于 General Language Model (GLM) 架构，具有 62 亿参数。结合模型量化技术，用户可以在消费级的显卡上进行本地部署（INT4 量化级别下最低只需 6GB 显存）。ChatGLM-6B 使用了和 ChatGLM 相同的技术，针对中文问答和对话进行了优化。经过约 1T 标识符的中英双语训练，辅以监督微调、反馈自助、人类反馈强化学习等技术的加持，62 亿参数的 ChatGLM-6B 已经能生成相当符合人类偏好的回答。
  • ChatGLM-6B-INT8 是 ChatGLM-6B 量化后的模型权重。具体的，ChatGLM-6B-INT8 对 ChatGLM-6B 中的 28 个 GLM Block 进行了 INT8 量化，没有对 Embedding 和 LM Head 进行量化。量化后的模型理论上 8G 显存（使用 CPU 即内存）即可推理，具有在嵌入式设备（如树莓派）上运行的可能。
  • ChatGLM-6B-INT4 是 ChatGLM-6B 量化后的模型权重。具体的，ChatGLM-6B-INT4 对 ChatGLM-6B 中的 28 个 GLM Block 进行了 INT4 量化，没有对 Embedding 和 LM Head 进行量化。量化后的模型理论上 6G 显存（使用 CPU 即内存）即可推理，具有在嵌入式设备（如树莓派）上运行的可能。

如果是CPU： 内存需要大于32G。

云服务器配置

如果你自己没有显卡，或者电脑运行内存不怎么办？很简单，租一个云电脑就可以了，今天将教大家如何在矩池云上复现 ChatGLM。

以下步骤需要在电脑上操作，手机屏幕太小不好操作！

注册账号

直接在矩池云官网进行注册，注册完成后可以关注矩池云公众号可以获得体验金，可租用机器进行测试配置。

上传模型文件

由于 Huggingface 下载不稳定，建议大家本地先下载好相关模型文件。

  • FP16 无量化模型下载地址：https://huggingface.co/THUDM/chatglm-6b
  • INT8 模型下载地址：https://huggingface.co/THUDM/chatglm-6b-int8
  • INT 4模型下载地址：https://huggingface.co/THUDM/chatglm-6b-int4

本地下载方法：

  • 安装 git
  • 安装 git lfs: 直接官网下载安装包安装即可 https://git-lfs.com/
  • 使用 git lfs 下载
# 初始化
git lfs install
# 下载
git clone https://huggingface.co/THUDM/chatglm-6b-int4

大家本地下载好后，上传到云平台网盘（可离线上传不花钱）。

  • 方法1: 直接通过矩池云网盘上传 https://matpool.com/user/matbox

不用租用机器传数据
上传后如果空间不够，需要进行扩容。

  • 方法2: 租用机器后，通过 scp 上传数据

需要花钱开机传数据，每次租用都得上传，不方便。

比如你租用机器后显示 ssh 链接为：ssh -p 26378 root@matpool.com

本地打开CMD/PowerShell/终端，输入下面指令进行数据传输：

scp -r -P 26378 本地文件/文件夹路径 root@matpool.com:/home

这样数据会上传到租用机器的 /home 目录下。

租用机器

在矩池云主机市场：https://matpool.com/host-market/gpu，如果复现 FP16无量化模型，至少需要选择 A4000 显卡；如果复现 INT4或者INT8模型，至少需要选择 A2000 显卡。 然后点击租用按钮。（你选其他显卡也行）

租用页面，搜索 pytorch1.11，选择这个镜像，我就是用这个镜像复现的 ChatGLM-6B。

选择镜像后在高级选项里添加一个 8000 端口，后面部署 Web 服务用。

机器租用成功后点击 Jupyterlab 点击打开，即可快速打开 Jupyterlab，开始运行代码了。

环境配置+代码运行

在自己电脑配置进行的安装 miniconda和安装 Python3.9以及安装Nvidia驱动+Cuda都不用操作，因为矩池云已经帮我们配置好了。

1> Clone项目代码

你也可以自己 clone 代码，代码我们存到 /home 下。

cd /home
git clone https://ghproxy.com/https://github.com/THUDM/ChatGLM-6B.git

项目目录结构：

.
├── PROJECT.md            
├── README.md
├── README_en.md
├── api.py                # 应用层：GLMAPI 版本
├── cli_demo.py           # 应用层：GLMCLI 版本
├── examples
├── limitations
├── ptuning
├── requirements.txt      # 依赖：项目Python依赖
├── resources
├── utils.py
├── web_demo.py           # 应用层：GLMWEB 版本
├── web_demo2.py          # 应用层：GLMWEB2 版本
└── web_demo_old.py       # 应用层：GLMWEB3 版本

2> 安装项目依赖包

# 进入项目目录
cd ChatGLM-6B
# 安装依赖
pip install -r requirements.txt

3> 下载模型文件

在最开始你应该就已经下载好模型，并把相关文件上传到服务器了。

将网盘模型文件夹复制到项目文件夹下，按以下操作创建：

mkdir /home/ChatGLM-6B/THUDM
cd /home/ChatGLM-6B/THUDM
# 将网盘下的 chatglm-6b-int4 模型文件夹复制到当前目录（/home/ChatGLM-6B/THUDM）
cp -r /mnt/chatglm-6b-int4 ./

测试运行

在 /home/ChatGLM-6B 下新建一个 notebook,

  • 测试运行
from transformers import AutoTokenizer, AutoModel
tokenizer = AutoTokenizer.from_pretrained("THUDM/chatglm-6b-int4", trust_remote_code=True)
# CPU
model = AutoModel.from_pretrained("THUDM/chatglm-6b-int4", trust_remote_code=True).float()# GPU
# model = AutoModel.from_pretrained("THUDM/chatglm-6b-int4", trust_remote_code=True).half().cuda()model = model.eval()response, history = model.chat(tokenizer, "你好, 自我介绍下，我可以用你做什么", history=[])
print(response)

首先会检查模型是否正确～

简单问个问题，2-3s 可以出答案：

response, history = model.chat(tokenizer, "Python写一个Excel表合并脚本", history=[])
print(response)

问代码的话运行稍微慢点～得10-20s左右。

GPU使用情况：

response, history = model.chat(tokenizer, "我现在有个csv数据表, 表头是：用户手机号	上次登录时间	超出空间，需要统计指定日期前登录用户超出空间总和，并打印这些用户手机号；另外还需要统计超出指定容量用户的总超出空间数，并打印这些用户手机号，使用python pandas 实现，假设数据文件为：123.csv", history=[])
print(response)

对于复杂问题，等待时间更长40s左右，回复的代码里参数命名竟然还有中文！！！

  • GLMCLI 版本 运行
# 进入项目目录
cd /home/ChatGLM-6B
# 启动脚本
python cli_demo.py

效果如图所示：

  • GLMAPI 版本 运行
# 进入项目目录
cd /home/ChatGLM-6B
# 启动脚本
python api.py

启动成功后，服务在 8000 端口，你需要发送POST请求。前面租用机器我们自定义了 8000 端口，在租用页面可以获得对应的公网链接：

比如：https://hz.xxxx.com:xxxx/?token=xxxxx

需要注意，实际我们请求不需要 token，所以直接用：https://hz.xxxx.com:xxxx 这段即可。

curl请求：

curl -X POST "https://hz.xxxx.com:xxxx" \-H 'Content-Type: application/json' \-d '{"prompt": "你好", "history": []}'

Python请求：

import requests
import json
def getGLM(prompt, history):'''curl -X POST "https://hz.xxxx.com:xxxx" \-H 'Content-Type: application/json' \-d '{"prompt": "你好", "history": []}''''url = 'https://hz.xxxx.com:xxxx'# 设置请求头headers = {'Content-Type': 'application/json'}data = {'prompt': prompt,'history': history}# 发送请求并获取响应response = requests.post(url, headers=headers, data=json.dumps(data))# 检查响应状态码if response.status_code == 200:# 获取响应数据rsp = response.json()return rspelse:print('请求失败，状态码：', response.status_code)# 测试请求
history=[]
prompt = "假设你是一位Python高手，请用Python Pandas 模块实现一个Excel文件批量合并脚本"
getGLM(prompt, history)

和服务器上直接请求速度差不多，30s左右。

  • GLMWEB3 版本 运行
# 进入项目目录
cd /home/ChatGLM-6B
# 安装依赖
pip install streamlit streamlit_chat
# 启动脚本
streamlit run web_demo2.py --server.port 8000 --server.address 0.0.0.0

运行后服务会启动到 8000端口，host 设置成0.0.0.0，这样我们访问租用页面 8000 端口链接即可访问到对应服务了。

前面租用机器我们自定义了 8000 端口，在租用页面可以获得对应的公网链接：

比如：https://hz.xxxx.com:xxxx/?token=xxxxx

需要注意，实际我们请求不需要 token，所以直接用：https://hz.xxxx.com:xxxx 这段即可。

这个第一次运行可能比较慢，它是提问的时候才开始加载检查模型。

说实话，这个问题的回答有点出乎意料，给了一个用 pygame 写的猜数游戏，一般都会回复那种 cmd 版本。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.hqwc.cn/news/1867.html

如若内容造成侵权/违法违规/事实不符，请联系编程知识网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

python GUI工具之PyQt5模块，pyCharm 配置PyQt5可视化窗口

python GUI工具之PyQt5模块，pyCharm 配置PyQt5可视化窗口

https://doc.qt.io/qt-5/qtwidgets-module.html https://doc.qt.io/qt-5/qt.html#AlignmentFlag-enum 一、简介 PyQt是Qt框架的Python语言实现，由Riverbank Computing开发，是最强大的GUI库之一。PyQt提供了一个设计良好的窗口控件集合，每一…
阅读更多...
物联网应用中的 Wi-Fi 6

物联网应用中的 Wi-Fi 6

近年来，设备智联在我们的日常生活中越来越常见。从智能家居设备到工业自动化系统，物联网技术正在改变我们与世界交互的方式。随着物联网设备的不断增多，对可靠、高容量和低功耗无线连接的需求变得尤为迫切。这就是 Wi-Fi 6（即 802…
阅读更多...
八、云尚办公系统-管理端-审批设置

八、云尚办公系统-管理端-审批设置

云尚办公系统：管理端-审批设置 B站直达【为尚硅谷点赞】: https://www.bilibili.com/video/BV1Ya411S7aT 本博文以课程相关为主发布，并且融入了自己的一些看法以及对学习过程中遇见的问题给出相关的解决方法。一起学习一起进步！！…
阅读更多...
【前端工程化】深入浅出vite（一）--vite的优点及原理、性能优化

【前端工程化】深入浅出vite（一）--vite的优点及原理、性能优化

Vite 需要 Node.js 版本 14.18，16。然而，有些模板需要依赖更高的 Node 版本才能正常运行，当你的包管理器发出警告时，请注意升级你的 Node 版本。 背景 webpack支持多种模块化，将不同模块的依赖关系构建成依赖图来进行…
阅读更多...
解决IDEA连接数据库后，xml中写SQL语句不提醒数据库表字段问题

解决IDEA连接数据库后，xml中写SQL语句不提醒数据库表字段问题

有时候我们新建了一个项目，或者新建了一个工程，明明为此项目或者工程连接了数据库，并且一切正确，但是在xml中书写SQL语句就是不提示数据库表中的相关字段，无论是表名也好，还是字段名也好，通通不…
阅读更多...
计网之基础篇

计网之基础篇

因特网协议概述 常用协议应用层HTTP（超文本传输协议）、FTP（文件传输协议）、SMTP（简单邮件传输协议）、DNS（域名系统）、DHCP（动态主机配置协议）、SNMP&#xff…
阅读更多...
Learn Mongodb了解DB数据库 ④

Learn Mongodb了解DB数据库 ④

作者 : SYFStrive 博客首页 : HomePage 📜： PHP MYSQL 📌：个人社区（欢迎大佬们加入） 👉：社区链接🔗 📌：觉得文章不错可以点点关注 &#x1f44…
阅读更多...
openlayers：圆孔相机根据卫星经度、纬度、高度、半径比例推算绘制地面的拍摄的区域

openlayers：圆孔相机根据卫星经度、纬度、高度、半径比例推算绘制地面的拍摄的区域

本示例的目的是介绍演示如何在vue+openlayers中模拟圆孔相机的拍摄场景，根据卫星经度、纬度、高度、半径比例推算绘制地面的拍摄的区域。 直接复制下面的 vue+openlayers源代码，操作2分钟即可运行实现效果； 注意如果OpenStreetMap无法加载，请加载其他来练习 文章目录 示…
阅读更多...
【MySQL数据库】MySQL 高级SQL 语句一

【MySQL数据库】MySQL 高级SQL 语句一

[TOC](MySQL 高级SQL 语句 一、MySQL 高级SQL 语句1.1select -显示表格中一个或数个字段的所有数据记录1.2distinct不显示重复的数据记录1.3where有条件查询1.4and、or且 或1.5in 显示已知的值的数据记录1.6between 显示两个值范围内的数据记录1.7通配符，通常通配符…
阅读更多...
工业读码器的选择和使用注意事项有哪些？

工业读码器的选择和使用注意事项有哪些？

工业读码器是一种能够读取条形码、二维码等信息的设备，广泛应用于物流、生产制造、零售等行业。如何选择和使用工业读码器呢?下面是一些注意事项。 选择工业读码器 要根据应用场景选择合适的读码器类型，如手持式、固定式、手动旋转式等。 要考虑读取码的…
阅读更多...
文件批量下载方法 文件批量下载工具

文件批量下载方法 文件批量下载工具

软件版本：Internet Download Manager 在当今数字化时代，我们日常使用电脑进行各种工作和娱乐活动。有时候，我们需要从互联网上下载大量文件，例如电影、音乐、文档等。在这种情况下，手动逐个下载文件将变得繁琐而耗时。…
阅读更多...
优化--分类树，我从2s优化到0.1s

优化--分类树，我从2s优化到0.1s

1.前言 分类树查询功能，在各个业务系统中可以说随处可见，特别是在电商系统中。 但就是这样一个简单的分类树查询功能，我们却优化了5次。 到底是怎么回事呢？ 2.背景 我们的网站使用了SpringBoot推荐的模板引擎：Thym…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023