ChatGLM2-6B 大语言模型本地搭建

ChatGLM模型介绍:

ChatGLM2-6B 是清华 NLP 团队于不久前发布的中英双语对话模型,它具备了强大的问答和对话功能。拥有最大32K上下文,并且在授权后可免费商用!

ChatGLM2-6B的6B代表了训练参数量为60亿,同时运用了模型量化技术,意味着用户可以在消费级的显卡上进行本地部署(INT4 量化级别下最低只需 6GB 显存)

详细介绍(官方git:https://github.com/thudm/chatglm2-6b ):

环境安装

虚拟环境创建:

查看地虚拟环境

conda env list

创建虚拟环境

conda create -n ChatGLM2-6B

激活虚拟环境

conda activate ChatGLM2-6B

下载本仓库:

git clone https://github.com/THUDM/ChatGLM2-6B# 进入目录
cd ChatGLM2-6B

安装依赖

pip install -r requirements.txt

下载模型

从 Hugging Face Hub 下载模型需要先安装Git LF

安装Git LF

curl -s https://packagecloud.io/install/repositories/github/git-lfs/script.deb.sh | sudo bash
sudo apt-get install git-lfs
# 验证安装成功
git lfs install# 如果出现: Git LFS initialized.  则说明成功

git clone https://huggingface.co/THUDM/chatglm2-6b


模型下载失败### 国内镜像地址git clone https://hf-mirror.com/THUDM/chatglm2-6b

在这里插入图片描述

下载模型时间较长,如下载失败可尝试手动下载模型
### 手动下载模型
AI快站
https://aifasthub.com/models/THUDM

手动下载以下模模文件
在这里插入图片描述

wget https://aifasthub.com/models/THUDM/chatglm-6b/pytorch_model-00001-of-00008.bin

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/336051.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

2024年【R2移动式压力容器充装】考试资料及R2移动式压力容器充装理论考试

题库来源:安全生产模拟考试一点通公众号小程序 R2移动式压力容器充装考试资料根据新R2移动式压力容器充装考试大纲要求,安全生产模拟考试一点通将R2移动式压力容器充装模拟考试试题进行汇编,组成一套R2移动式压力容器充装全真模拟考试试题&a…

AI论文润色平台一览,让你的论文更加流畅易懂!

之前其实比较犹豫,是否应该整理一篇关于可辅助论文写作的在线平台的文章。因为论文这个事情,更重要的是要有个人的思考,要亲自动手写,这涉及到诚信的问题。然而,通过AI直接生成的论文可能很难通过查重和AI检测&#xf…

二、MyBatis 基本使用

本章概要 向SQL语句传参数据输入 Mybatis总体机制概括概念说明单个简单类型参数实体类类型参数零散的简单类型数据Map类型参数 数据输出 输出概述单个简单类型返回实体类对象返回Map类型返回List类型返回主键值实体类属性和数据库字段对应关系 CRUD强化练习mapperXML标签总结 …

4.MapReduce 序列化

目录 概述序列化序列化反序例化java自带的两种Serializable非Serializable hadoop序例化实践 分片/InputFormat & InputSplit日志 结束 概述 序列化是分布式计算中很重要的一环境,好的序列化方式,可以大大减少分布式计算中,网络传输的数…

深度学习在交通标志识别中的应用

深度学习在交通标志识别中的应用 深度学习在交通标志识别中的应用1. 交通标志识别的背景2. CNN在交通标志识别中的应用3. 数据集准备4. 模型训练与优化5. 模型评估与部署结语 深度学习在交通标志识别中的应用 交通标志是道路上的重要元素,它们提供了关键的信息&…

Pandas使用简介

Pandas相关题目 【Python】—— Pandas 初体验(一) 【Python】—— Pandas 初体验(二) 【Python】—— pandas 数据分析 【Python】—— pandas数据处理 Pandas是基于Numpy构建的、开源的Python数据分析工具包,借助高效…

超市商品管理系统设计 C++实现

超市商品管理系统设计—C实现 文章目录 超市商品管理系统设计---C实现一、内容要求大纲图 二、源代码(包含大量注释)1、main.cpp文件2、supermarket.h文件3、supermarket.cpp文件4、administrator.h文件5、administrator.cpp文件6、user.h文件7、user.cp…

代理API如此强大,每个Web开发人员都应该掌握它!

80%的Web开发者都不知道的代理API的8个主要使用场景! Proxy API 非常强大,非常有用。在这篇文章中,我将介绍它的 8 种使用场景。 ​在日常工作中,相信很多开发者都使用过Web调试代理工具,比如Fiddler或者Charles&…

【JAVA】怎么确保一个集合不能被修改

🍎个人博客:个人主页 🏆个人专栏: JAVA ⛳️ 功不唐捐,玉汝于成 目录 前言 正文 示例: 不可修改的List: 不可修改的Set: 不可修改的Map: 结语 我的其他博…

2024年全国教资笔试报名流程(建议电脑报名),看看有啥新要求?

一.报名、考试时间节点 1.笔试报名时间: 2024年1月12日-15日 2.笔试考试时间:2024年3月9日 3.笔试成绩查询时间:2024年4月15日 4.面试报名时间:2024年4月15日 5.面试考试时间:2024年5月18日 6.面试成绩查询时间:2024年6月14日 二.笔试报名流程: 登陆→考生注册 →填报个…

送货单打印要用什么打印机和软件

在打印送货单时,打印机和软件的选择都是非常重要的。根据需求,可以选择喷墨打印机、激光打印机或针式打印机等类型,而软件我们可以选择专业的送货单打印软件,例如:方可销售送货单软件(推荐)就是…

使用串口 DMA 模式接收不定长数据

一、简介 曾经遇到客户有一个需求,需要用串口 DMA 的方式接收不定长度的数据,DMA 有个缺点就是在每次传输前需要设定好传输的字节长度,这种方式显然对于接收不定长度的数据来说没有那么灵活。但 DMA 也有着显著的优点,如可直接访…