Llama3-8B+ LLaMA-Factory 中文微调

Llama3-8B+ LLaMA-Factory 中文微调

Llama3是目前开源大模型中最优秀的模型之一,但是原生的Llama3模型训练的中文语料占比非常低,因此在中文的表现方便略微欠佳!

本教程就以Llama3-8B-Instruct开源模型为模型基座,通过开源程序LLaMA-Factory来进行中文的微调,提高Llama3的中文能力!LLaMA-Factory是一个开源的模型训练工具

Llama3-8B-Instruct模型下载地址:

魔搭社区(境内):https://modelscope.cn/models/LLM-Research/Meta-Llama-3-8B-Instruct/files

huggingface(境外):https://huggingface.co/meta-llama/Meta-Llama-3-8B-Instruct/tree/main

LLaMA-Factory项目地址:https://github.com/hiyouga/LLaMA-Factory

下载模型

中国大陆境内可以通过魔搭社区下载模型,境外可以在huggingface上去下载模型!

从魔搭社区下载

点击“下载模型”

Llama3-8B-Instruct + LLaMA-Factory 中文微调 | 本地部署教程

复制git链接

git clone https://www.modelscope.cn/LLM-Research/Meta-Llama-3-8B-Instruct.git

Llama3-8B-Instruct + LLaMA-Factory 中文微调 | 本地部署教程

在模型存放的文件空白处点击鼠标右键,选择“Git Bash Here”,会打开一个git命令窗口

Llama3-8B-Instruct + LLaMA-Factory 中文微调 | 本地部署教程

将刚刚复制的模型地址粘贴到git命令窗口,回车,即可进入到下载过程!

Llama3-8B-Instruct + LLaMA-Factory 中文微调 | 本地部署教程

模型比较大,需要耐心等待模型下载完成!

从Huggingface下载

如果是中国大陆境外的朋友,可以从huggingface进行下载!方法与魔搭社区下载方法类似!

Llama3-8B-Instruct + LLaMA-Factory 中文微调 | 本地部署教程

如果是第一次从huggingface通过命令下载模型,可以先运行下面的命令安装 git-lfs

git lfs install

然后再复制模型的git链接

git clone https://huggingface.co/meta-llama/Meta-Llama-3-8B-Instruct

Llama3-8B-Instruct + LLaMA-Factory 中文微调 | 本地部署教程

在文件夹中的下载步骤与魔搭社区的步骤一样,都是通过git命令窗口来进行下载!

安装LLaMA-Factory

克隆项目到本地

首先访问LLaMA-Factory项目的GitHub主页,点击绿色的“Code”下拉按钮,点击“复制”按钮复制项目链接!

git clone https://github.com/hiyouga/LLaMA-Factory.git

Llama3-8B-Instruct + LLaMA-Factory 中文微调 | 本地部署教程

在文件夹空白处点击鼠标右键,选择“Git Bash Here”,打开一个git窗口

Llama3-8B-Instruct + LLaMA-Factory 中文微调 | 本地部署教程

输入刚刚复制的git链接,回车,将项目克隆到本地文件夹

Llama3-8B-Instruct + LLaMA-Factory 中文微调 | 本地部署教程

新建虚拟环境

进入到刚刚下载的项目文件夹中,在路径栏输入“cmd”,打开一个新的cmd命令窗口

Llama3-8B-Instruct + LLaMA-Factory 中文微调 | 本地部署教程

在cmd命令窗口输入下面的命令,新建一个虚拟环境

conda create -n llama_factory python=3.10 -y

Llama3-8B-Instruct + LLaMA-Factory 中文微调 | 本地部署教程

输入如下命令,激活该虚拟环境!

conda activate llama_factory

Llama3-8B-Instruct + LLaMA-Factory 中文微调 | 本地部署教程

当命令输入行前面是一个括号包括的虚拟环境名称的时候,就表示已经进入到了该新建的虚拟环境中了!

安装项目依赖

继续在虚拟环境中运行下面的命令,安装各种项目依赖!

pip install -e .[metrics,modelscope,qwen]

Llama3-8B-Instruct + LLaMA-Factory 中文微调 | 本地部署教程

pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121

Llama3-8B-Instruct + LLaMA-Factory 中文微调 | 本地部署教程

因为安装的有点多,所以还是比较慢的

image-20240423113338896

pip install https://github.com/jllllll/bitsandbytes-windows-webui/releases/download/wheels/bitsandbytes-0.41.2.post2-py3-none-win_amd64.whl

Llama3-8B-Instruct + LLaMA-Factory 中文微调 | 本地部署教程

安装tensorboard

pip install tensorboard

设置环境变量

Set USE MODELSCOPE HUB=1

到这一步,LLaMA-Factory项目的安装就基本上完成了!

运行LLaMA-Factory

输入下面的命令,会自动打开一个web页面

python src/train_web.py

Llama3-8B-Instruct + LLaMA-Factory 中文微调 | 本地部署教程

下面就是web页面初始的样子

Llama3-8B-Instruct + LLaMA-Factory 中文微调 | 本地部署教程

我们先可以设置一下,设置成中文,当然也可以不设置

image-20240423131113826

微调Meta-Llama-3-8B-Instruct模型

微调模型

在“Model name”中选择“LLaMA3-8B”,将“Model path”中的路径修改为你本地存放Meta-Llama-3-8B-Instruct文件夹的路径!

image-20240423131545498

切换到“Chat”选项卡,点击“Load model”

image-20240423131608634

刚开始会提示模型正在加载

image-20240423131641356

稍等片刻,系统就会提示“Model loaded,now you can chat with your model!”

此时,当我们用中文询问大模型问题的时候,出现英文回复的几率会比较高!(但不是绝对,毕竟Meta-Llama-3-8B-Instruct模型训练的时候也有部分中文语料)

image-20240423135337491

下面,我们将开始进行模型的微调,将选项卡从“Chat”,切换回“Train”

在“Dataset”中,选择若干个“_zh”结尾的数据集,为了节约显存“Cutoff length”可以修改为“512”,其他参数可以参照如下的截图!

点击“Start”将进入到模型微调的进程中!

Llama3-8B-Instruct + LLaMA-Factory 中文微调 | 本地部署教程

训练的时间会比较长,像本人的3090 24G显卡,下面显示的时间是14个多小时!

选择了数据集后,我们也可以点击旁边的预览功能,从而预览数据

image-20240423135515793

如果中途像终止退出的话,点击“Abort”

Llama3-8B-Instruct + LLaMA-Factory 中文微调 | 本地部署教程

导出模型

1.微调训练结束之后,点击“Export”选项卡,切换到导出功能区!

2.点击“Refresh adapters”按钮,刷新lora模型,在左侧的下拉列表中选择刚刚训练好的模型!

3.在“Max shard size(GB)”中设置好每个拆分模型的最大size,案例中我设置为5;

4.在“Export dir”中设置模型保存的路径;

5.点击“Export”按钮,开始导出模型(需要点时间等待);

Llama3-8B-Instruct + LLaMA-Factory 中文微调 | 本地部署教程

模型导出完成之后,你就可以在前面指定的路径中看到微调后的新模型了!使用方法与其他模型一样!

Llama3-8B-Instruct + LLaMA-Factory 中文微调 | 本地部署教程

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/641780.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

假设检验分析方法

目录 1.什么是假设检验分析方法 2.作用 3.使用 1.什么是假设检验分析方法 在数据分析中,假设检验是一种统计方法,用于确定样本数据是否支持对总体参数的某种假设。此法在数据分析中被广泛应用,可以帮助研究人员进行科学的推断和决策&#…

Win10下VS2015无法添加任何文件,提示未能加载文件或程序集“Microsoft.VisualStudio.JSLS...

错误:未能加载文件或程序集“Microsoft.VisualStudio.JSLS, Version14.0.0.0, Cultureneutral, PublicKeyTokenb03f5f7f11d50a3a”或它的某一个依赖项。系统找不到指定的文件。 解决: 1. 管理员身份打开cmd 2. cd C:\Program Files (x86)\Microsoft Vis…

Python可视化-matplotlib用法详解(三)

一、子图绘制 # 上节课复习 import pandas as pd import matplotlib.pyplot as plt s../../data/unrate.csvunrate pd.read_csv(s) unrate[DATE] pd.to_datetime(unrate[DATE]) first_twelve unrate[0:12] first_twelveDATEVALUE01948-01-013.411948-02-013.821948-03-014.…

数控6面钻的优缺点

在木工、家具制造和建筑行业中,数控6面钻已成为一种革命性的工具。这种先进的机器以其高效、精准和多功能性受到了广大制造商的青睐。然而,就像任何技术产品一样,数控6面钻也有其优缺点。在本文中,我们将深入探讨数控6面钻的优缺点…

sdwan最低需要多少带宽?SD-WAN带宽配置及应用分析

SD-WAN企业网络连接技术(软件定义广域网)带来更高效、更可靠的网络性能。合理配置带宽对于企业申请SD-WAN线路至关重要。 一、SD-WAN最低带宽要求 SD-WAN的带宽需求与企业的具体情况有关,但一般推荐的最低带宽需求为2Mbps。然而,这只是一个起点&#x…

SAM5808B 法国追梦DREAM 音频DSP芯

法国追梦/DERAM SAM5504/5704/5716/5808音频DSP芯片,开发板,方案 可用于电子鼓、电子琴、电吉他、效果器、均衡器、啸叫抑制器等电声产品领域 一、全系列芯片: SAM2634 SAM2695 SAM5504B SAM5704B SAM5708B SAM5808B SAM5716B SAM5916B... 二…

【前端】vue的基础知识及开发指引

提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档 文章目录 前言一、Vue是什么二、学习 Vue.js 的基础知识三、熟悉 Vue.js 的生态系统四、掌握常用工具和库五、实践和项目开发六、 持续学习和跟进 前言 随着开发语言及人工智…

Docker NetWork (网络)

Docker 为什么需要网络管理 容器的网络默认与宿主机及其他容器都是相互隔离的,但同时我们也要考虑下面的一些问题, 比如 多个容器之间是如何通信的容器和宿主机是如何通信的容器和外界主机是如何通信的容器中要运行一些网络应用(如 nginx、web 应用、数…

基于SpringBoot的“人职匹配推荐系统”的设计与实现(源码+数据库+文档+PPT)_2024-04-1

基于SpringBoot的“人职匹配推荐系统”的设计与实现(源码数据库文档PPT) 开发语言:Java 数据库:MySQL 技术:SpringBoot 工具:IDEA/Ecilpse、Navicat、Maven 系统展示 系统功能结构图 应聘信息管理界面图 应聘状况…

BTP连接cloud connector中配置的SAP

登录地址 登录之后可以看到我们已经配置成功的后端系统SAP。 从cloud connector中获取location ID ,然后在BTP中配置Destination 选择目标标签页,点击‘新建目标’,如下图: 新建连接 暂时不知道错误原因 创建目标-HTTP  新建目标&…

mp4转3gp怎么转?只需3步~

3gp文件格式最初是为移动电话设计的,旨在降低视频文件的大小以适应移动设备的有限存储空间和带宽。这一格式的产生背景与移动通信技术的发展紧密相连,通过对视频进行高效的压缩,使用户可以在手机上轻松观看视频,满足了当时的需求。…

推荐一个在线stable-diffusion-webui,通过文字生成动画视频的网站-Ai白日梦

推荐一个可以通过文字生成动画视频的网站,目前网站处于公测中,应该是免费的。 点击新建作品 使用kimi或者gpt生成一个故事脚本 输入故事正文 新建作品,选择风格 我这里显示了六个风格,可以根据自己需要选一个 选择配音&…