上海人工智能实验室的书生·浦语大模型学习笔记（第二期第四课—

上海人工智能实验室的书生·浦语大模型学习笔记（第二期第四课——上篇）

书生·浦语是上海人工智能实验室和商汤科技联合研发的一款大模型，这次有机会参与试用，特记录每日学习情况。

今天就ddl，但这次学习的内容太多，需要很长时间去消化，要抓紧最后时间，不然来不及了

这次记录的是学习Finetune。

一、什么是Finetune

Finetune中文译为“微调”，深度学习中需要在深层网络中不断进行训练更新模型的参数（权重）拟合能实现预期结果的模型。“微调”的原理就是利用已知的网络结构和已知的网络参数，修改output层为我们自己的层，微调最后一层前的若干层的参数，这样就有效利用了深度神经网络强大的泛化能力，又免去了设计复杂的模型以及耗时良久的训练，所以fine tuning是当数据量不足时的一个比较合适的选择。

我们也可以这么理解fine-tune：我们的目标是使预测损失最小化，在各个参数展开的空间内找到最优的点（或者是靠近最优点的点），如果从开始找，当然比较慢；但是从之前已经训练好的其他类似模型开始，就相当于在最优点附近的点开始，自然收敛的速度和效果会比从零训练好得多。

Finetune的两种方式，增量预训练微调、指令跟随微调

二、什么是增量预训练微调

增量数据微调最终要的不同在于：“让LLM知道什么时候开始一段话，什么时候结束一段话。”

三、什么是指令跟随微调

指令跟随微调数据中会有 Input 和 Output 希望模型学会的是答案(Output)而不是问题(Input)，训练时只会对答案部分计算Loss。

四、XTune微调框架

XTuner是上海人工智能实验室（上海AI实验室）发布低成本大模型训练工具箱。XTuner支持多种层级硬件的适配，开发者最低只需使用8GB消费级显存，即可训练出适用于具体需求场景的“专属大模型”。

XTuner支持与书生·浦语（InternLM）、Llama等多款开源大模型的适配，可执行增量预训练、指令微调、工具类指令微调等任务类型。硬件要求上，在Tesla T4、A100等传统数据中心之外，开发者最低使用消费级显卡便可进行训练，实现大模型特定需求能力。

特点一适配多种数据集格式

XTuner 适配了多个热门开源数据集格式：

Alpaca 格式，斯坦福大学开源数据集的格式，也是社区开源项目使用较多的一种格式；
MOSS 格式，复旦大学开源指令微调数据集的格式，包含多轮对话和工具调用；
Gunacao 格式，QLoRA 项目中所使用数据集的格式；
OpenAI 格式，GPT-3.5-Turbo Finetune 接口要求的数据集格式；

开发者可直接使用对应格式的数据集，并支持多种格式数据源的混合使用，目前，更多适配的数据集格式正在持续更新。

特点二支持多种训练引擎结合

XTuner首次尝试将社区内常用的HuggingFace与OpenMMLab进行结合，兼顾易用性和可配置性。支持使用MMEngine Runner和HuggingFace Trainer两种训练引擎，开发者如有深度定制化需求，可根据使用习惯灵活配置。

五、多模态大模型

使用GPT-4V对图像数据生成描述，以此构建出大量<question text><image> -- <answer text>的数据对。利用这些数据对，配合文本单模态LLM，训练出一个Image Projector。使用的文本单模型LLM和训练出来的Image Projector，统称为LLaVA模型。

Image Projector的训练和测试，有点类似之前我们讲过的LoRA微调方案。二者都是在已有LLM的基础上，用新的数据训练一个新的小文件。只不过，LLM套上LoRA之后，有了新的灵魂（角色）；而LLM套上Image Projector之后，才有了眼睛。

六、基础作业

训练自己的小助手认知。本次我采用的是

1、构建环境

conda create --name xtuner0.1.17 python=3.10 -y# 激活环境
conda activate xtuner0.1.17
# 进入家目录 
cd ~
# 创建版本文件夹并进入
mkdir -p /root/xtuner0117 && cd /root/xtuner0117
# 拉取 0.1.17 的版本源码
git clone -b v0.1.17  https://github.com/InternLM/xtuner
# 进入源码目录
cd /root/xtuner0117/xtuner
# 从源码安装 XTuner
pip install -e '.[all]'

2、模型训练

# 使用 deepspeed 来加速训练
xtuner train /root/ft/config/internlm2_1_8b_qlora_alpaca_e3_copy.py --work-dir /root/ft/train_deepspeed --deepspeed deepspeed_zero2

3、