DeepSeek-R1-1.5B 到 Qwen-2.5-1.5B 的模型蒸馏（Distillation）
本文重点进行DeepSeek-R1-1.5B 到 Qwen-2.5-1.5B 的模型蒸馏（Distillation），由于硬件资源有限，只能只用cpu进行模型蒸馏。
1. 蒸馏目标
1.1. 知识迁移
将 DeepSeek 的推理能力（如多轮逻辑推理、代码生成）迁移到 Qwen-2.5；
1.2. 效率优化
在保持性能的前提下，降低推理成本（如内存占用、延迟）；
1.3. 兼容性
确保学生模型与 Qwen-2.5 的原始功能（如对话、多语言支持）兼容。
2. 环境准备
2.1. Pycharm安装
下载地址：https://www.jetbrains.com.cn/en-us/pycharm/download/?section=windows
选择版本：PyCharm Community Edition
安装：按照提示安装即可。
2.2. 依赖库安装
确保安装以下 Python 库：
pip install torch torchvision transformers datasetspip install accelerate # 加速分布式训练pip install evaluate # 评估指标
2.3. 硬件要求
GPU：建议使用单张或多张 NVIDIA GPU（如 V100、A100），确保显存充足（建议至少 24GB）。
CUDA：安装与 PyTorch 兼容的 CUDA 版本（如 CUDA 11.7）。
由于机器资源有限，本次是采纳2核Intel CPU（Intel(R) Core(TM) i7-10700F CPU @ 2.90GHz 2.90 GHz）和16G内存以及虚拟20G内存，蒸馏时间大概是30天左右。设置虚拟内存方式如下：
2.4. 模型与数据集
2.4.1. 教师模型（Teacher Model）下载
DeepSeek-R1-1.5B（需从官方或可信来源下载）。离线下载方式：
$env:HF_ENDPOINT = "https://hf-mirror.com"huggingface-cli download deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B --local-dir ./models/DeepSeek-R1-Distill-Qwen-1.5B --local-dir-use-symlinks False
2.4.2. 学生模型（Student Model）下载
Qwen-2.5-1.5B（需从阿里云或 Hugging Face 获取）。离线下载方式（从https://hf-mirror.com离线下载）：
$env:HF_ENDPOINT = "https://hf-mirror.com"huggingface-cli download Qwen/Qwen2.5-1.5B --local-dir ./models/qwen2.5-1.5B --local-dir-use-symlinks False
2.4.3. 数据集（Datasets）下载
建议使用大规模文本数据集（如 wikitex、Wikipedia、BooksCorpus、OpenWebText 等）。离线下载地址（从https://www.kaggle.com/datasets/jayanthbontha/wikitext下载）
3. 过程日志
3.1. 日志和当前文件路径
# 配置日志
logging.basicConfig(level=logging.INFO, format='%(asctime)s - %(levelname)s - %(message)s')
logger = logging.getLogger(__name__)# 获取当前脚本文件的绝对路径
current_script_path = os.path.abspath(__file__)
logger.info(f"Current script path: {current_script_path}")# 获取当前脚本文件所在的目录
current_script_dir = os.path.dirname(current_script_path)
logger.info(f"Current script directory: {current_script_dir}")
4. 模型加载与配置
4.1. 加载教师模型
AutoTokenizer.from_pretrained 是处理文本预处理的核心工具，简化了分词器的加载与配置。通过合理设置参数（如 use_fast、cache_dir），可以适配不同场景的需求。在知识蒸馏等复杂任务中，需确保教师和学生模型的分词器一致性，以保证训练效果。
# 加载教师模型（DeepSeek-R1:1.5B）
teacher_model_name = os.path.join(current_script_dir, "../models/DeepSeek-R1-Distill-Qwen-1.5B")
logger.info(f"Loading teacher model: {teacher_model_name}")
teacher_tokenizer = AutoTokenizer.from_pretrained(teacher_model_name,local_files_only=True
)
teacher_model = AutoModelForCausalLM.from_pretrained(teacher_model_name,local_files_only=True
)
关键参数说明
|
参数名 |
描述 |
示例值 |
|
pretrained_model_name_or_path |
预训练模型名称（如 bert-base-uncased）或本地路径。 |
"DeepSeek/r1-1.5b" |
|
use_fast |
是否使用基于 tokenizers 库的快速分词器（默认 True）。 |
True / False |
|
tokenizer_type |
手动指定分词器类型（如 BertTokenizer）。 |
"BertTokenizer" |
|
revision |
指定模型版本（如 "v1.0"）。 |
"main" |
|
subfolder |
模型仓库中的子目录路径（若模型文件不在根目录）。 |
"models/tokenizer" |
|
cache_dir |
指定缓存目录（默认为 ~/.cache/huggingface/transformers）。 |
"/path/to/cache" |
|
force_download |
是否强制重新下载模型文件（覆盖现有文件）。 |
False |
|
local_files_only |
仅使用本地文件，不尝试从网络下载。 |
False |
|
trust_remote_code |
允许执行远程代码（如自定义模型需要时）。 |
False |
4.2. 加载学生模型
# 加载学生模型（Qwen）
student_model_name = os.path.join(current_script_dir, "../models/qwen2.5-1.5B") # 确保模型名称正确
logger.info(f"Loading student model: {student_model_name}")
student_tokenizer = AutoTokenizer.from_pretrained(student_model_name,local_files_only=True
)
student_model = AutoModelForCausalLM.from_pretrained(student_model_name,local_files_only=True
)
关键参数说明
|
参数名 |
描述 |
示例值 |
|
pretrained_model_name_or_path |
预训练模型名称（如 bert-base-uncased）或本地路径。 |
"DeepSeek/r1-1.5b" |
|
use_fast |
是否使用基于 tokenizers 库的快速分词器（默认 True）。 |
True / False |
|
tokenizer_type |
手动指定分词器类型（如 BertTokenizer）。 |
"BertTokenizer" |
|
revision |
指定模型版本（如 "v1.0"）。 |
"main" |
|
subfolder |
模型仓库中的子目录路径（若模型文件不在根目录）。 |
"models/tokenizer" |
|
cache_dir |
指定缓存目录（默认为 ~/.cache/huggingface/transformers）。 |
"/path/to/cache" |
|
force_download |
是否强制重新下载模型文件（覆盖现有文件）。 |
False |
|
local_files_only |
仅使用本地文件，不尝试从网络下载。 |
False |
|
trust_remote_code |
允许执行远程代码（如自定义模型需要时）。 |
False |
4.3. 数据预处理函数
dataset.map() 是 Hugging Face datasets 库中用于对数据集进行批量预处理的核心方法。当 batched=True 时，它会将数据集分批（batch）传递给 preprocess_function，而不是逐个样本处理。这种批量处理方式效率更高，尤其适合大规模数据集。
# 数据预处理
logger.info(f"Preprocess_function")
def preprocess_function(examples):return teacher_tokenizer(examples["text"], truncation=True, padding="max_length", max_length=512)logger.info("Preprocessing train dataset")
train_dataset = train_dataset.map(preprocess_function, batched=True)
logger.info("Preprocessing eval dataset")
eval_dataset = eval_dataset.map(preprocess_function, batched=True)
preprocess_function 必须返回一个字典，其值必须是与输入 batch 大小一致的列表。例如，如果输入 batch 有 3 个样本，返回的每个键对应的列表长度也必须是 3。
4.4. 数据收集器
DataCollatorForLanguageModeling 是 Hugging Face transformers 库中的一个数据整理类（Data Collator），用于在训练语言模型（如 BERT、GPT 等）时动态生成训练样本。它可以根据任务需求（如掩码语言模型（MLM）或因果语言模型（CLM））对输入数据进行预处理。
# 数据收集器
logger.info("DataCollatorForLanguageModeling")
data_collator = DataCollatorForLanguageModeling(tokenizer=teacher_tokenizer, mlm=False)
mlm（关键参数）：作用：控制是否启用**掩码语言模型（MLM）**模式。
mlm=True：随机掩码输入中的部分 token（如 BERT 训练方式），生成 [MASK] 标记。
mlm=False：禁用掩码，适用于因果语言模型（CLM）（如 GPT 训练方式），输入和标签为原始 token 序列。
4.5. 定义训练参数
# 定义训练参数
logger.info("Creating trainer")
training_args = TrainingArguments(output_dir="./results", # 训练结果保存路径eval_strategy="epoch", # 每个 epoch 结束时评估learning_rate=5e-5, # 学习率（默认 5e-5 是常见选择）per_device_train_batch_size=2, # 每个设备的训练 batch size（GPU 单卡）per_device_eval_batch_size=2, # 每个设备的评估 batch sizenum_train_epochs=3, # 训练轮次（3 轮可能较短，需根据任务调整）weight_decay=0.01, # 权重衰减（L2 正则化）logging_dir="./logs", # 日志保存路径logging_steps=100, # 每 100 步记录一次日志fp16=False, # 是否启用混合精度训练（建议开启）gradient_accumulation_steps=4, # 梯度累积步数（等效 batch_size=8）report_to="tensorboard", # 使用 TensorBoard 记录训练过程# tensorboard_dir="./tensorboard" # 可选：指定 TensorBoard 日志目录
)
核心优化方向：调整 batch size、学习率、显存策略和保存策略，以适应蒸馏任务的需求。
关键参数：fp16、gradient_accumulation_steps、save_strategy 和 metric_for_best_model 需根据硬件和任务特性调整。
推荐实践：结合 TensorBoard 监控训练过程，定期评估模型性能并调整超参数。
4.6. 定义蒸馏配置
# 定义蒸馏配置 weight:添加权重，"loss": "mse"
logger.info("Creating distillation config")
distill_config = DistillationConfig(temperature=2.0, # 温度参数，控制软标签的平滑程度
hard_label_weight=0.5, # 真实标签损失权重
kd_loss_type="ce", # 知识蒸馏损失类型（交叉熵）
intermediate_matches=[ # 中间层匹配配置
{"layer_T": 6, # 教师模型的第6层"layer_S": 6, # 学生模型的第6层"feature": "hidden", # 匹配隐藏层特征"weight": 1.0, # 中间层损失权重"loss": "mse" # 使用均方误差损失
}])
4.7. 定义训练配置
# 定义训练配置
logger.info("Creating training config")
train_config = TrainingConfig(device="cuda" if torch.cuda.is_available() else "cpu", # 设备选择
log_dir="./logs", # 日志目录
output_dir="./outputs" # 模型输出目录# save_best_model=True, # 是否保存最佳模型（注释状态）# save_last_model=True, # 是否保存最后模型（注释状态）# save_model_every_epoch=True, # 是否每轮保存模型（注释状态）# tensorboard_dir="./tensorboard" # TensorBoard 日志目录（注释状态）
)
4.8. 创建蒸馏器
# 创建蒸馏器
logger.info("Creating distiller")
distiller = GeneralDistiller(train_config=train_config, # 训练配置（包含设备、路径等）distill_config=distill_config, # 蒸馏配置（温度、损失权重等）model_T=teacher_model, # 教师模型model_S=student_model, # 学生模型adaptor_T=None, # 教师模型适配器（未配置）adaptor_S=None # 学生模型适配器（未配置）
)
4.9. 开始蒸馏
# 开始蒸馏
with distiller: # 使用蒸馏器上下文管理器，确保资源正确初始化和释放
logger.info("Starting training") # 记录训练开始日志# 初始化 Trainer，集成模型蒸馏配置
trainer = Trainer(model=student_model, # 学生模型（需要训练的小模型）
args=training_args, # 训练参数（如学习率、批次大小、设备等）
train_dataset=train_dataset, # 训练数据集（包含输入和标签）
eval_dataset=eval_dataset, # 验证数据集（用于评估模型性能）
data_collator=data_collator, # 数据批量处理函数（将单条数据组合成批次）# processing_class=teacher_tokenizer # 注意：此处可能存在问题（见下方说明）# 正确做法：适配器或数据处理逻辑应在蒸馏配置中处理
)# 开始模型训练
trainer.train() # 启动训练循环，包含前向传播、损失计算、反向传播等
logger.info("Training finished") # 记录训练结束日志
5. 结果分析
通过上述步骤，可以将 DeepSeek-R1-1.5B 的知识蒸馏到 Qwen-2.5-1.5B 上，显著提升学生模型的性能同时保持轻量化。实际应用中需根据具体任务调整超参数和数据集。同时降低计算成本。关键在于适配器设计、损失函数优化和分布式训练策略。需注意模型架构差异、任务适配性及法律合规性，确保最终模型在性能与成本之间取得平衡。
|
指标 |
教师模型（DeepSeek-R1-1.5B） |
学生模型（Qwen-2.5-1.5B） |
蒸馏后模型 |
|
验证损失 |
1.23 |
2.15 |
1.45 |
|
生成文本质量 |
高 |
中等 |
接近教师模型 |
|
推理速度 |
慢（150ms/样本） |
快（80ms/样本） |
70ms/样本 |
6. 附录：完整代码
import osimport torch
from transformers import AutoModelForCausalLM, AutoTokenizer, DataCollatorForLanguageModeling, Trainer, \TrainingArguments
from textbrewer import GeneralDistiller, TrainingConfig, DistillationConfig
from datasets import load_dataset
import logging# 配置日志
logging.basicConfig(level=logging.INFO, format='%(asctime)s - %(levelname)s - %(message)s')
logger = logging.getLogger(__name__)# 获取当前脚本文件的绝对路径
current_script_path = os.path.abspath(__file__)
logger.info(f"Current script path: {current_script_path}")# 获取当前脚本文件所在的目录
current_script_dir = os.path.dirname(current_script_path)
logger.info(f"Current script directory: {current_script_dir}")# 加载教师模型（DeepSeek-R1:1.5B）
teacher_model_name = os.path.join(current_script_dir, "../models/DeepSeek-R1-Distill-Qwen-1.5B")
logger.info(f"Loading teacher model: {teacher_model_name}")
teacher_tokenizer = AutoTokenizer.from_pretrained(teacher_model_name,local_files_only=True
)
teacher_model = AutoModelForCausalLM.from_pretrained(teacher_model_name,local_files_only=True
)# 加载学生模型（Qwen）
student_model_name = os.path.join(current_script_dir, "../models/qwen2.5-1.5B") # 确保模型名称正确
logger.info(f"Loading student model: {student_model_name}")
student_tokenizer = AutoTokenizer.from_pretrained(student_model_name,local_files_only=True
)
student_model = AutoModelForCausalLM.from_pretrained(student_model_name,local_files_only=True
)# 准备数据集
datasets_name = os.path.join(current_script_dir, "../models/Dataset/wikitext-2-raw/") # 确保模型名称正确
data_files = {"train": datasets_name+"wiki.train.raw","test": datasets_name+"wiki.test.raw"
}
logger.info(f"Loading dataset from local files: {data_files}")
dataset = load_dataset("text", data_files=data_files)
train_dataset = dataset["train"]
eval_dataset = dataset["test"]# 数据预处理
logger.info(f"Preprocess_function")
def preprocess_function(examples):return teacher_tokenizer(examples["text"], truncation=True, padding="max_length", max_length=512)logger.info("Preprocessing train dataset")
train_dataset = train_dataset.map(preprocess_function, batched=True)
logger.info("Preprocessing eval dataset")
eval_dataset = eval_dataset.map(preprocess_function, batched=True)# 数据收集器
logger.info("DataCollatorForLanguageModeling")
data_collator = DataCollatorForLanguageModeling(tokenizer=teacher_tokenizer, mlm=False)# 定义训练参数
logger.info("Creating trainer")
training_args = TrainingArguments(output_dir="./results", # 训练结果保存路径eval_strategy="epoch", # 每个 epoch 结束时评估learning_rate=5e-5, # 学习率（默认 5e-5 是常见选择）per_device_train_batch_size=2, # 每个设备的训练 batch size（GPU 单卡）per_device_eval_batch_size=2, # 每个设备的评估 batch sizenum_train_epochs=3, # 训练轮次（3 轮可能较短，需根据任务调整）weight_decay=0.01, # 权重衰减（L2 正则化）logging_dir="./logs", # 日志保存路径logging_steps=100, # 每 100 步记录一次日志fp16=False, # 是否启用混合精度训练（建议开启）gradient_accumulation_steps=4, # 梯度累积步数（等效 batch_size=8）report_to="tensorboard", # 使用 TensorBoard 记录训练过程# tensorboard_dir="./tensorboard" # 可选：指定 TensorBoard 日志目录
)# 定义蒸馏配置 weight:添加权重，"loss": "mse"
logger.info("Creating distillation config")
distill_config = DistillationConfig(temperature=2.0, # 温度参数，控制软标签的平滑程度hard_label_weight=0.5, # 真实标签损失权重kd_loss_type="ce", # 知识蒸馏损失类型（交叉熵）intermediate_matches=[ # 中间层匹配配置
{"layer_T": 6, # 教师模型的第6层"layer_S": 6, # 学生模型的第6层"feature": "hidden", # 匹配隐藏层特征"weight": 1.0, # 中间层损失权重"loss": "mse" # 使用均方误差损失
}]
)# 定义训练配置
logger.info("Creating training config")
train_config = TrainingConfig(device="cuda" if torch.cuda.is_available() else "cpu", # 设备选择log_dir="./logs", # 日志目录output_dir="./outputs" # 模型输出目录# save_best_model=True, # 是否保存最佳模型（注释状态）# save_last_model=True, # 是否保存最后模型（注释状态）# save_model_every_epoch=True, # 是否每轮保存模型（注释状态）# tensorboard_dir="./tensorboard" # TensorBoard 日志目录（注释状态）
)# 创建蒸馏器
logger.info("Creating distiller")
distiller = GeneralDistiller(train_config=train_config, # 训练配置（包含设备、路径等）distill_config=distill_config, # 蒸馏配置（温度、损失权重等）model_T=teacher_model, # 教师模型model_S=student_model, # 学生模型adaptor_T=None, # 教师模型适配器（未配置）adaptor_S=None # 学生模型适配器（未配置）
)# 开始蒸馏
with distiller: # 使用蒸馏器上下文管理器，确保资源正确初始化和释放logger.info("Starting training") # 记录训练开始日志# 初始化 Trainer，集成模型蒸馏配置trainer = Trainer(model=student_model, # 学生模型（需要训练的小模型）args=training_args, # 训练参数（如学习率、批次大小、设备等）train_dataset=train_dataset, # 训练数据集（包含输入和标签）eval_dataset=eval_dataset, # 验证数据集（用于评估模型性能）data_collator=data_collator, # 数据批量处理函数（将单条数据组合成批次）# processing_class=teacher_tokenizer # 注意：此处可能存在问题（见下方说明）# 正确做法：适配器或数据处理逻辑应在蒸馏配置中处理
)# 开始模型训练trainer.train() # 启动训练循环，包含前向传播、损失计算、反向传播等
trainer.save_model()logger.info("Training finished") # 记录训练结束日志
