面经——训练优化技巧
内容
在面试中回答“训练优化技巧”时，若想惊艳面试官，需结合 技术深度、系统性分类和前沿实践，以下是结构化回答建议：
一、基础篇：必知核心技巧
1. 优化器选择与调参
- AdamW：解决Adam中权重衰减（Weight Decay）与自适应学习率的耦合问题（参考论文《Decoupled Weight Decay Regularization》）。
- Lion：Google 2023年提出的新优化器，仅跟踪动量符号，训练速度更快（适合大规模预训练）。
- 技巧：对CV任务常用SGD+动量，NLP任务更倾向Adam系。
2. 学习率调度策略
- Warmup：防止训练初期梯度爆炸（如Transformer中需1k-10k步的线性warmup）。
- 余弦退火（Cosine Annealing）：平滑降低学习率，避免局部最优（搭配重启策略效果更佳，见SGDR）。
- 示例：ViT训练常用分层学习率（Backbone小，Head大）。
3. 正则化技术
- 权重衰减（Weight Decay）：控制模型复杂度，防止过拟合（注意AdamW中的解耦实现）。
- Dropout：随机屏蔽神经元，增强泛化（Transformer中常用在FFN层后）。
- Label Smoothing：将硬标签替换为软标签（如0.9→正类，0.1均匀分配负类），缓解过拟合。
二、进阶篇：任务导向优化
1. 数据侧优化
- 数据增强：CV中MixUp/CutMix，NLP中回译/词替换，音频中加噪/变速。
- 课程学习（Curriculum Learning）：从易到难训练样本（如BERT预训练先训短句后长句）。
2. 梯度处理
- 梯度裁剪（Gradient Clipping）：限制梯度最大值，防止梯度爆炸（RNN/LSTM必用）。
- 梯度累积（Gradient Accumulation）：小批量设备上模拟大批量训练（GPU显存不足时使用）。
3. 模型架构优化
- 初始化策略：He初始化（ReLU激活适用），GPT用的残差层缩放初始化（乘√(0.5)）。
- 归一化技术：BatchNorm（CV主流）、LayerNorm（Transformer标配）、InstanceNorm（风格迁移）。
三、前沿篇：高阶段位技巧
1. 自监督预训练（Self-Supervised Learning）
- 掩码建模：BERT的MLM、MAE的图像重建。
- 对比学习：SimCLR、CLIP的图文对齐，大幅提升小样本泛化能力。
2. 大模型训练黑科技
- 混合精度训练（AMP）：FP16+FP32组合，提速2-3倍（需配合Loss Scaling防下溢）。
- Flash Attention：优化GPU显存访问，提升Transformer训练速度50%以上（见斯坦丘团队论文）。
- ZeRO优化：微软DeepSpeed的显存优化技术，支持千亿参数模型训练。
3. 动态策略与自动化
- 超参数搜索：贝叶斯优化、Population-Based Training（PBT）。
- 动态网络结构：BigNAS、Once-for-All，训练时动态调整网络宽度/深度。
四、回答话术示例
“训练优化技巧可分为 算法、数据、工程 三个层面：
- 算法层：优化器选型（如AdamW解耦权重衰减）、学习率调度（Warmup+余弦退火）、正则化（Label Smoothing+Dropout路径规划）；
- 数据层：课程学习增强难样本学习、对抗训练提升鲁棒性；
- 工程层：混合精度训练+梯度累积解决显存瓶颈，Flash Attention优化长序列计算效率。
此外，前沿工作中，自监督预训练（如MAE）和动态网络结构（如OFA）正在重新定义训练范式。”
五、惊艳面试官的细节
- 引用论文：
- “Google 2022年提出《MLP-Mixer》时发现，即使不用Self-Attention，通过合适的初始化（如残差缩放）和正则化也能达到SOTA。”
- 对比分析：
- “CV任务中，BatchNorm的批次统计量依赖可能导致训练-推理差异，而LayerNorm更适配变长文本任务。”
- 实战案例：
- “我们在某推荐场景下，结合EMA（指数滑动平均）和SWA（随机权重平均），AUC提升1.2%。”
核心思路：从基础到前沿，分层递进；结合技术原理、论文引用、业务场景，展现系统性和技术敏锐度。
