大模型微调中学习率与批次大小的调参经验
在大型语言模型的微调过程中，学习率与批次大小是两个至关重要的超参数。它们的设置不仅直接影响模型收敛的速度与稳定性，更决定了微调后模型的最终性能。许多实践表明，盲目使用预训练阶段的标准或固定值往往效果不佳。本文将结合实际调参经验，探讨这两个参数在微调时的相互作用与设置策略。
一、 学习率：微调的“步伐”控制
学习率决定了模型参数每次更新的幅度。对于微调而言，其核心在于找到一个“恰到好处”的步长：既能快速适应新任务，又不会破坏预训练阶段学到的宝贵通用知识（即避免灾难性遗忘）。
常用策略：
1. 较小的起始值：相较于预训练，微调通常采用更小的学习率（例如，在预训练学习率基础上除以5、10或100）。这是因为模型权重已经在一个很广阔的语义空间里得到了良好的初始化，微调的目标是进行精细、定向的调整。常见范围在1e-5到1e-3之间，具体取决于模型规模、任务差异和数据量。
2. 学习率热身：在训练开始时，从一个极小的值（如1e-7）线性或余弦增长到预设的主学习率，持续数百到数千步。这有助于在训练初期稳定梯度，让模型平稳地进入微调状态，避免初期大幅震荡。
3. 衰减策略：在热身结束后，采用余弦退火或线性衰减来逐步降低学习率。这有助于在训练后期精细调优，使模型收敛到更平坦的损失低谷，理论上可能带来更好的泛化能力。
4. 分层学习率/偏差修正：有时会对模型不同部分设置不同的学习率。例如，对新增的层（如分类头）使用较高的学习率，对底层（靠近输入的Transformer层）使用较低的学习率。这是因为底层参数蕴含更多通用语言知识，不宜大幅改动，而顶层则更需针对任务快速适应。
二、 批次大小：梯度估计的“样本规模”
批次大小指一次前向-反向传播所使用的样本数量。它影响梯度估计的噪声大小、内存占用以及训练动态。
与学习率的关系：
关键点在于，学习率与批次大小并非独立，它们之间存在强烈的耦合关系。一个重要的经验法则是：当增大批次大小时，通常需要同时增大学习率以保持训练动态的稳定。这是因为更大的批次提供了更低噪声的梯度估计，允许使用更大的“步伐”而不会导致不稳定。一种简单的调整思路是线性缩放规则：如果将批次大小乘以k，学习率也大致乘以k。但请注意，这是一个粗略的指导，尤其在批次非常大时（例如超过数千），缩放可能需要调整为乘以k的平方根，或者需要更复杂的自适应优化器设置。
微调中的考量：
1. 资源限制：显存容量是决定最大批次大小的硬约束。在资源有限时，只能使用较小的批次，此时学习率也应相应设小。
2. 梯度累积技巧：如果计算资源（主要是GPU数量或显存）有限，无法放入理想的大批次，可以通过梯度累积来模拟。即连续进行多次前向传播和梯度计算（每次用小批次），累积多步的梯度后再进行一次参数更新。此时，有效批次大小 = 小批次大小 × 累积步数，在调整学习率时，应参考这个有效批次大小。
3. 任务与数据特性：对于噪声较大或数据分布较广的任务，适当小一些的批次（配合合适的学习率）有时能引入有益的梯度噪声，帮助模型跳出尖锐的极小值，可能找到泛化更好的解。但这需要实验验证。
三、 联合调参实践经验
1. 基准线确立：首先从一个保守的设置开始，例如：较小的批次（如16、32）、较小的学习率（如2e-5），使用学习率热身和衰减。以此作为基准，观察训练损失和验证集指标的收敛情况。
2. 扫描与搜索：进行系统的超参数搜索。常见的做法包括：
* 学习率扫描：固定一个可行的批次大小，在典型范围（如1e-5, 3e-5, 5e-5, 1e-4）内尝试几个学习率。
* 批次大小影响测试：在资源允许范围内，尝试不同的批次大小（如16, 32, 64, 128），并依据缩放规则大致调整学习率。观察验证集性能（如准确率、损失）的变化。
3. 监控信号：
* 训练损失曲线：应平稳下降，初期避免剧烈波动。如果损失爆炸或出现NaN，通常是学习率过大。
* 验证集性能：这是最终判据。关注验证集损失和任务特定指标（如准确率、F1值）。理想情况是训练损失平稳下降，验证指标稳步提升并最终趋于稳定。如果验证指标早早就停止提升或开始下降，可能意味着过拟合，可能需要减小学习率、增加正则化或检查数据。
* 梯度范数：监控梯度或更新量的范数，有助于判断学习率是否在合理范围。
4. 实用建议：
* 使用验证集进行早停，防止过拟合。
* 对于LoRA等参数高效微调方法，由于可训练参数量大幅减少，通常可以使用比全参数微调更大的学习率（例如3e-4, 1e-3），收敛可能更快，但对学习率可能更敏感，仍需仔细调整。
* 借鉴成功案例：参考类似模型（如相同规模的LLaMA、ChatGLM等）在类似任务（如指令微调、单任务分类）上公开的微调超参数设置，可以作为强有力的起点。
总结而言，大模型微调中，学习率与批次大小的调参是一个需要平衡艺术与科学的实践过程。理解其背后的原理（梯度更新与估计），结合计算资源约束，通过系统的实验和严谨的监控，才能找到适合特定任务、模型和数据的最优配置组合。没有放之四海而皆准的最优值，但遵循上述策略可以显著提高调参效率，获得更优的微调模型。
原创文章，作者：admin，如若转载，请注明出处：https://wpext.cn/984.html
