学习率

Learning Rate

学到会用就够：能亲手用起来

你可能会说

“我希望模型早点完成训练，是不是把学习率设得越大越好？”

学习率控制参数更新的步幅尺度。过大可能振荡或发散，过小可能进展缓慢；合适数值依赖优化器、数据、批大小和训练阶段，不能从别人的任务直接照搬。

也叫LR

使用 AI

科研里的例子

小样本政策标签微调时试几个预先规定的学习率，依据独立验证表现选方案，并检查是否出现任务外能力退化。

梯度提供局部方向，学习率控制沿该方向移动多少。实际训练还可能使用预热和衰减，使步幅随进度改变。对已有模型微调，过大更新可能破坏已学表示，过小又可能不足以适配。选择时应看训练与验证曲线，而非只追求损失迅速下降。科研记录要写初值、调度规则与总更新步数，才可能解释同一模型和数据为什么得到不同结果。

亲手检查一次

在简单二次损失上手算几步大、小学习率的路径，再查看一个公开训练曲线，找出振荡、缓慢和停止变化的区别。

它做不到的

学习率不是人的学习速度，也不能跨优化器直接比较；日志里的瞬时学习率还可能不同于配置中的初始值。

读完这张，你的理解变了什么？

留言功能会在后面的版本开放。现在可以先在 X 上 @knowledgedelta 告诉我。

源

卡片底稿由 AI 协助整理，经过核对；发现错误请告诉我。