反向传播
Backpropagation
学到 认得 就够:听到能明白
你可能会说
“我在模型训练流程里看到反向传播,它是在倒过来生成答案吗?”
反向传播利用链式法则,从损失向前面的计算模块逐步求参数梯度。它告诉优化器误差如何对各参数敏感;真正修改参数还需要单独的更新步骤。
使用 AI
科研里的例子
给已训练模型一段访谈并得到标签时,通常只需前向计算;只有进一步算损失并更新参数,才发生训练适配。
前向计算先得到表示、预测与损失,反向计算再沿计算图逆序累计导数。中间结果常需保留,以便高效计算,这也是训练内存高于只做预测的原因之一。反向传播本身不指定学习率或更新算法,也不保证算出的方向对应有效研究目标。理解前向、反向与参数更新的区分,可以避免把每次模型输出都当作它在重新学习,也能读懂冻结参数和适配器训练的含义。
判断
亲手检查一次
对 y=w1×w2、损失 L=(y-1)^2 手算两个参数的导数,再按链式法则逐步核算,区分求梯度与更新动作。
它做不到的
反向传播是求导技术,梯度下降是更新策略,二者相关但不等同;梯度存在也不保证模型已更新。
增量,由你来写
读完这张,你的理解变了什么?
留言功能会在后面的版本开放。现在可以先在 X 上 @knowledgedelta 告诉我。
来源
卡片底稿由 AI 协助整理,经过核对;发现错误请告诉我。