知识增量Knowledge Deltav0.1无限进步

反向传播

Backpropagation
学到 认得 就够:听到能明白
你可能会说

“我在模型训练流程里看到反向传播,它是在倒过来生成答案吗?”

反向传播利用链式法则,从损失向前面的计算模块逐步求参数梯度。它告诉优化器误差如何对各参数敏感;真正修改参数还需要单独的更新步骤。

也叫BP
2

使用 AI

科研里的例子

给已训练模型一段访谈并得到标签时,通常只需前向计算;只有进一步算损失并更新参数,才发生训练适配。

前向计算先得到表示、预测与损失,反向计算再沿计算图逆序累计导数。中间结果常需保留,以便高效计算,这也是训练内存高于只做预测的原因之一。反向传播本身不指定学习率或更新算法,也不保证算出的方向对应有效研究目标。理解前向、反向与参数更新的区分,可以避免把每次模型输出都当作它在重新学习,也能读懂冻结参数和适配器训练的含义。

3

判断

亲手检查一次

对 y=w1×w2、损失 L=(y-1)^2 手算两个参数的导数,再按链式法则逐步核算,区分求梯度与更新动作。

它做不到的

反向传播是求导技术,梯度下降是更新策略,二者相关但不等同;梯度存在也不保证模型已更新。

Δ

增量,由你来写

读完这张,你的理解变了什么?

留言功能会在后面的版本开放。现在可以先在 X 上 @knowledgedelta 告诉我。

源

来源

卡片底稿由 AI 协助整理,经过核对;发现错误请告诉我。