梯度下降
Gradient Descent
学到 认得 就够：听到能明白
你可能会说
“我想读懂训练代码，梯度下降怎样决定参数朝哪个方向调整？”
梯度下降利用损失对参数的导数，朝局部下降方向调整参数；随机或小批量版本用部分数据估计这个方向。它是优化方法，不是模型发现社会因果关系的过程。
使用 AI
科研里的例子
政策分类器反复误判某标签后，梯度会根据标签损失调整参数；若标签本身错误，更新方向也会强化错误。
梯度描述当前位置各参数微小变化对损失的影响，更新通常沿负梯度方向并乘以学习率。非凸网络中，局部信息不保证一步到达全局最好位置；小批量噪声、尺度和初始化都会改变路径。优化成功也只是降低既定目标，因此首先要问目标是否正确、训练数据是否代表应用情境。理解这个局部搜索过程，有助于把“模型学会”还原成可检查的计算而非神秘顿悟。
判断
亲手检查一次
对 L(w)=(w-3)^2 在 w=0 处算梯度，再用两个不同学习率更新一次，观察下降幅度及过大步长的后果。
它做不到的
梯度是损失的数学敏感度，不直接是自变量对社会结果的因果效应；SGD 通常属于梯度下降的方法家族。
增量，由你来写
读完这张，你的理解变了什么？
留言功能会在后面的版本开放。现在可以先在 X 上 @knowledgedelta 告诉我。