近端策略优化
Proximal Policy Optimization
学到 认得 就够：听到能明白
你可能会说
“我读模型训练论文时遇到 PPO，为什么更新参数时还要限制变化幅度？”
PPO 是一类强化学习策略优化算法，借助受约束的目标避免策略一次变化过大。它曾用于典型语言模型 RLHF 流程，但并不是所有偏好训练的必选算法。
使用 AI
科研里的例子
阅读某语言模型方法部分看到 PPO，只能推知一种策略更新方法，不能据此说它接受了何种专家价值标准。
策略梯度利用采样行动及其收益估计来调整策略，更新过猛可能破坏原有行为或让估计失效。PPO 的常见形式对新旧策略概率比的目标贡献作裁剪，以改善优化稳定性。它的“近端”描述更新策略，不是保证训练永不出错。理解论文时，还应分清算法本身、奖励来源和模型任务：相同 PPO 可服务不同环境，差异化奖励也会产生完全不同的行为。
判断
亲手检查一次
在小表格中给新旧策略同一行动的概率算比值，比较裁剪前后目标贡献，再说明奖励本身仍可能不合适。
它做不到的
裁剪不是准确率保证，也不是对参数变化的绝对硬界限；PPO 与 DPO 不应当作不同拼写的同一方法。
增量，由你来写
读完这张，你的理解变了什么？
留言功能会在后面的版本开放。现在可以先在 X 上 @knowledgedelta 告诉我。