强化学习
Reinforcement Learning
学到 认得 就够：听到能明白
你可能会说
“我读到模型用强化学习改进回答，奖励怎样影响它处理研究任务的行为？”
强化学习研究如何根据行动带来的奖励学习策略，目标常涉及一连串决策的累计收益。语言模型训练也可把生成看成行动序列，用任务分数或偏好信号调整策略。
使用 AI
科研里的例子
按字段齐全程度奖励摘要模型，可能促使它填满所有栏位；若不惩罚无依据补全，完整率高反而掩盖错误。
系统在状态下选择行动，观察后果与奖励，再更新行动倾向。与只模仿现成目标答案不同，它需要处理什么行为带来更好结果，以及反馈可能延迟的问题。奖励是设计出来的代理目标；模型可能找到提高分数却偏离真实目的的路径。社科读者理解这一点尤其重要：优化指标改变行为，并不保证指标完整代表质量、真实性或公共利益，也不意味着模型拥有自己的愿望。
判断
亲手检查一次
为一个摘要任务写两个奖励规则，列出各自可能诱发的取巧行为，再补一项能识别取巧的独立检查。
它做不到的
强化学习不是所有模型训练的统称；收到用户一句赞许，也不能据此判断平台在当场更新策略参数。
增量，由你来写
读完这张，你的理解变了什么？
留言功能会在后面的版本开放。现在可以先在 X 上 @knowledgedelta 告诉我。
来源
- Schulman 等 · Proximal Policy Optimization Algorithms2026-11-06 核对
- Google · What is Machine Learning?2026-11-06 核对
卡片底稿由 AI 协助整理，经过核对；发现错误请告诉我。