奖励模型
Reward Model
学到 认得 就够：听到能明白
你可能会说
“我比较两份模型生成的文献摘要，奖励分更高就能说明事实更准确吗？”
奖励模型为候选输出估计一个分数，作为训练或选择行为的信号。分数通常学习自偏好或任务评价，是某种质量标准的代理，而不是通用真实性概率。
使用 AI
科研里的例子
用奖励分挑选最优论文摘要时，可能选中结构更完整却添加新结论的版本，应另核原文支持情况。
假设标注者偏好回答甲胜过乙，奖励模型可以学习让甲分更高。策略再被推动去提高这一分数。问题在于代理一旦被强力优化，可能出现训练分布外的取巧：长度、措辞或固定格式都可能被当作优质线索。研究者要看奖励模型究竟评价了什么，如何对照人工标准，以及优化后的高分是否仍对应真实目的；不能把一个标量当作全面审稿结论。
判断
亲手检查一次
构造一份忠实但简短、一份流畅但多写一条假结论的摘要，检查奖励排序与人工标准是否一致。
它做不到的
奖励模型与基础语言模型可共享架构，但角色不同；高分不自动表示置信度，更不是统计显著性或社会福利指标。
增量，由你来写
读完这张，你的理解变了什么？
留言功能会在后面的版本开放。现在可以先在 X 上 @knowledgedelta 告诉我。
来源
- Rafailov 等 · Direct Preference Optimization2026-11-06 核对
- Ouyang 等 · Training language models to follow instructions with human feedback2026-11-06 核对
卡片底稿由 AI 协助整理，经过核对；发现错误请告诉我。