直接偏好优化
Direct Preference Optimization
学到 认得 就够：听到能明白
你可能会说
“我看到用成对偏好训练研究助手的 DPO 方法，它为什么不一定需要单独的奖励模型？”
DPO 利用成对偏好样本，直接调整模型对优选与劣选回答的相对倾向。经典形式借助参考模型约束，不需要按传统 RLHF 流程先训练一个独立奖励模型再在线优化。
使用 AI
科研里的例子
为政策解释收集“保留限定条件”和“夸大因果”的回答对，让专家判偏好；测试仍须包含未见政策与疑难边界。
它从特定带约束奖励最大化问题出发，把策略与奖励的关系重新参数化，形成可直接训练的偏好损失。给定同一问题的一优一劣回答，更新方向提高优选相对概率，同时用参考分布控制变化。这个简化不消除偏好数据的局限；若优选答案迎合偏见或含事实错误，算法仍可能学到错误目标。比较 DPO 与其他方法，需要固定数据与评价，而不能只凭算法名称排优劣。
判断
亲手检查一次
挑一对只在因果措辞上不同的回答，明确偏好理由，再检查训练资料是否把长度或格式混成了隐含偏好。
它做不到的
DPO 不等于无需数据或无需训练，也不保证优选答案真实；它与一般二分类器的用途不同，仍是在更新生成策略。
增量，由你来写
读完这张，你的理解变了什么？
留言功能会在后面的版本开放。现在可以先在 X 上 @knowledgedelta 告诉我。