模型与应用评估
Evals
学到 会用 就够：能亲手用起来
你可能会说
“我改了提示或换了模型，感觉答案更好了，却不知道是否只是几条例子碰巧顺眼；怎样比较改动是否真的有用？”
Evals 用一组有代表性的任务和明确标准检验模型或应用表现，支持比较与改进；它不只是看一次回答，也不等于某个厂商的同名平台。
使用 AI
科研里的例子
用一组已经读过的论文作为保留测试集，比较新旧方案在研究对象、样本、方法和局限上的正确提取，而非只看摘要流畅度。
先定义要测的能力和失败类型，再选真实、边界与异常样例，使用人工、规则或模型辅助评分，并分析错误分布。研究任务可测字段提取、证据定位和过度推断，而不只测语气。测试集应与提示示例分开，避免为样例过度调优。当前 OpenAI 旧 Evals 平台已有退役公告，概念与方法仍然通用，具体产品入口不应写成永久不变。
在你的学科里，直接拿去用
把论点与证据逐条对齐
请审核下列论证的证据对应关系。 论证：[粘贴] 允许使用的材料：[清单与原文] 拆成可独立检查的主张，按“主张—来源位置—研究对象与设计—能支持什么—不能支持什么—所需补证”输出。区分相关、机制解释、因果识别和价值判断。找不到依据的格子保留未支持，不补假文献。若需联网补证，先说明搜索范围和访问状态，再把新找到的证据与原材料分列。方括号里的内容换成你自己的。来自知识增量《科研中英表达与 Prompt 指南》PG07
判断
亲手检查一次
确认测试样例未被拿来直接调提示，抽查评分一致性并报告失败例；更新模型或数据范围后，重新验证关键能力。
它做不到的
高分只对所测任务和数据成立，模型评分也可能偏好长文或特定文风；没有覆盖证据核验，就不能宣称研究质量已认证。
增量，由你来写
读完这张，你的理解变了什么？
留言功能会在后面的版本开放。现在可以先在 X 上 @knowledgedelta 告诉我。
来源
- OpenAI — Working with evals (legacy platform notice)2026-11-06 核对
- OpenAI — Prompt engineering2026-11-06 核对
卡片底稿由 AI 协助整理，经过核对；发现错误请告诉我。