知识增量Knowledge Deltav0.1无限进步

模型评估

Evaluation
学到 会用 就够:能亲手用起来
你可能会说

“怎么证明模型适合我的研究任务?”

评估是按明确任务、资料与标准检验模型表现的过程,可能包含自动指标、人工判断和实际流程测试。它应回答具体用途是否可接受,而不是给模型一个脱离情境的总分。

先知道分类任务
也叫Eval、Evals
2

使用 AI

科研里的例子

评估访谈摘要工具时,分别记录人物与数字错误、原意遗漏、因果夸张及审阅时间,再与人工基线对照。

完整评价需先定义输入分布、期望输出、可接受错误和比较基线,再固定版本与运行条件。自动分数擅长核格式或已知标签,开放解释则需事实支持、限定条件与人工标准。平均表现之外,应检查群体、难例、稳定性、成本和失败处理。评价资料若参与方案选择,就不能再当作完全独立检验。对社科应用,任务分数与研究设计有效性也须分别判断,模型测得准不等于因果解释成立。

+

在你的学科里,直接拿去用

把论点与证据逐条对齐
请审核下列论证的证据对应关系。
论证:[粘贴]
允许使用的材料:[清单与原文]
拆成可独立检查的主张,按“主张—来源位置—研究对象与设计—能支持什么—不能支持什么—所需补证”输出。区分相关、机制解释、因果识别和价值判断。找不到依据的格子保留未支持,不补假文献。若需联网补证,先说明搜索范围和访问状态,再把新找到的证据与原材料分列。
方括号里的内容换成你自己的。来自知识增量《科研中英表达与 Prompt 指南》PG07
3

判断

亲手检查一次

为自己最常用任务写十条有判定依据的测试材料,先定标准再运行;保留全部失败例,而不是只挑成功截图。

它做不到的

一次演示、跑通脚本或通过结构校验都不是完整内容评估;模型自评也不能成为唯一质量依据。

Δ

增量,由你来写

读完这张,你的理解变了什么?

留言功能会在后面的版本开放。现在可以先在 X 上 @knowledgedelta 告诉我。

源

来源

卡片底稿由 AI 协助整理,经过核对;发现错误请告诉我。