模型评估
Evaluation
学到 会用 就够:能亲手用起来
你可能会说
“怎么证明模型适合我的研究任务?”
评估是按明确任务、资料与标准检验模型表现的过程,可能包含自动指标、人工判断和实际流程测试。它应回答具体用途是否可接受,而不是给模型一个脱离情境的总分。
使用 AI
科研里的例子
评估访谈摘要工具时,分别记录人物与数字错误、原意遗漏、因果夸张及审阅时间,再与人工基线对照。
完整评价需先定义输入分布、期望输出、可接受错误和比较基线,再固定版本与运行条件。自动分数擅长核格式或已知标签,开放解释则需事实支持、限定条件与人工标准。平均表现之外,应检查群体、难例、稳定性、成本和失败处理。评价资料若参与方案选择,就不能再当作完全独立检验。对社科应用,任务分数与研究设计有效性也须分别判断,模型测得准不等于因果解释成立。
在你的学科里,直接拿去用
把论点与证据逐条对齐
请审核下列论证的证据对应关系。 论证:[粘贴] 允许使用的材料:[清单与原文] 拆成可独立检查的主张,按“主张—来源位置—研究对象与设计—能支持什么—不能支持什么—所需补证”输出。区分相关、机制解释、因果识别和价值判断。找不到依据的格子保留未支持,不补假文献。若需联网补证,先说明搜索范围和访问状态,再把新找到的证据与原材料分列。方括号里的内容换成你自己的。来自知识增量《科研中英表达与 Prompt 指南》PG07
判断
亲手检查一次
为自己最常用任务写十条有判定依据的测试材料,先定标准再运行;保留全部失败例,而不是只挑成功截图。
它做不到的
一次演示、跑通脚本或通过结构校验都不是完整内容评估;模型自评也不能成为唯一质量依据。
增量,由你来写
读完这张,你的理解变了什么?
留言功能会在后面的版本开放。现在可以先在 X 上 @knowledgedelta 告诉我。