评测数据污染
Benchmark Data Contamination
学到 认得 就够：听到能明白
你可能会说
“我想比较几个研究助手的测验成绩，怎么判断模型是不是提前见过考题？”
评测污染指评价题目、答案或近似内容进入训练或适配资料，使分数可能反映记忆与接触而非对新问题的泛化。判断污染应说明重合形式和证据，不靠高分直接断言。
使用 AI
科研里的例子
用已广泛公开的经济学考试题测模型时，再准备概念相同而数字与条件不同的新题，比较是否仍能正确作答。
公开网络资料容易把基准题目再次传播，精确去重又不一定识别改写、翻译或答案泄露。模型答对熟题不能证明它仅靠记忆，但训练接触会影响独立性解释。反过来，没有检测出重合也不能证明完全未见，黑箱检测本身有误差。科研报告应区分已证实重叠、检测线索和未知，结合新构造测试、时间隔离或变体题评价，避免把一个算法检测结果当作训练语料审计结论。
在你的学科里，直接拿去用
把数据分析要求写成可复现说明
请先为这项分析形成可复现的任务说明，再建议代码。 问题：[填写] 数据字典及已有规则：[提供] 可用软件与现有代码：[提供] 明确一行数据代表什么、样本范围、连接键、单位、缺失码、变量构造、估计对象和输出。区分描述分析与因果分析；缺少识别依据时不要把回归系数直接称为因果影响。给出小样本核对、异常记录和可重跑顺序。保留原始数据，所有转换写到派生结果并留记录；不能为得到显著结果修改数据或筛选规则。方括号里的内容换成你自己的。来自知识增量《科研中英表达与 Prompt 指南》PG08
判断
亲手检查一次
检查自己的训练语料与测试材料是否有精确或近似重复，再把题目改写并更换关键条件，记录结果变化而不轻下定论。
它做不到的
污染与一般偏差不是同义词；看到类似题只证明某种重叠，不能自动量化其对最终分数的因果贡献。
增量，由你来写
读完这张，你的理解变了什么？
留言功能会在后面的版本开放。现在可以先在 X 上 @knowledgedelta 告诉我。
来源
- Shi 等 · Detecting Pretraining Data from Large Language Models2026-11-06 核对
- Brown 等 · Language Models are Few-Shot Learners2026-11-06 核对
卡片底稿由 AI 协助整理，经过核对；发现错误请告诉我。