知识增量Knowledge Deltav0.1无限进步

过拟合

Overfitting
学到 会用 就够:能亲手用起来
你可能会说

“我训练的政策分类模型在旧材料上越来越好,换一批材料为什么反而更差?”

过拟合是模型过度适应训练资料中的具体细节或偶然规律,导致新资料表现较差。它不只发生在大模型,反复调规则或挑结果也可能对开发资料过拟合。

也叫过度拟合
2

使用 AI

科研里的例子

模型把某省固定公文句式当作融资支持信号,训练省份表现优秀,换省份便失效;回读错例才能发现依赖了模板。

一个灵活模型可以把噪声、模板或来源线索也当成规律,继续训练便让训练误差下降而验证误差不再改善甚至上升。诊断应比较独立样本,而不是只看训练曲线。更多代表性数据、适当正则、早停和任务设计都可能帮助,但每种措施都需验证。要区分过拟合与分布改变:新地区表现差可能同时涉及两者,不能把所有外部失败都归成训练轮数太多。

+

在你的学科里,直接拿去用

把数据分析要求写成可复现说明
请先为这项分析形成可复现的任务说明,再建议代码。
问题:[填写]
数据字典及已有规则:[提供]
可用软件与现有代码:[提供]
明确一行数据代表什么、样本范围、连接键、单位、缺失码、变量构造、估计对象和输出。区分描述分析与因果分析;缺少识别依据时不要把回归系数直接称为因果影响。给出小样本核对、异常记录和可重跑顺序。保留原始数据,所有转换写到派生结果并留记录;不能为得到显著结果修改数据或筛选规则。
方括号里的内容换成你自己的。来自知识增量《科研中英表达与 Prompt 指南》PG08
3

判断

亲手检查一次

画出训练与验证误差随轮次的变化,再按地区或文件来源分组重测,检查性能差距来自训练适应还是资料迁移。

它做不到的

训练分数高不自动等于过拟合;必须结合未见资料和目标分布判断,模型复杂也不意味着一定会失败。

Δ

增量,由你来写

读完这张,你的理解变了什么?

留言功能会在后面的版本开放。现在可以先在 X 上 @knowledgedelta 告诉我。

源

来源

卡片底稿由 AI 协助整理,经过核对;发现错误请告诉我。