知识增量Knowledge Deltav0.1无限进步

训练集

Training Set
学到 会用 就够:能亲手用起来
你可能会说

“我整理文本分类实验的数据时,哪些材料算是真正参与学习的训练集?”

训练集是用于拟合模型参数的资料集合。训练表现反映模型对这批资料的适应程度,不能直接当作新资料上的效果;样本单位和划分方式需要明确记录。

先知道训练
也叫训练数据集
2

使用 AI

科研里的例子

把同一位农户的全部访谈放在同一个集合,避免模型在训练集记住其表达后,又在测试段落上获得虚高成绩。

训练数据可由输入、标签和其他监督信号组成。对文本任务而言,按段落随机切分可能让同一文件甚至相邻句出现在不同集合里,使表现看起来过好。训练集应按研究应用中的独立单位组织,例如整份报告、受访者或时间批次。样本数量之外,还要看覆盖和重复;大量模板化资料不等同于大量独立信息。数据版本变化后,模型比较也应重新说明口径。

3

判断

亲手检查一次

从划分表中随机抽取文件和受访者 ID,检查是否跨集合重复;另算去重前后资料量,记录实际独立样本单位。

它做不到的

训练集只是学习用途,不等于总体样本或人工真值;重复、多次采样和标签噪声都会改变有效信息量。

Δ

增量,由你来写

读完这张,你的理解变了什么?

留言功能会在后面的版本开放。现在可以先在 X 上 @knowledgedelta 告诉我。

源

来源

卡片底稿由 AI 协助整理,经过核对;发现错误请告诉我。