训练集
Training Set
学到 会用 就够:能亲手用起来
你可能会说
“我整理文本分类实验的数据时,哪些材料算是真正参与学习的训练集?”
训练集是用于拟合模型参数的资料集合。训练表现反映模型对这批资料的适应程度,不能直接当作新资料上的效果;样本单位和划分方式需要明确记录。
使用 AI
科研里的例子
把同一位农户的全部访谈放在同一个集合,避免模型在训练集记住其表达后,又在测试段落上获得虚高成绩。
训练数据可由输入、标签和其他监督信号组成。对文本任务而言,按段落随机切分可能让同一文件甚至相邻句出现在不同集合里,使表现看起来过好。训练集应按研究应用中的独立单位组织,例如整份报告、受访者或时间批次。样本数量之外,还要看覆盖和重复;大量模板化资料不等同于大量独立信息。数据版本变化后,模型比较也应重新说明口径。
判断
亲手检查一次
从划分表中随机抽取文件和受访者 ID,检查是否跨集合重复;另算去重前后资料量,记录实际独立样本单位。
它做不到的
训练集只是学习用途,不等于总体样本或人工真值;重复、多次采样和标签噪声都会改变有效信息量。
增量,由你来写
读完这张,你的理解变了什么?
留言功能会在后面的版本开放。现在可以先在 X 上 @knowledgedelta 告诉我。