验证集
Validation Set
学到 会用 就够：能亲手用起来
你可能会说
“我反复看验证集来选模型，这会不会让最终的效果判断失去独立性？”
验证集用于选择设置、训练轮次或模型版本，通常不直接参与梯度更新。但选择行为会利用它的信息，因此它不能同时承担完全独立的最终测试职责。
使用 AI
科研里的例子
用若干未参与训练的县域报告选择分类阈值，再保留另一批县域作为最终测试，避免阈值恰好迎合测试资料。
如果反复试验并挑验证分数最高的方案，研究者实际上也在适应这批样本。试验越多，偶然优势越容易被选中。验证集因此应与训练资料隔离，并记录搜索范围、选择指标和尝试次数。对于时间预测或跨地区推广，划分方式还要接近应用条件。验证表现的用途是帮助做选择，而不是无条件估计所有未来情境的误差；必要时还需外部验证和重复划分。
判断
亲手检查一次
查看实验记录，圈出每一次依据某批样本做出的模型或规则调整；把这批样本标为开发用途，另留真正未见资料。
它做不到的
不更新梯度不等于完全没用过数据；拿验证集反复改标签规范，也会使后续分数偏向当前资料。
增量，由你来写
读完这张，你的理解变了什么？
留言功能会在后面的版本开放。现在可以先在 X 上 @knowledgedelta 告诉我。
来源
- Google · Datasets: Dividing the original dataset2026-11-06 核对
- Goodfellow 等 · Machine Learning Basics2026-11-06 核对
卡片底稿由 AI 协助整理，经过核对；发现错误请告诉我。