持续预训练
Continued Pretraining
学到 认得 就够：听到能明白
你可能会说
“我让模型继续读一批农业政策文本，这与用研究问答做微调是一回事吗？”
持续预训练从已有权重出发，继续使用预训练式目标学习新资料，常用于领域或任务语料适应。它与用问题—答案样本学习特定回应的监督微调有所区别。
使用 AI
科研里的例子
用合法取得的农业政策语料继续训练语言模型，之后仍用独立政策样本测试术语理解与字段提取，而不声称自动懂农业。
核心区分在学习目标，而不只在资料主题。把大量政策原文继续用于词元预测，属于常见的持续预训练思路；把政策段落配专家标签训练则是另一种适配。持续训练可能改善领域表达，也可能造成遗忘或把错误资料内化。它并不保证准确召回文件中每个数字。研究计划应先比较更便宜的表示和适配方案，再评估持续预训练是否带来可验证的任务收益。
判断
亲手检查一次
把两套资料各抽三条，写出训练输入与目标；判断是在预测原文片段，还是模仿专家答案，从而区分适配方式。
它做不到的
持续预训练不等于持续联网、自动更新或长期记忆；是否改善特定知识准确性，需要独立任务评价，不能靠训练损失判断。
增量，由你来写
读完这张，你的理解变了什么？
留言功能会在后面的版本开放。现在可以先在 X 上 @knowledgedelta 告诉我。