预训练
Pretraining
学到 认得 就够：听到能明白
你可能会说
“模型在接触我的任务前学了什么？”
预训练是在具体下游任务适配之前，通过较广泛资料学习通用表示或生成规律的阶段。语言预训练常从原始文本构造预测任务，但预训练并不限定一种数据或目标。
使用 AI
科研里的例子
用广泛文本预训练的模型分析农户访谈，可能熟悉普通语言，却缺少地方金融习惯与特定政策语境，需要独立检验。
预训练的优势是把可复用的统计规律先学进参数，使许多任务不必从随机状态开始。生成语言模型可预测后续词元，编码模型可预测被遮住的词，视觉模型也有自己的目标。资料数量、筛选方式和训练分布决定了可学内容与局限。预训练阶段结束并不意味着知识被核验完毕，时间覆盖、语言偏差和文本里的错误仍可能影响之后的所有适配应用。
判断
亲手检查一次
读一份模型说明，找出预训练目标、资料范围和后续适配阶段，标记哪些信息已公开，哪些只能写未知。
它做不到的
预训练不等于人工逐条教知识，也不保证掌握训练资料中每一个事实；预训练日期不能精确替代事实覆盖范围。
增量，由你来写
读完这张，你的理解变了什么？
留言功能会在后面的版本开放。现在可以先在 X 上 @knowledgedelta 告诉我。
来源
- Brown 等 · Language Models are Few-Shot Learners2026-11-06 核对
- Devlin 等 · BERT2026-11-06 核对
卡片底稿由 AI 协助整理，经过核对；发现错误请告诉我。