知识蒸馏
Knowledge Distillation
学到 认得 就够：听到能明白
你可能会说
“我想用小模型替代大型文献助手，知识蒸馏能把老师模型的全部能力传过去吗？”
蒸馏用较强模型或模型集成的输出来训练另一个模型，使学生模仿特定行为或概率结构。它可以压缩模型或迁移能力，但不会自动复制老师的全部能力。
使用 AI
科研里的例子
让大模型生成政策分类候选标签，人工校正后训练小模型；留出新政策评估，避免把教师分数当作唯一真值。
早期方法利用软概率目标，告诉学生不同类别之间的相对倾向；现在也常用教师生成的回答、过程或中间表示作为监督。学生最终学到什么，受样本覆盖、容量和目标限制。教师的错误也可能随资料一起传递，因此蒸馏需要独立评价，而非只测对教师输出的相似度。对科研应用，还要区分模仿一个工具的输出，与直接拥有其证据来源和核验过程。
判断
亲手检查一次
对同一批资料并排比较教师、学生和人工标签，分别算学生对老师的一致率与对人工的正确率，看看两者差别。
它做不到的
蒸馏不等于下载、量化或复制权重；学生可能继承错误，是否更快更省也取决于其架构与部署环境。
增量，由你来写
读完这张，你的理解变了什么？
留言功能会在后面的版本开放。现在可以先在 X 上 @knowledgedelta 告诉我。