知识增量Knowledge Deltav0.1无限进步

上下文学习

In-Context Learning
学到 认得 就够:听到能明白
你可能会说

“我给了几条文献提取范例后模型答得更好,这就表示它已经被重新训练了吗?”

上下文学习指模型利用当前输入中的示例或说明改变本次任务表现,通常不更新权重。它与微调最大的实践区别,是变化主要发生在本次可见内容,而不是保存成新参数。

也叫ICL、情境学习
2

使用 AI

科研里的例子

先给三段政策及人工标签,再让模型编码新段落;若没有训练更新,应写“提供标注示例辅助判断”,而非声称微调。

预训练后的模型可能从示例中识别任务模式、标签映射或表达规范,再据此生成结果。这种适应受示例顺序、覆盖和输入长度影响,不能因为少量成功就断言学会了完整概念。移除示例或换一段上下文,行为可能改变。科研应用应保留实际示例和选择规则,并用未展示过的材料评价,避免只用典型例子诱导出漂亮结果,却没有检验困难边界和跨来源稳定性。

3

判断

亲手检查一次

固定测试材料,分别不给示例、给典型示例、给边界示例,再更换顺序,记录结果变化及对规范的遵从。

它做不到的

ICL 中的学习是行为现象名称,不代表永久记忆;示例还可能被直接模仿,不能自动当成对研究概念的稳定掌握。

Δ

增量,由你来写

读完这张,你的理解变了什么?

留言功能会在后面的版本开放。现在可以先在 X 上 @knowledgedelta 告诉我。

源

来源

卡片底稿由 AI 协助整理,经过核对;发现错误请告诉我。