知识增量Knowledge Deltav0.1无限进步

上下文窗口

Context Window
学到 会用 就够:能亲手用起来
你可能会说

“我给助手放入长篇学位论文,它当次能看多少,与下次还能记得多少一样吗?”

上下文窗口是模型一次处理时可纳入的词元范围,通常涵盖当前输入和部分生成预算。它是运行容量约束,不等于长期记忆,也不保证所有位置被同样有效利用。

先知道词元
也叫上下文长度、Context Length
2

使用 AI

科研里的例子

把多份县域报告放入长上下文比较政策变化,需抽查最前、中间、最后几份报告中的关键句是否都被准确引用。

应区分模型支持的最大长度、产品实际提供的长度和本次请求真正进入模型的长度。长材料可能被截断、摘要化或分段,界面能上传文件不证明每字都被同时处理。词元预算还会受消息格式与多模态输入影响。即使放得下,资料位置、干扰内容和任务难度仍会影响取用效果。因此科研记录既要写容量,也要测试关键证据是否被正确识别和交叉核对。

3

判断

亲手检查一次

制作一段包含三个人工编号事实的长文本,把同一关键事实换到前、中、后位置,重复问答并核对召回与出处。

它做不到的

上下文不是已学习权重,也不是数据库。不能把“支持长输入”直接写成“完整读懂全部资料”。

Δ

增量,由你来写

读完这张,你的理解变了什么?

留言功能会在后面的版本开放。现在可以先在 X 上 @knowledgedelta 告诉我。

源

来源

卡片底稿由 AI 协助整理,经过核对;发现错误请告诉我。