知识增量Knowledge Deltav0.1无限进步

提示缓存

Prompt caching
学到 认得 就够:听到能明白
你可能会说

“我反复用同一套分类规则处理不同文章,为什么有人说缓存能节约处理开销?它会把上次答案原样拿来吗?”

提示缓存复用请求中可重复处理的输入部分,减少某些重复计算或费用;通常不是缓存最终答案,也不意味着模型永久记住了你的项目。

也叫上下文缓存、前缀缓存
2

使用 AI

科研里的例子

将共同的政策编码规则和示例放在前面,每次只替换待编码段落;比较日志中的缓存命中,而不是假定所有输入都复用。

许多实现依赖相同的输入前缀或明确缓存断点,规则和示例稳定时更容易复用。支持条件、有效期、命中方式和价格会随平台与模型改变,不能沿用过期教程。即使输入被缓存,每次生成仍可能不同。科研任务应先把稳定规则与变化材料分开,再根据实际命中与成本记录判断收益,同时留意缓存与数据保留政策是相关但不同的问题。

3

判断

亲手检查一次

在相同任务条件下检查命中统计、延迟和账单口径,确认稳定前缀没有夹入不断变化内容,并核对当前官方保留规则。

它做不到的

缓存不是长期知识库,也不能保证输出相同;缓存期限、计费单位和可用模型属于产品实现,不能泛化成所有 API 的特性。

Δ

增量,由你来写

读完这张,你的理解变了什么?

留言功能会在后面的版本开放。现在可以先在 X 上 @knowledgedelta 告诉我。

源

来源

卡片底稿由 AI 协助整理,经过核对;发现错误请告诉我。