知识增量Knowledge Deltav0.1无限进步

温度

Temperature
学到 会用 就够:能亲手用起来
你可能会说

“我担心文献助手编造事实,把温度调到很低就能解决吗?”

温度调整候选词元分布的尖锐程度:较低时更集中,较高时更分散。它主要控制生成选择的随机性,不是事实准确率旋钮,也不能把未知知识变成已知。

先知道随机采样
也叫采样温度
2

使用 AI

科研里的例子

低温输出政策摘要仍可能每次都编同一个年份;需要对照原文核日期,而非因为回答一致就接受。

常见做法把词元分数除以正温度后再做 softmax。分数排序通常不变,但候选间概率差距改变。温度趋低时更偏最大值,零温度往往由实现作为特殊的确定性模式处理,不能直接代入除法。其效果还与 top-p、top-k 和模型任务有关。科研流程应在固定模型下逐项比较,既看稳定性也看事实支持,防止稳定复现错误被误认为质量改善。

3

判断

亲手检查一次

给三项固定分数,用温度 0.5、1、2 分别计算 softmax,再核概率变化;另用真实材料比较多次输出的错误。

它做不到的

不同产品不一定开放或以同样方式实现温度;“温度高更有创造性”只是粗略描述,不能当成通用因果定律。

Δ

增量,由你来写

读完这张,你的理解变了什么?

留言功能会在后面的版本开放。现在可以先在 X 上 @knowledgedelta 告诉我。

源

来源

卡片底稿由 AI 协助整理,经过核对;发现错误请告诉我。