温度
Temperature
学到 会用 就够:能亲手用起来
你可能会说
“我担心文献助手编造事实,把温度调到很低就能解决吗?”
温度调整候选词元分布的尖锐程度:较低时更集中,较高时更分散。它主要控制生成选择的随机性,不是事实准确率旋钮,也不能把未知知识变成已知。
使用 AI
科研里的例子
低温输出政策摘要仍可能每次都编同一个年份;需要对照原文核日期,而非因为回答一致就接受。
常见做法把词元分数除以正温度后再做 softmax。分数排序通常不变,但候选间概率差距改变。温度趋低时更偏最大值,零温度往往由实现作为特殊的确定性模式处理,不能直接代入除法。其效果还与 top-p、top-k 和模型任务有关。科研流程应在固定模型下逐项比较,既看稳定性也看事实支持,防止稳定复现错误被误认为质量改善。
判断
亲手检查一次
给三项固定分数,用温度 0.5、1、2 分别计算 softmax,再核概率变化;另用真实材料比较多次输出的错误。
它做不到的
不同产品不一定开放或以同样方式实现温度;“温度高更有创造性”只是粗略描述,不能当成通用因果定律。
增量,由你来写
读完这张,你的理解变了什么?
留言功能会在后面的版本开放。现在可以先在 X 上 @knowledgedelta 告诉我。
来源
- Hugging Face · GenerationConfig2026-11-06 核对
- PyTorch · Softmax2026-11-06 核对
卡片底稿由 AI 协助整理,经过核对;发现错误请告诉我。