知识增量Knowledge Deltav0.1无限进步

词元分数

Logits
学到 认得 就够:听到能明白
你可能会说

“我查看模型提取文献字段时的词元分数,为什么负数不表示负概率?”

Logits 是模型在转成候选概率之前输出的原始分数,可以为任意实数。它们的相对差异影响选词;分数本身不是概率,也不是一句回答真实程度的置信分。

先知道词元
也叫Logit Scores、输出 logits
2

使用 AI

科研里的例子

模型在“增加”和“减少”之间的输出分数受上下文影响,但不能由两个词的概率差直接估计真实政策效果方向。

输出层常为词表中的每个候选算一个分数,再用 softmax 等规则得到非负且和为一的分布。给所有 logits 同加一个常数,不改变 softmax 结果;温度则改变分数差的尺度。理解这种相对性有助于避免把某次高 logit 当成绝对信心。即便得到词元概率,它描述的也是给定上下文中的生成倾向,不能直接当成某项研究判断、政策事实或引用真实性的概率。

3

判断

亲手检查一次

对分数 [1,2,3] 与 [11,12,13] 手算 softmax,确认相同;再比较乘以 2 后的变化,理解平移与缩放不同。

它做不到的

Logits 与逻辑回归中 log-odds 相关却不能在所有模型里逐项混同;文本词元分数也不等于分类任务的校准概率。

Δ

增量,由你来写

读完这张,你的理解变了什么?

留言功能会在后面的版本开放。现在可以先在 X 上 @knowledgedelta 告诉我。

源

来源

卡片底稿由 AI 协助整理,经过核对;发现错误请告诉我。