词元分数
Logits
学到 认得 就够:听到能明白
你可能会说
“我查看模型提取文献字段时的词元分数,为什么负数不表示负概率?”
Logits 是模型在转成候选概率之前输出的原始分数,可以为任意实数。它们的相对差异影响选词;分数本身不是概率,也不是一句回答真实程度的置信分。
使用 AI
科研里的例子
模型在“增加”和“减少”之间的输出分数受上下文影响,但不能由两个词的概率差直接估计真实政策效果方向。
输出层常为词表中的每个候选算一个分数,再用 softmax 等规则得到非负且和为一的分布。给所有 logits 同加一个常数,不改变 softmax 结果;温度则改变分数差的尺度。理解这种相对性有助于避免把某次高 logit 当成绝对信心。即便得到词元概率,它描述的也是给定上下文中的生成倾向,不能直接当成某项研究判断、政策事实或引用真实性的概率。
判断
亲手检查一次
对分数 [1,2,3] 与 [11,12,13] 手算 softmax,确认相同;再比较乘以 2 后的变化,理解平移与缩放不同。
它做不到的
Logits 与逻辑回归中 log-odds 相关却不能在所有模型里逐项混同;文本词元分数也不等于分类任务的校准概率。
增量,由你来写
读完这张,你的理解变了什么?
留言功能会在后面的版本开放。现在可以先在 X 上 @knowledgedelta 告诉我。