知识增量Knowledge Deltav0.1无限进步

Softmax 函数

Softmax
学到 认得 就够:听到能明白
你可能会说

“我读模型输出层的介绍时想知道,Softmax 怎样把分数转换成一组概率?”

Softmax 对一组实数分别取指数,再除以指数总和,把分数转成非负、总和为一的分布。它是一种数学映射,形式上像概率并不保证对应真实正确率。

也叫归一化指数函数
2

使用 AI

科研里的例子

政策分类器为三类输出总和为一的概率,但若高分样本经常错判,就需检查校准和样本漂移,不能直接据此给结论加权。

指数放大分数差,归一化让候选之间相互竞争,因此某项分数不变时,其他项改变仍会影响它的概率。为数值稳定,实际计算可先减去最大分数而不改变结果。Softmax 常用于分类与词元生成,但模型训练、数据分布和校准决定概率解释是否可靠。对研究者而言,应区分“输出满足概率形式”与“预测与现实频率相符”两件事,不能仅凭函数形式获得后者。

3

判断

亲手检查一次

用计算器把 [0,0,0] 转为三项相等分布,再把一项提高,观察所有概率如何联动,检验它们总和为一。

它做不到的

Softmax 不是证据核验、置信区间或事实概率生成器;输出类别集合改变时,原有类别的分数也可能重分配。

Δ

增量,由你来写

读完这张,你的理解变了什么?

留言功能会在后面的版本开放。现在可以先在 X 上 @knowledgedelta 告诉我。

源

来源

卡片底稿由 AI 协助整理,经过核对;发现错误请告诉我。