激活函数
Activation Function
学到 认得 就够：听到能明白
你可能会说
“我看文本模型的结构图时遇到激活函数，为什么还需要这一步？”
激活函数对中间计算结果作变换，常用非线性形式，使网络能表达弯曲、阈值与复杂组合关系。没有非线性，多层线性运算仍可合成一次线性变换。
使用 AI
科研里的例子
某文本特征只有与另一特征同时出现才指向特定政策工具；非线性网络可以表达这种组合，而非只加总词频。
激活并不是让网络开始工作，而是计算结构中的函数。以 ReLU 为例，负输入变成零，正输入保留，简单规则组合后能形成复杂的分段响应。不同激活函数会影响梯度传播和优化稳定性，但不存在脱离任务与架构的万能选择。对初学者，更重要的是看懂线性组合与非线性变换各做什么，避免把“神经网络”当作一个无内部结构的黑盒名称。
判断
亲手检查一次
用表格给 x 取 -2、-1、0、1、2，计算 max(0,x)，再比较两层纯线性变换与加入该函数后的形状。
它做不到的
激活值大小不直接等于概念重要性；ReLU、GELU 是不同函数，不能当作同义词或统一解释其所有行为。
增量，由你来写
读完这张，你的理解变了什么？
留言功能会在后面的版本开放。现在可以先在 X 上 @knowledgedelta 告诉我。