知识增量Knowledge Deltav0.1无限进步

层

Layer
学到 认得 就够:听到能明白
你可能会说

“我比较两个文本分类模型,层数更多究竟增加了什么?”

层是网络里承担一次特定变换的计算模块。不同层依次改变表示,隐藏层位于输入和最终输出之间;层可以包含参数,也可能只做固定运算。

先知道神经网络
也叫网络层、Network Layer
2

使用 AI

科研里的例子

文本编码器有多层表示,研究者可比较各层对政策类别的区分效果,但不把某一层直接命名为“制度理解层”。

层的作用取决于计算规则和连接方式。线性层组合输入,激活层引入非线性,注意力层交换位置间的信息;实际架构中的一个“块”又可能由多种层组成。因此报告层数时要看计数口径。把数据经过多层,不会自动得到更抽象、可解释的社会概念;中间表示与理论概念的对应关系,需要单独设计检验而不是从网络深度推定。

3

判断

亲手检查一次

查看一个公开模型的结构图,分别圈出线性层、激活与注意力模块,记录“层”和“块”的命名口径。

它做不到的

不同架构的层不能仅凭数量直接比较。界面写的层数,也不必等于论文里 Transformer 块的数量。

Δ

增量,由你来写

读完这张,你的理解变了什么?

留言功能会在后面的版本开放。现在可以先在 X 上 @knowledgedelta 告诉我。

源

来源

卡片底稿由 AI 协助整理,经过核对;发现错误请告诉我。