层
Layer
学到 认得 就够:听到能明白
你可能会说
“我比较两个文本分类模型,层数更多究竟增加了什么?”
层是网络里承担一次特定变换的计算模块。不同层依次改变表示,隐藏层位于输入和最终输出之间;层可以包含参数,也可能只做固定运算。
使用 AI
科研里的例子
文本编码器有多层表示,研究者可比较各层对政策类别的区分效果,但不把某一层直接命名为“制度理解层”。
层的作用取决于计算规则和连接方式。线性层组合输入,激活层引入非线性,注意力层交换位置间的信息;实际架构中的一个“块”又可能由多种层组成。因此报告层数时要看计数口径。把数据经过多层,不会自动得到更抽象、可解释的社会概念;中间表示与理论概念的对应关系,需要单独设计检验而不是从网络深度推定。
判断
亲手检查一次
查看一个公开模型的结构图,分别圈出线性层、激活与注意力模块,记录“层”和“块”的命名口径。
它做不到的
不同架构的层不能仅凭数量直接比较。界面写的层数,也不必等于论文里 Transformer 块的数量。
增量,由你来写
读完这张,你的理解变了什么?
留言功能会在后面的版本开放。现在可以先在 X 上 @knowledgedelta 告诉我。
来源
- Goodfellow 等 · Deep Feedforward Networks2026-11-06 核对
- D2L · The Transformer Architecture2026-11-06 核对
卡片底稿由 AI 协助整理,经过核对;发现错误请告诉我。