自注意力
Self-Attention
学到 认得 就够：听到能明白
你可能会说
“我整理访谈时发现同一个词有不同含义，自注意力怎样利用一句话里的其他词？”
自注意力让同一序列内的位置相互提供信息，使一个词元的表示依赖周围内容。“自”指查询、键和值来自同一序列，而不是模型在自我反思。
使用 AI
科研里的例子
“资本”在资本金和文化资本里含义不同；文本模型可以利用邻近词调整表示，研究编码仍需保留概念判定标准。
在一层自注意力中，各位置由自己的表示产生查询、键和值，再按匹配关系汇集信息。是否能看到后文，要看掩码：双向编码器可利用两边，生成式解码器通常只能利用此前位置。这样，同一个词元可在不同上下文里得到不同表示。它是建模依赖的方法，但并不自动识别正确的社会语境，尤其当表达含隐喻、方言或跨段信息时，仍可能失误。
判断
亲手检查一次
在可视化中比较同一词在两句话里的连线，再分别画双向可见和只看前文的遮挡规则，检查两种任务为何不同。
它做不到的
自注意力不是自主学习，也不是反思机制；可见位置的范围受到架构、掩码和运行长度的共同限制。
增量，由你来写
读完这张，你的理解变了什么？
留言功能会在后面的版本开放。现在可以先在 X 上 @knowledgedelta 告诉我。