注意力机制
Attention
学到 认得 就够：听到能明白
你可能会说
“我看见模型把注意力分配给某些词，这能解释它为什么作出这个研究判断吗？”
注意力机制根据当前查询与候选信息的匹配程度，对候选表示加权组合。这里的“关注”是数值运算，不表示机器拥有人的注意或理解体验。
使用 AI
科研里的例子
生成政策摘要时，不同句子可能对当前输出有不同权重；要确认是否遗漏核心条款，仍须把摘要对照原文。
常用表述是查询 Q、键 K 与值 V：查询与键产生匹配分数，分数经归一化后成为权重，再用于汇总值。权重会随输入和位置变化，因此比固定平均更灵活。它允许模型在生成一个输出时利用不同信息。可是权重只是整个网络计算的一环，其大小并不等同于因果贡献；若要解释某资料如何影响答案，还应结合输入扰动、消融和其他检验。
判断
亲手检查一次
给三条信息手工设置 0.6、0.3、0.1 的权重算加权平均，再改变查询对应的权重，观察结果如何变化。
它做不到的
注意力图可以帮助观察计算，不直接证明模型推理路径、文本重要性或某个因素的因果效应。
增量，由你来写
读完这张，你的理解变了什么？
留言功能会在后面的版本开放。现在可以先在 X 上 @knowledgedelta 告诉我。
来源
- Bahdanau 等 · Neural Machine Translation by Jointly Learning to Align and Translate2026-11-06 核对
- D2L · Attention Scoring Functions2026-11-06 核对
卡片底稿由 AI 协助整理，经过核对；发现错误请告诉我。