位置编码

Positional Encoding

学到认得就够：听到能明白

你可能会说

“我读政策文本模型的结构说明时想知道，它怎样分辨句子中词的先后顺序？”

位置编码为序列表示补充顺序或距离信息，使模型区分同样词元的不同排列。它有固定、可学习和旋转等多种实现，RoPE 只是其中一种方法。

也叫Position Encoding、位置表示

使用 AI

科研里的例子

读取合同中“先付款再交货”与“先交货再付款”时，词基本相同，顺序却改变了权责关系与风险判断。

注意力本身依靠内容匹配，如果缺少顺序信息，难以区分“甲帮助乙”和“乙帮助甲”的结构差别。位置方法可以把位置向量加入表示，也可在查询与键的计算中引入相对位置关系。RoPE 通过旋转变换编码位置关联。训练长度外的行为还取决于训练与扩展策略，并不会因使用某种位置编码就自动获得无限、可靠的长文本理解。

亲手检查一次

交换一句话中的主客体或先后条款，再观察模型解释是否随关系改变；把错误与原句位置对应起来，而非只核词表。

它做不到的

位置编码和时间戳不是一回事；序列中的位置也不必对应真实事件时间，不能用模型顺序代替历史事实。

读完这张，你的理解变了什么？

留言功能会在后面的版本开放。现在可以先在 X 上 @knowledgedelta 告诉我。

源

卡片底稿由 AI 协助整理，经过核对；发现错误请告诉我。