解码器
Decoder
学到 认得 就够：听到能明白
你可能会说
“我读文献翻译模型的说明时遇到解码器，它是在把某种密码翻译回来吗？”
解码器根据已有表示或已生成内容构造输出。在文本生成里，它常逐个预测词元；这是一种条件生成结构，不能按字面理解为还原隐藏的标准答案。
使用 AI
科研里的例子
把中文访谈摘要译成英文时，解码器一边利用中文表示，一边依赖已生成英文，因此早期误译可能影响后续表达。
编码器—解码器系统中，解码器结合输入表示和此前目标词元生成后续内容；仅解码器语言模型则把输入与输出置于同一序列中处理。因果掩码避免当前预测使用尚未生成的位置。训练时可以同时计算多个位置的预测损失，但真正逐步生成时，后一步依赖前一步结果。这也解释了为什么训练的并行方式与推理的逐步行为并不矛盾。
判断
亲手检查一次
画出同一翻译任务的源文本、编码表示、已生成词元和下一个词元，说明解码器在每一步能用哪些信息。
它做不到的
解码器模块与“解码策略”不同：前者计算预测分布，后者决定怎样从分布中选词，两者不能混写。
增量，由你来写
读完这张，你的理解变了什么？
留言功能会在后面的版本开放。现在可以先在 X 上 @knowledgedelta 告诉我。
来源
- D2L · The Encoder–Decoder Architecture2026-11-06 核对
- Brown 等 · Language Models are Few-Shot Learners2026-11-06 核对
卡片底稿由 AI 协助整理，经过核对；发现错误请告诉我。