自回归生成
Autoregressive Generation
学到 认得 就够：听到能明白
你可能会说
“我让模型续写研究笔记，它为什么总是一个词元接一个词元地生成？”
自回归生成把一个序列的概率分解为逐步条件概率，每一步依赖此前内容预测下一项。文本模型常按词元推进，所以早期选择会改变后续生成条件。
使用 AI
科研里的例子
模型先把“相关”写成“导致”，后面就可能顺着因果口吻补解释；一次局部选择会改变后续摘要方向。
用概率语言写，就是一段文本的联合概率等于各位置条件概率相乘。训练时可让真实前文为每个位置提供条件并并行计算损失；生成时却通常只能把自己刚选出的词元接回前文。这个机制能组合出新内容，也会累积错误，并不保证全篇最优或事实一致。社科使用者应检查完整输出，不能因为首句正确就假定后文没有偏移或无依据补充。
判断
亲手检查一次
手写一个只含三个词元的概率树，选定第一步后比较第二步候选；观察逐步最高概率路径为何未必是全句最优。
它做不到的
自回归描述条件依赖，不意味着所有生成模型都如此；扩散式生成等有不同路径，也不能用它解释全部 AI。
增量，由你来写
读完这张，你的理解变了什么？
留言功能会在后面的版本开放。现在可以先在 X 上 @knowledgedelta 告诉我。
来源
- Brown 等 · Language Models are Few-Shot Learners2026-11-06 核对
- Hugging Face · How to generate text2026-11-06 核对
卡片底稿由 AI 协助整理，经过核对；发现错误请告诉我。