输入预填充
Prefill
学到 认得 就够：听到能明白
你可能会说
“我放入长篇研究材料后，第一个字为什么要等很久才出现？”
Prefill 是常见自回归生成流程中先处理已有输入的阶段，计算其表示并建立注意力缓存。它常影响首个词元等待时间，与之后逐步输出的速度是不同性能问题。
使用 AI
科研里的例子
比较两种模型总结同一长报告，记录提交到首个词出现和首词到结束两段时间，避免只凭最后输出速度评优。
输入整段已经可见，因此可在因果掩码规则下并行处理多个位置；这不同于必须等待前一步结果的逐词生成。输入越长，预填充的计算与内存访问通常越重，具体增长取决于架构和实现。界面显示的等待还包括网络与排队，不可全归为 prefill。科研比较模型处理长资料时，应把首词等待、后续生成与总完成时间分开记录，才知道瓶颈究竟在哪一段。
判断
亲手检查一次
固定输出长度，把输入逐步加长，分别记首词等待和后续每秒输出；同时记录网络与排队可能造成的干扰。
它做不到的
Prefill 不是预训练或微调，也不是平台排队；无可用运行日志时，界面首词延迟只能作近似观察。
增量，由你来写
读完这张，你的理解变了什么？
留言功能会在后面的版本开放。现在可以先在 X 上 @knowledgedelta 告诉我。