首个输出等待时间
Time to First Token
学到 认得 就够:听到能明白
你可能会说
“我发送问题后界面长时间没有反应,之后却输出很快;衡量“多久开始回应”的 TTFT 与整篇完成时间有什么关系?”
TTFT 衡量请求发出后到首个生成输出单位到达的等待时间,常用于流式体验;它反映开始响应的快慢,不代表答案已完成或可使用。
使用 AI
科研里的例子
比较两种文献助手时,单独记录首次正文出现的时间,再记录最终提取表写完并通过校验的时间,避免把进度提示算正文。
测量时要说明从客户端发送、服务器接收还是排队结束开始,以及把哪个事件算作首个有效输出。网络缓冲、输入处理、排队和推理准备都会影响这个时间,有些系统先发状态事件而非正文。对科研助手,及时显示正在检索与真正开始生成答案应分别记录。TTFT 很低而后续工具循环很长,整项工作仍可能耗时较多。
判断
亲手检查一次
确认日志如何定义起点与首个输出,检查是否混入连接或进度事件;把 TTFT 与完整延迟并列,再解释实际体验差别。
它做不到的
TTFT 不是完整任务速度,首个事件也未必是文字;不同服务的监控口径可能不一致,直接比数值容易造成误判。
增量,由你来写
读完这张,你的理解变了什么?
留言功能会在后面的版本开放。现在可以先在 X 上 @knowledgedelta 告诉我。
来源
- OpenAI — Latency optimization2026-11-06 核对
- OpenAI — Streaming API responses2026-11-06 核对
卡片底稿由 AI 协助整理,经过核对;发现错误请告诉我。