知识增量Knowledge Deltav0.1无限进步

首个输出等待时间

Time to First Token
学到 认得 就够:听到能明白
你可能会说

“我发送问题后界面长时间没有反应,之后却输出很快;衡量“多久开始回应”的 TTFT 与整篇完成时间有什么关系?”

TTFT 衡量请求发出后到首个生成输出单位到达的等待时间,常用于流式体验;它反映开始响应的快慢,不代表答案已完成或可使用。

也叫TTFT、首词延迟
2

使用 AI

科研里的例子

比较两种文献助手时,单独记录首次正文出现的时间,再记录最终提取表写完并通过校验的时间,避免把进度提示算正文。

测量时要说明从客户端发送、服务器接收还是排队结束开始,以及把哪个事件算作首个有效输出。网络缓冲、输入处理、排队和推理准备都会影响这个时间,有些系统先发状态事件而非正文。对科研助手,及时显示正在检索与真正开始生成答案应分别记录。TTFT 很低而后续工具循环很长,整项工作仍可能耗时较多。

3

判断

亲手检查一次

确认日志如何定义起点与首个输出,检查是否混入连接或进度事件;把 TTFT 与完整延迟并列,再解释实际体验差别。

它做不到的

TTFT 不是完整任务速度,首个事件也未必是文字;不同服务的监控口径可能不一致,直接比数值容易造成误判。

Δ

增量,由你来写

读完这张,你的理解变了什么?

留言功能会在后面的版本开放。现在可以先在 X 上 @knowledgedelta 告诉我。

源

来源

卡片底稿由 AI 协助整理,经过核对;发现错误请告诉我。