延迟
Latency
学到 认得 就够:听到能明白
你可能会说
“两个助手最终答案差不多,一个很久才开始输出,另一个很快出字但收尾慢;我该用哪个时间指标比较体验?”
延迟是从某个起点到所关心结果出现的时间,必须说明是首个输出、完整回答还是整项任务完成;不同口径反映不同瓶颈。
使用 AI
科研里的例子
比较论文提取方案时,分别记录首次反馈、单篇完成和整批核验耗时,再看错引与漏项数量,避免只比页面出字速度。
端到端任务耗时可能包含排队、网络、资料检索、模型处理、工具执行和写入。开始输出的时间短,不能保证最后完成也快;减少模型调用有时有效,有时工具等待才是主要瓶颈。优化应保持质量约束,不能仅靠删掉核验步骤换取表面速度。科研任务还需把人工复核时间计算进去,否则自动生成很快但返工很多,未必更高效。
判断
亲手检查一次
先定义时间起止点,在相同材料和负载下重复测量,区分工具与模型耗时,并同时记录质量,避免只报最好的一次。
它做不到的
延迟不是模型智力分数,也不等于输出吞吐量;一次本地网络异常不能说明某个模型普遍更慢或某套方法无效。
增量,由你来写
读完这张,你的理解变了什么?
留言功能会在后面的版本开放。现在可以先在 X 上 @knowledgedelta 告诉我。