测试时计算
Test-Time Compute
学到 认得 就够:听到能明白
你可能会说
“我想让模型仔细检查识别策略,多给它一些回答时的计算资源有什么作用?”
测试时计算是模型使用阶段投入的计算资源,可用于更长生成、更多候选、搜索或检查。增加预算有时改善求解,但收益依赖任务、模型和如何分配,不是时间越长越正确。
使用 AI
科研里的例子
用更多候选核一段统计推导,若每条都沿用同一错误假设,额外计算不会产生有效证据,需先验证前提。
与增加预训练规模不同,这条路线在参数大致固定时改变运行方式。可以并行产生候选后筛选,也可序贯修订;若筛选器不可靠,多生成还可能放大错误。效果通常与问题难度相关,因此比较需固定资源或清楚报告成本。社科研究中尤其不能把网页等待时间当作实际思考量:排队、网络和工具耗时都可能混在其中,应以可获得的运行信息与任务结果判断。
判断
亲手检查一次
对同一组可验证题目设置两种预算,比较正确数与耗时,记录增益集中在哪些题目,避免只展示成功个例。
它做不到的
测试时不是最终测试集专用时间;计算预算也不等于可见解释字数,额外输出更长不代表更可靠。
增量,由你来写
读完这张,你的理解变了什么?
留言功能会在后面的版本开放。现在可以先在 X 上 @knowledgedelta 告诉我。