知识增量Knowledge Deltav0.1无限进步

测试时计算

Test-Time Compute
学到 认得 就够:听到能明白
你可能会说

“我想让模型仔细检查识别策略,多给它一些回答时的计算资源有什么作用?”

测试时计算是模型使用阶段投入的计算资源,可用于更长生成、更多候选、搜索或检查。增加预算有时改善求解,但收益依赖任务、模型和如何分配,不是时间越长越正确。

先知道推理运行
也叫Inference-Time Compute、TTC
2

使用 AI

科研里的例子

用更多候选核一段统计推导,若每条都沿用同一错误假设,额外计算不会产生有效证据,需先验证前提。

与增加预训练规模不同,这条路线在参数大致固定时改变运行方式。可以并行产生候选后筛选,也可序贯修订;若筛选器不可靠,多生成还可能放大错误。效果通常与问题难度相关,因此比较需固定资源或清楚报告成本。社科研究中尤其不能把网页等待时间当作实际思考量:排队、网络和工具耗时都可能混在其中,应以可获得的运行信息与任务结果判断。

3

判断

亲手检查一次

对同一组可验证题目设置两种预算,比较正确数与耗时,记录增益集中在哪些题目,避免只展示成功个例。

它做不到的

测试时不是最终测试集专用时间;计算预算也不等于可见解释字数,额外输出更长不代表更可靠。

Δ

增量,由你来写

读完这张,你的理解变了什么?

留言功能会在后面的版本开放。现在可以先在 X 上 @knowledgedelta 告诉我。

源

来源

卡片底稿由 AI 协助整理,经过核对;发现错误请告诉我。