知识增量Knowledge Deltav0.1无限进步

束搜索

Beam Search
学到 认得 就够:听到能明白
你可能会说

“我看到翻译模型保留多个候选继续生成,束搜索能保证最后选到最佳译文吗?”

束搜索每一步保留有限数量的高分候选序列,再继续扩展和筛选。它比贪心考虑更多路径,常用于序列任务,但有限束宽仍不是穷举,也不保证生成更符合人的质量判断。

先知道解码策略
也叫Beam Decoding
2

使用 AI

科研里的例子

翻译访谈摘要时保留几条候选可供比较,但每条仍要核专业术语和原意,不能只按模型累积得分自动定稿。

束宽控制保留路径数,序列分数通常基于词元概率累积,并可能加长度修正。扩大束宽增加计算量,却可能更加偏爱高概率的模板化表达。开放文本中,概率高与自然、有信息量并不总一致;因此束搜索不是所有生成任务的升级按钮。科研使用若涉及翻译或固定格式任务,应在真实样本上比较,而不是直接把更大束宽解释成更强逻辑能力。

3

判断

亲手检查一次

用一个小概率树手动保留束宽为 1 和 2 的候选,观察哪条路径会提前被丢掉,再理解有限搜索的局限。

它做不到的

束搜索不是让多个模型独立思考;束宽、长度惩罚和候选去重规则会影响结果,不能只写“多候选”而不说明。

Δ

增量,由你来写

读完这张,你的理解变了什么?

留言功能会在后面的版本开放。现在可以先在 X 上 @knowledgedelta 告诉我。

源

来源

卡片底稿由 AI 协助整理,经过核对;发现错误请告诉我。