知识增量Knowledge Deltav0.1无限进步

贪心解码

Greedy Decoding
学到 会用 就够:能亲手用起来
你可能会说

“我让助手写文献摘要,每一步都挑概率最大的词,整段就会最好吗?”

贪心解码每一步选择当前概率最高的候选,直到停止条件满足。它通常更确定、计算简单,但局部最好不保证整段概率最高,更不保证内容真实或任务质量最好。

先知道解码策略
也叫Greedy Search
2

使用 AI

科研里的例子

用贪心方式输出政策类别能减少标签措辞变化,但若模型把某类概念学错,每次都会稳定地给出同一个错标签。

词元选择会改变后续分布,当前略低概率的词可能引出整体更好的序列,而贪心不会回头比较。它适合需要可重复输出的某些任务,却可能出现重复、僵化或过早结束。即使同一环境下结果稳定,也只能说明决策路径稳定,不能消除模型偏差。研究者应把确定性当作运行属性,另以人工或任务规则检查正确性,并记录停止条件与输出长度限制。

3

判断

亲手检查一次

构造两层概率树:首步最大候选后续概率很低,另一首步略低却后续很高,手算整条路径乘积比较。

它做不到的

贪心不等于最优文本搜索;不同硬件或实现仍可能影响极近分数处的选择,不能承诺跨环境逐字一致。

Δ

增量,由你来写

读完这张,你的理解变了什么?

留言功能会在后面的版本开放。现在可以先在 X 上 @knowledgedelta 告诉我。

源

来源

卡片底稿由 AI 协助整理,经过核对;发现错误请告诉我。