知识增量Knowledge Deltav0.1无限进步

前 k 项采样

Top-k Sampling
学到 会用 就够:能亲手用起来
你可能会说

“我想控制模型写研究笔记时的选词范围,只保留概率最高的前几个词会怎样?”

Top-k 采样把候选限制为当前分数最高的 k 个词元,再在保留集合里抽取。它按数量截断,而 top-p 按累计概率截断;k 不是输出字数或答案数量。

先知道随机采样
也叫Top-k、top_k
2

使用 AI

科研里的例子

生成研究标题时调整 top-k 可改变措辞范围,但不会自动提高题目的理论价值;需按预先给定标准比较多次样本。

同样的 k 在集中和分散的预测分布中,代表不同的信息保留比例。k 小可能删掉有用替代项,k 大又可能包含不可靠尾部。与温度、重复惩罚等共同使用时,最终分布取决于整体顺序和设置。科研比较应一次只改有解释意义的配置,并报告内容与格式的变化,不把一个较好的随机样本当成参数普遍最优的证据。

3

判断

亲手检查一次

用六个候选概率分别计算 k=2、4 时保留的总质量,并重新归一化,比较它与同质量 top-p 集合是否一致。

它做不到的

Top-k 不等于取前 k 篇文献,也不是模型同时比较 k 个完整答案;有些产品不支持此参数或使用不同默认。

Δ

增量,由你来写

读完这张,你的理解变了什么?

留言功能会在后面的版本开放。现在可以先在 X 上 @knowledgedelta 告诉我。

源

来源

卡片底稿由 AI 协助整理,经过核对;发现错误请告诉我。