知识增量Knowledge Deltav0.1无限进步

核采样

Nucleus Sampling
学到 会用 就够:能亲手用起来
你可能会说

“我给访谈摘要助手设置 top-p=0.9,这表示它有九成正确率吗?”

Top-p 从高到低累加候选概率,只保留达到指定累计质量的一组候选,再在其中采样。它控制的是下一词元候选范围,0.9 不表示答案有九成概率真实。

先知道随机采样
也叫Top-p、top_p
2

使用 AI

科研里的例子

生成访谈提纲时,较小候选范围可能让问题更常规;但是否符合地方语境和研究伦理,仍须根据任务审查。

与固定保留若干词不同,核采样的候选数量会随分布形状变化:分布集中时可能只留少数,分散时可留较多。截断意在减少低概率尾部带来的异常,同时保留一定多样性。实际生成还可能先调整温度或应用其他过滤,顺序与实现都会影响结果。研究者应记录具体参数,并用任务评价确定效果,不能把概率质量阈值拿来当证据强度或置信区间。

3

判断

亲手检查一次

给候选概率 0.5、0.25、0.15、0.1,手算 p=0.7 和 0.9 时留下哪些项,说明候选数为何可变。

它做不到的

Top-p 只在相应采样实现中起作用,不能替代知识核验;它与精确率、统计 p 值和覆盖率都不是同一指标。

Δ

增量,由你来写

读完这张,你的理解变了什么?

留言功能会在后面的版本开放。现在可以先在 X 上 @knowledgedelta 告诉我。

源

来源

卡片底稿由 AI 协助整理,经过核对;发现错误请告诉我。