知识增量Knowledge Deltav0.1无限进步

权重

Weight
学到 认得 就够:听到能明白
你可能会说

“我拿到一份模型权重,它里面存的是别人逐条写好的研究知识吗?”

权重是模型计算中控制输入和中间表示如何组合的数值,通常通过训练得到。发布时所说的“权重”也常泛指可加载的模型参数文件。

先知道模型
也叫Weights、模型权重
2

使用 AI

科研里的例子

训练政策工具分类器时,一些文字表示的权重会随标签数据变化;不能直接把它们说成政策重要性的客观排序。

最直观的例子是加权和:不同输入乘不同系数,再进入后续计算。深度模型中,一个数值的作用取决于其他参数和输入状态,不能靠单个权重大小直接读出一条社会规律。训练、量化与适配都可能改变权重或其表示。为可重复研究,应记录权重来源和版本;仅有同名架构,无法保证得到同一个模型结果。

3

判断

亲手检查一次

在小线性模型中把 w 从 1 改为 2,观察同一输入输出如何改变,再说明深层权重为什么更难单独解释。

它做不到的

开放权重只表明相应文件可获得;许可、训练数据和训练代码是否开放,需分别查看,不能由名称推断。

Δ

增量,由你来写

读完这张,你的理解变了什么?

留言功能会在后面的版本开放。现在可以先在 X 上 @knowledgedelta 告诉我。

源

来源

卡片底稿由 AI 协助整理,经过核对;发现错误请告诉我。