权重
Weight
学到 认得 就够:听到能明白
你可能会说
“我拿到一份模型权重,它里面存的是别人逐条写好的研究知识吗?”
权重是模型计算中控制输入和中间表示如何组合的数值,通常通过训练得到。发布时所说的“权重”也常泛指可加载的模型参数文件。
使用 AI
科研里的例子
训练政策工具分类器时,一些文字表示的权重会随标签数据变化;不能直接把它们说成政策重要性的客观排序。
最直观的例子是加权和:不同输入乘不同系数,再进入后续计算。深度模型中,一个数值的作用取决于其他参数和输入状态,不能靠单个权重大小直接读出一条社会规律。训练、量化与适配都可能改变权重或其表示。为可重复研究,应记录权重来源和版本;仅有同名架构,无法保证得到同一个模型结果。
判断
亲手检查一次
在小线性模型中把 w 从 1 改为 2,观察同一输入输出如何改变,再说明深层权重为什么更难单独解释。
它做不到的
开放权重只表明相应文件可获得;许可、训练数据和训练代码是否开放,需分别查看,不能由名称推断。
增量,由你来写
读完这张,你的理解变了什么?
留言功能会在后面的版本开放。现在可以先在 X 上 @knowledgedelta 告诉我。