知识增量Knowledge Deltav0.1无限进步

参数

Parameter
学到 认得 就够:听到能明白
你可能会说

“我选文献助手时看到几十亿参数,这能当作它记住了多少条知识吗?”

参数是模型内部可学习的数值,训练会调整它们。参数量表示这类数值的数量,并不是知识条目数;同样参数量的模型也可能具有不同能力与资源需求。

先知道模型
也叫Parameters、模型参数
2

使用 AI

科研里的例子

比较两个政策分类模型时,把参数量作为资源与结构信息,同时用同一留出集判断谁更适合实际任务。

在线性模型中,回归系数和截距是熟悉的参数;神经网络把大量矩阵、偏置等组织成更复杂的函数。参数数量约束表达容量和存储,但训练数据、架构和学习目标同样关键。稀疏专家模型还需区分总参数与单次激活参数。讨论规模时应说明计数口径,不能把参数多少简单换算成专业程度,更不能把某一权重解释为唯一一条知识。

3

判断

亲手检查一次

先给线性式 y=wx+b 数出两个参数,再看一个神经层的矩阵维度,亲手算出权重和偏置数量。

它做不到的

参数与超参数不同;前者主要由学习过程估计,后者控制训练或运行。神经参数也不能直接当作可解释因果系数。

Δ

增量,由你来写

读完这张,你的理解变了什么?

留言功能会在后面的版本开放。现在可以先在 X 上 @knowledgedelta 告诉我。

源

来源

卡片底稿由 AI 协助整理,经过核对;发现错误请告诉我。