知识增量Knowledge Deltav0.1无限进步

低秩适配

Low-Rank Adaptation
学到 认得 就够:听到能明白
你可能会说

“我准备用 LoRA 适配论文标签任务,它训练的是原模型全部的大矩阵吗?”

LoRA 冻结原权重,用两个较小矩阵的乘积表示权重增量,只训练这部分增量。低秩约束减少可训练参数,是参数高效微调中常见的一条路线。

也叫LoRA
2

使用 AI

科研里的例子

用小规模专家编码数据训练政策分类 LoRA,保存适配器与基座版本,再比较新地区政策段落上的错误分布。

若原矩阵为 W,可把适配写成 W 加上 BA,B 与 A 的中间维度叫秩。秩较小时,增量可表达的变化受到约束,却也减少训练与保存成本。具体在注意力或其他层加入增量,要看配置。它不是给模型外挂若干新知识条目,也不是一个新的独立模型;实际结果依赖基座、适配数据和训练目标,使用前需确保配套版本并做任务验证。

3

判断

亲手检查一次

给一个 4×4 矩阵设计秩为 1 的增量,比较存两个 4×1、1×4 矩阵与存完整增量的参数数量。

它做不到的

低秩是增量结构约束,不表示原模型权重都低秩;秩越大不保证越好,LoRA 文件也不能脱离基座任意使用。

Δ

增量,由你来写

读完这张,你的理解变了什么?

留言功能会在后面的版本开放。现在可以先在 X 上 @knowledgedelta 告诉我。

源

来源

卡片底稿由 AI 协助整理,经过核对;发现错误请告诉我。