低秩适配
Low-Rank Adaptation
学到 认得 就够:听到能明白
你可能会说
“我准备用 LoRA 适配论文标签任务,它训练的是原模型全部的大矩阵吗?”
LoRA 冻结原权重,用两个较小矩阵的乘积表示权重增量,只训练这部分增量。低秩约束减少可训练参数,是参数高效微调中常见的一条路线。
使用 AI
科研里的例子
用小规模专家编码数据训练政策分类 LoRA,保存适配器与基座版本,再比较新地区政策段落上的错误分布。
若原矩阵为 W,可把适配写成 W 加上 BA,B 与 A 的中间维度叫秩。秩较小时,增量可表达的变化受到约束,却也减少训练与保存成本。具体在注意力或其他层加入增量,要看配置。它不是给模型外挂若干新知识条目,也不是一个新的独立模型;实际结果依赖基座、适配数据和训练目标,使用前需确保配套版本并做任务验证。
判断
亲手检查一次
给一个 4×4 矩阵设计秩为 1 的增量,比较存两个 4×1、1×4 矩阵与存完整增量的参数数量。
它做不到的
低秩是增量结构约束,不表示原模型权重都低秩;秩越大不保证越好,LoRA 文件也不能脱离基座任意使用。
增量,由你来写
读完这张,你的理解变了什么?
留言功能会在后面的版本开放。现在可以先在 X 上 @knowledgedelta 告诉我。