知识增量Knowledge Deltav0.1无限进步

参数高效微调

Parameter-Efficient Fine-Tuning
学到 认得 就够:听到能明白
你可能会说

“我想让本地模型适应问卷分析任务,只训练少量参数也能改变它的行为吗?”

PEFT 是只更新少量参数或增加小型可训练模块来适配模型的一类方法,目的是降低训练与存储投入。LoRA 属于其中一种;PEFT 也是某个官方工具库的名称。

先知道微调
也叫PEFT
2

使用 AI

科研里的例子

为不同政策编码规范各训练一个小适配器,并固定同一基座;分别保留人工留出样本,检查切换后标签是否符合规范。

预训练主干通常保持冻结,适配信号通过特定模块或选定参数进入模型。相比为每项任务保存一整套权重,小适配器便于分发与切换。代价减少不等于数据要求消失,目标模块、容量和任务难度仍会影响效果。科研报告应写具体方法及训练范围,而不只写“用了 PEFT”;同时检查适配器是否与正确基座和版本配套,避免把加载成功当作任务质量保证。

3

判断

亲手检查一次

查看训练日志中的总参数与可训练参数数量,计算比例;再核对导出物是否包含适配器配置及对应基座信息。

它做不到的

PEFT 是方法集合而非单一算法;参数少不代表绝无遗忘、显存必低到任意设备能跑,或结果等同全量微调。

Δ

增量,由你来写

读完这张,你的理解变了什么?

留言功能会在后面的版本开放。现在可以先在 X 上 @knowledgedelta 告诉我。

源

来源

卡片底稿由 AI 协助整理,经过核对;发现错误请告诉我。