参数高效微调
Parameter-Efficient Fine-Tuning
学到 认得 就够:听到能明白
你可能会说
“我想让本地模型适应问卷分析任务,只训练少量参数也能改变它的行为吗?”
PEFT 是只更新少量参数或增加小型可训练模块来适配模型的一类方法,目的是降低训练与存储投入。LoRA 属于其中一种;PEFT 也是某个官方工具库的名称。
使用 AI
科研里的例子
为不同政策编码规范各训练一个小适配器,并固定同一基座;分别保留人工留出样本,检查切换后标签是否符合规范。
预训练主干通常保持冻结,适配信号通过特定模块或选定参数进入模型。相比为每项任务保存一整套权重,小适配器便于分发与切换。代价减少不等于数据要求消失,目标模块、容量和任务难度仍会影响效果。科研报告应写具体方法及训练范围,而不只写“用了 PEFT”;同时检查适配器是否与正确基座和版本配套,避免把加载成功当作任务质量保证。
判断
亲手检查一次
查看训练日志中的总参数与可训练参数数量,计算比例;再核对导出物是否包含适配器配置及对应基座信息。
它做不到的
PEFT 是方法集合而非单一算法;参数少不代表绝无遗忘、显存必低到任意设备能跑,或结果等同全量微调。
增量,由你来写
读完这张,你的理解变了什么?
留言功能会在后面的版本开放。现在可以先在 X 上 @knowledgedelta 告诉我。