LoRA
冻结原模型、只训练一对低秩小矩阵的微调方法。内容拆解秩与目标层的选择、适配器合并与多任务切换,帮读者判断它何时够用、何时该换全参数微调。
专题介绍
LoRA 不改动预训练模型的原有权重,只在指定层旁挂一对可训练的低秩矩阵,用很小的训练与存储成本完成领域适配。专题覆盖低秩原理、秩的取舍、QLoRA 的量化组合与适配器合并部署,也讲清它调整已有能力见长、灌入新知识乏力的边界。
冻结原模型、只训练一对低秩小矩阵的微调方法。内容拆解秩与目标层的选择、适配器合并与多任务切换,帮读者判断它何时够用、何时该换全参数微调。
LoRA 不改动预训练模型的原有权重,只在指定层旁挂一对可训练的低秩矩阵,用很小的训练与存储成本完成领域适配。专题覆盖低秩原理、秩的取舍、QLoRA 的量化组合与适配器合并部署,也讲清它调整已有能力见长、灌入新知识乏力的边界。