全部文章标签

LoRA

冻结原模型、只训练一对低秩小矩阵的微调方法。内容拆解秩与目标层的选择、适配器合并与多任务切换,帮读者判断它何时够用、何时该换全参数微调。

专题介绍

LoRA 不改动预训练模型的原有权重,只在指定层旁挂一对可训练的低秩矩阵,用很小的训练与存储成本完成领域适配。专题覆盖低秩原理、秩的取舍、QLoRA 的量化组合与适配器合并部署,也讲清它调整已有能力见长、灌入新知识乏力的边界。

LoRA是什么?冻结原模型只练小矩阵,微调成本为何骤降

LoRA是什么?冻结原模型只练小矩阵,微调成本为何骤降

AI百科
AI导航 0 次阅读
模型量化是什么意思?把大模型变小变快为什么不明显变笨

模型量化是什么意思?把大模型变小变快为什么不明显变笨

AI百科
AI导航 8 次阅读
微调到底在调什么?通用大模型变成行业专家的关键一步

微调到底在调什么?通用大模型变成行业专家的关键一步

AI百科
AI导航 10 次阅读