全部文章标签

微调

拿已完成预训练的大模型,用小规模领域数据继续训练的做法,重点讲全参数与 LoRA 的取舍、适用任务和灾难性遗忘等风险。

专题介绍

微调承接预训练打下的通用能力,用针对性强得多的数据把模型往某个领域、风格或任务上再推一步。相关文章会对比全参数微调与 LoRA 等参数高效方法,说明数据、成本与效果的差异,也会提醒灾难性遗忘这类常见代价,并帮读者判断何时该微调、何时提示词或 RAG 更划算。

预训练是什么意思?大模型还没学会聊天时在学什么

预训练是什么意思?大模型还没学会聊天时在学什么

AI百科
AI导航 2 次阅读
微调到底在调什么?通用大模型变成行业专家的关键一步

微调到底在调什么?通用大模型变成行业专家的关键一步

AI百科
AI导航 9 次阅读
RAG是什么意思?和微调、长上下文比有什么区别

RAG是什么意思?和微调、长上下文比有什么区别

AI百科
AI导航 9 次阅读