微调
拿已完成预训练的大模型,用小规模领域数据继续训练的做法,重点讲全参数与 LoRA 的取舍、适用任务和灾难性遗忘等风险。
专题介绍
微调承接预训练打下的通用能力,用针对性强得多的数据把模型往某个领域、风格或任务上再推一步。相关文章会对比全参数微调与 LoRA 等参数高效方法,说明数据、成本与效果的差异,也会提醒灾难性遗忘这类常见代价,并帮读者判断何时该微调、何时提示词或 RAG 更划算。
拿已完成预训练的大模型,用小规模领域数据继续训练的做法,重点讲全参数与 LoRA 的取舍、适用任务和灾难性遗忘等风险。
微调承接预训练打下的通用能力,用针对性强得多的数据把模型往某个领域、风格或任务上再推一步。相关文章会对比全参数微调与 LoRA 等参数高效方法,说明数据、成本与效果的差异,也会提醒灾难性遗忘这类常见代价,并帮读者判断何时该微调、何时提示词或 RAG 更划算。