全部文章标签

灾难性遗忘

神经网络学新任务时丢掉旧本事的现象:新训练改写了承载旧知识的参数,旧能力随之明显退化,是持续学习绕不开的一关。

专题介绍

灾难性遗忘指神经网络顺序学习新任务时,旧任务的表现突然大幅下滑:新训练改写了承载旧知识的参数。专题讲清它为什么发生、和过拟合有什么不同,以及重放旧数据、约束关键参数、只训小参数等缓解办法各自的适用边界。

过拟合是什么意思?为什么训练时很准,一用新数据就出错

过拟合是什么意思?为什么训练时很准,一用新数据就出错

AI百科
AI导航 10 次阅读
监督微调是什么意思?大模型学会按指令回答的关键一步

监督微调是什么意思?大模型学会按指令回答的关键一步

AI百科
AI导航 8 次阅读
知识蒸馏是什么?把大模型本事传给小模型的训练方法

知识蒸馏是什么?把大模型本事传给小模型的训练方法

AI百科
AI导航 10 次阅读