灾难性遗忘
神经网络学新任务时丢掉旧本事的现象:新训练改写了承载旧知识的参数,旧能力随之明显退化,是持续学习绕不开的一关。
专题介绍
灾难性遗忘指神经网络顺序学习新任务时,旧任务的表现突然大幅下滑:新训练改写了承载旧知识的参数。专题讲清它为什么发生、和过拟合有什么不同,以及重放旧数据、约束关键参数、只训小参数等缓解办法各自的适用边界。
神经网络学新任务时丢掉旧本事的现象:新训练改写了承载旧知识的参数,旧能力随之明显退化,是持续学习绕不开的一关。
灾难性遗忘指神经网络顺序学习新任务时,旧任务的表现突然大幅下滑:新训练改写了承载旧知识的参数。专题讲清它为什么发生、和过拟合有什么不同,以及重放旧数据、约束关键参数、只训小参数等缓解办法各自的适用边界。