反向传播
反向传播负责算账:把输出端的误差沿网络逐层传回去,算出每个参数对错误应负多大责任。内容讲清链式法则怎样让深层网络可训练,以及梯度消失、梯度爆炸为何发生。
专题介绍
一次预测错了,几亿个参数里到底该怪谁、每个改多少,不能靠猜。反向传播用链式法则把误差从最后一层逐层分摊到每个参数,得到梯度下降真正要用的那组数字。专题同时说明它只负责计算梯度、不负责更新参数,并拆解深层网络里梯度越传越小或越传越大的成因与缓解办法。
反向传播负责算账:把输出端的误差沿网络逐层传回去,算出每个参数对错误应负多大责任。内容讲清链式法则怎样让深层网络可训练,以及梯度消失、梯度爆炸为何发生。
一次预测错了,几亿个参数里到底该怪谁、每个改多少,不能靠猜。反向传播用链式法则把误差从最后一层逐层分摊到每个参数,得到梯度下降真正要用的那组数字。专题同时说明它只负责计算梯度、不负责更新参数,并拆解深层网络里梯度越传越小或越传越大的成因与缓解办法。