全部文章标签

反向传播

反向传播负责算账:把输出端的误差沿网络逐层传回去,算出每个参数对错误应负多大责任。内容讲清链式法则怎样让深层网络可训练,以及梯度消失、梯度爆炸为何发生。

专题介绍

一次预测错了,几亿个参数里到底该怪谁、每个改多少,不能靠猜。反向传播用链式法则把误差从最后一层逐层分摊到每个参数,得到梯度下降真正要用的那组数字。专题同时说明它只负责计算梯度、不负责更新参数,并拆解深层网络里梯度越传越小或越传越大的成因与缓解办法。

梯度下降是什么?大模型训练时靠它一步步把参数调对

梯度下降是什么?大模型训练时靠它一步步把参数调对

AI百科
AI导航 0 次阅读