激活函数

激活函数是神经网络每层计算后的一道非线性变换：它决定神经元在什么条件下被激活、输出多大信号。没有它，再深的网络也等价于一层线性变换；有了它，网络才能拟合曲线、分类边界和语言里的复杂规律。