神经网络是一种受大脑启发的计算模型:由大量简单单元分层连接而成,每个连接带有一个权重,数据从输入层逐层传递、加权求和,再经激活函数变换,最终从输出层得到结果。它不靠人事先写规则,而是从数据里把规律压进参数;今天的大语言模型、图像生成模型,底层都是规模极大的神经网络。
神经网络怎么从数据里学会东西
一个神经元只做三件事:收输入、按权重加权求和、过激活函数决定输出强弱。成千上万个神经元排成输入层、隐藏层、输出层,数据从前往后算一遍得到预测;预测和正确答案的差距叫损失,训练用反向传播把误差一层层传回去,梯度下降再一点点调整每个权重。重复几十万次,网络就把数据的规律记进了参数里。层数越多,能捕捉的规律越复杂,"深度学习"这个名字里的"深",指的就是层数多。
这套想法的历史比多数人以为的久:1943年,麦卡洛克和皮茨提出了第一个数学神经元模型;1958年,罗森布拉特做出能从数据学习的感知机;1986年,反向传播让多层网络真正可训练;2012年,AlexNet在ImageNet图像识别比赛上大幅领先,神经网络才从实验室走向主流。
神经网络和传统方法有什么不同
| 传统程序 | 传统机器学习 | 神经网络(深度学习) | |
|---|---|---|---|
| 规则从哪来 | 人一条条写死 | 人设计特征,模型学规律 | 数据里自动学出特征和规律 |
| 擅长处理 | 逻辑明确的任务 | 中小规模表格数据 | 图像、文本、语音等非结构化数据 |
| 代价 | 规则难维护 | 特征工程靠经验 | 需要大量数据和算力 |
三者的关系可以这样记:神经网络是机器学习的一个分支,深度学习是层数多的神经网络的别称,它们不是并列的三个东西。
常见误解:它不是在思考
最常见的误解,是以为神经网络在"思考"或"理解"。它只是在拟合数据里的统计规律:给它足够多的猫的照片,它能认出猫,却不知道猫是什么,也会在没见过的情况下一本正经地编造答案,也就是常说的幻觉。
第二个误解是层数越多越好。数据不足时,更深的网络反而更容易过拟合——训练集上很准,一换新数据就错;而且训练成本随规模飙升,小任务用它纯属浪费。
用不用它,看三条:数据是不是够多、规律是不是难用人写规则表达、出错的代价能不能接受。图像识别、语音转写、翻译对话这类任务,它是首选;数据只有几十条、规则明确能写死、结果要求可解释可复现的场合,先试更简单的办法。