涌现能力指的是这样一种现象:一个大模型在规模还小的时候,对某类任务几乎完全做不对,成绩和随机猜测差不多;可当参数量、训练数据和算力继续扩大、跨过某个门槛之后,它突然就能把这类任务做得像模像样,中间几乎没有平滑的过渡。没有人单独教过它这项本事,训练目标从头到尾都只是预测下一个词,新能力像是规模长到一定程度后自己冒出来的,这正是“涌现”这个词的由来。
对普通读者来说,搞懂涌现能力不是为了多记一个术语,而是为了看懂两件天天发生的事:一是厂商为什么总强调把模型做得更大;二是新模型发布时那些“突然会做数学题了、突然会多步推理了”的宣传,哪些是真实跃升,哪些只是评测方法制造的错觉。
先分清:涌现说的不是变强,而是变强的方式很突然
模型变大之后整体水平提高,这件事本身毫不稀奇,稀奇的是提高的曲线形状。多数基础指标——比如预测下一个词的损失——随规模扩大是平稳下降的,模型每大一圈就好一点点,趋势甚至可以提前算出来。涌现描述的是另一类曲线:一项具体任务的成绩先长时间贴着地面走,怎么扩大规模都不见起色;然后在某个规模附近陡然抬头,很快冲到可用水平。
打个比方:水从二十度升到九十九度还是水,到了沸点状态却整个换了——涌现借用的正是这种量变到临界点后出现质变的意象。且临界点只对单项任务成立:同一个模型可能在算术上已经涌现、在另一种推理上还贴着地面走,不存在统一的“开窍时刻”。
几个经常被拿来举例的涌现表现
研究者最早系统记录涌现,靠的是在一系列不同大小的模型上跑同一批任务,画出成绩随规模变化的曲线。其中最常被引用的有三类。
一类是多位数算术和多步推理:小模型做三位数乘法基本全错,规模上去后正确率会从接近零一下跳到相当可观。另一类是思维链:先写推理步骤再给答案,这个办法对小模型几乎没用、甚至帮倒忙,对足够大的模型却能显著提升成绩——同一套提示方法,效果本身就是涌现出来的。还有一类是上下文学习:不更新参数,只在提问时给几个例子,模型就能照着完成没专门训练过的任务格式,这种“现学”能力同样在规模较大时才变得可靠。
这三类例子有个共同点:它们都不是单点技能,而是多步配合。每一步都对,整件事才算成。这一点恰好是理解涌现成因的钥匙。
为什么规模一大,新本事会自己冒出来
目前没有公认的单一解释,但有一个流传最广、也最经得起推敲的思路:很多复杂任务的成功率,是多个子步骤成功率连乘的结果。假设一道题需要连对五步,每步正确率从六成平稳提高到九成——单看每一步都只是渐进变好,可整道题的成功率会从不到一成跳到接近六成。子能力一直在平滑进步,合成出来的任务成绩却像突然起飞。模型内部的真实变化可能远没有曲线看上去那么戏剧化。
另一层原因是容量:规模更大,能同时记住并关联的模式更多。有些解题套路需要好几种模式同时在线才能拼出来,缺一角就整盘散掉,看上去像完全不会;容量够了,拼图突然完整,表现就是跳变。两种解释都说明,涌现未必对应模型内部某个神秘开关,更像是内部渐进变化在“任务成败”这把尺子上的投影形状。
它和规模定律不是一回事
这两个概念常被一起提起,其实说的恰好是两个层面。规模定律讲的是平均损失:参数、数据和算力按合适比例扩大时,模型预测下一个词的误差按幂律平稳、可预测地下降。它最大的用处是指导预算分配——先用小模型试出规律,再推算大模型大概能到什么水平、参数和数据该按什么配比给。
涌现讲的则是具体任务的成绩曲线,关键词是不可预测:没人能提前算出某项能力会在哪个规模出现,甚至连它会不会出现都只能等模型训出来再测。一个平稳、一个跳变,看似矛盾,其实正好能用上一节的连乘思路对上:损失的平稳下降,经过多步任务的放大,就会变成成绩上的陡升。所以看到“遵循规模定律”不能推出“能力会平滑增长”,反过来,任务成绩跳变也不推翻规模定律。
最大的争议:有些涌现,其实是尺子的问题
2023 年前后,一批研究者提出了一个让很多人意外的看法:相当一部分所谓的涌现,是评测指标选出来的假象。很多任务用的是“全对才算对”这类非黑即白的计分——一道五步题,错一步就是零分。模型其实一直在进步,从全错进步到能对四步,在这类计分下依然全是零分,画出的曲线自然贴地;等到五步全对的概率攒够了,曲线立刻起飞。换成更细的计分方式,比如按答对的步骤比例给分、或者看模型给正确答案的概率,同一批模型的进步曲线马上变得平滑。
这个批评很有分量,却没有把涌现整个推翻:改用连续指标之后,仍有一些任务的提升明显快于平稳外推,尤其是需要多步配合的任务。业界目前的共识大致停在中间——涌现里既有真实的多步合成效应,也混着测量放大的成分,比例因任务而异。
常见误解:把涌现听成玄学最可惜
第一个误解是把涌现等同于“模型有了理解、甚至有了意识”。涌现描述的只是成绩曲线的形状,是一个统计现象,它对模型内部到底发生了什么不作任何承诺。曲线跳变不等于主观体验出现,拿它论证意识属于跨界发挥。
第二个误解是以为只要继续堆规模,什么能力迟早都会涌现。历史上也有任务把模型做得很大依然贴地,最后靠改训练方法、改数据配比才解决。规模是必要条件之一,从来不是万能钥匙。
第三个误解方向相反:以为小模型对这些任务真的“一丁点都不会”。按步骤给分细看,小模型往往已经掌握了部分子能力,只是连乘之后成功率太低,被粗计分盖住了。这也是为什么小模型经过针对性微调,有时能做出大模型才“涌现”的效果——子能力本来就在,缺的只是把它们稳定串起来的那部分。
普通人到底该怎么使用这个概念
对看新闻的人,涌现提供了一个简单的追问句式:这项“突然会了”的能力,是用什么指标测的,和随机猜测比高多少,换细一点的计分还跳不跳。问得出这三句,大部分夸张宣传会自动缩水。对选模型的人,结论更直接:不要按参数量推断某项具体能力,更不要按上一代模型的曲线外推下一代——在你自己的任务上拿真实数据实测,永远比看发布会上的曲线可靠。
还有一面值得知道:会涌现的不只有有用的能力,完成有害任务、钻指令空子的能力同样可能在某个规模后变强,而且同样难以提前预测。这正是安全评测必须跟着规模一起升级的原因。对使用者来说,新模型更强和新模型更稳是两回事:前者有曲线为证,后者只能靠持续实测慢慢确认。