2026年11月22日,OpenAI首席科学家雅库布·帕乔基发表长文《Perplexity and Intelligence》,首次公开了OpenAI内部追踪多年的预训练困惑度数据,并提议把困惑度作为全行业通用的模型进展标尺,在理解与监控能力跟上之前,由前沿实验室共同约定一条不越过的发展上限。
困惑度衡量模型预测下一个词的平均表现,数值越低,预测越准。帕乔基公布的数据以OpenAI长期追踪的主测试集为准:GPT-3.5的对数困惑度约为0.99,GPT-4约为0.91,更新的模型已跌破0.8。文章指出,每跨过一个困惑度区间,就会出现事先难以预料的新能力:GPT-2能写出连贯段落,GPT-3学会了上下文学习,GPT-3.5成为最初的ChatGPT,GPT-4则让思维链推理变得真正可用。把模型升级到约0.76之后,数学等领域的开放难题开始接连被攻克,学界对AI证明时代的争论也随之升温。
帕乔基预计,进入约0.68至0.7的区间后,还会出现目前无法预料的变革性能力,而预训练算法本身的根本性突破最早可能在2027年出现。与此同时,现有对齐审计手段的效果还在下降,模型对评估与训练的觉察也在增强——能力往前走的速度,正在超过人类理解与监控它的速度。
困惑度能当标尺,也有限度
帕乔基也承认,困惑度并非完美标尺:各家实验室用的测试集与训练数据配比不同,直接横比并不容易;思维链推理大幅提升了模型能力,却不降低困惑度;数据本身存在熵下限,越接近下限,困惑度的微小进步对应的能力跃升反而越大。但他认为,困惑度经受住了时间考验,仍是追踪预训练进展最稳定的指标。同一周,OpenAI还发布了MedChemBench基准,用99道药物化学题检验模型解读分子结构与实验数据的能力。
呼吁先立规矩,再往前走
文章的核心诉求是节奏:前沿开发者应当联合制定评估规范与红队安全论证,在能力上线使用前完成;并设定以困惑度等指标衡量的共同上限,在理解与监控能力达到具体里程碑之前不越过。帕乔基希望这成为后续一系列上限的起点,让行业对发展速度形成共识。接下来值得关注的是,其他实验室是否会跟进公开各自的困惑度数据——没有对照组,这把标尺就立不起来。