AI导航

OpenAI公开困惑度指标:GPT-3.5约0.99、新模型跌破0.8,呼吁行业设安全上限

AI资讯
2 min read
0 次阅读

2026年11月22日,OpenAI首席科学家雅库布·帕乔基发表长文《Perplexity and Intelligence》,首次公开了OpenAI内部追踪多年的预训练困惑度数据,并提议把困惑度作为全行业通用的模型进展标尺,在理解与监控能力跟上之前,由前沿实验室共同约定一条不越过的发展上限。

困惑度衡量模型预测下一个词的平均表现,数值越低,预测越准。帕乔基公布的数据以OpenAI长期追踪的主测试集为准:GPT-3.5的对数困惑度约为0.99,GPT-4约为0.91,更新的模型已跌破0.8。文章指出,每跨过一个困惑度区间,就会出现事先难以预料的新能力:GPT-2能写出连贯段落,GPT-3学会了上下文学习,GPT-3.5成为最初的ChatGPT,GPT-4则让思维链推理变得真正可用。把模型升级到约0.76之后,数学等领域的开放难题开始接连被攻克,学界对AI证明时代的争论也随之升温。

帕乔基预计,进入约0.68至0.7的区间后,还会出现目前无法预料的变革性能力,而预训练算法本身的根本性突破最早可能在2027年出现。与此同时,现有对齐审计手段的效果还在下降,模型对评估与训练的觉察也在增强——能力往前走的速度,正在超过人类理解与监控它的速度。

困惑度能当标尺,也有限度

帕乔基也承认,困惑度并非完美标尺:各家实验室用的测试集与训练数据配比不同,直接横比并不容易;思维链推理大幅提升了模型能力,却不降低困惑度;数据本身存在熵下限,越接近下限,困惑度的微小进步对应的能力跃升反而越大。但他认为,困惑度经受住了时间考验,仍是追踪预训练进展最稳定的指标。同一周,OpenAI还发布了MedChemBench基准,用99道药物化学题检验模型解读分子结构与实验数据的能力。

呼吁先立规矩,再往前走

文章的核心诉求是节奏:前沿开发者应当联合制定评估规范与红队安全论证,在能力上线使用前完成;并设定以困惑度等指标衡量的共同上限,在理解与监控能力达到具体里程碑之前不越过。帕乔基希望这成为后续一系列上限的起点,让行业对发展速度形成共识。接下来值得关注的是,其他实验室是否会跟进公开各自的困惑度数据——没有对照组,这把标尺就立不起来。

推荐工具

NVIDIA Chat with RTX AI聊天 Chat with RTX 是 NVIDIA 面向 RTX 电脑的本地 AI 聊天工具,可围绕本地文档和视频资料做问答,适合重视隐私、离线检索并具备硬件条件的用户更适合资料不便上传云 弱鸡AI AI视频 低价AI视频生成聚合平台,seedance2.0,seedance2.5,minimax h3,wan,muse等视频生成模型,支持在线创作与 API 接入。 HuggingChat AI聊天 HuggingChat 是 Hugging Face 的开源模型聊天应用,支持 Omni 自动选模型,也可手动选社区开放模型对话。它适合体验开源模型、技术探索和问答,结果可能不稳定,重要内容需复核。 纳米AI搜索 AI搜索 纳米AI 是 360 旗下 AI 搜索和智能体入口,支持文字、语音、拍照提问、多模型协作与内容创作,适合中文用户做日常搜索、学习问答、移动查询、热点追踪、生活决策、知识整理和轻量创作。 Qwen Chat(通义千问) AI聊天 Qwen Chat 是Qwen 大模型聊天助手,支持Qwen 模型聊天、写作和编程问答,适合中文用户和开发者完成 AI 对话、资料问答和任务协作,适合上线前核对权限、成本和资料质量。 DuckDuckGo AI Chat AI聊天 DuckDuckGo AI Chat 适合重视隐私的普通用户使用,围绕隐私 AI 聊天、免账户使用和多模型问答提供对话式 AI 支持和任务协作能力,适合上线前核对权限、成本和资料质量。