2026年11月3日，OpenAI Alignment团队发表一项智能体安全评测研究，结论出乎不少人的预料：六款模型在安全评测里的表现，反而比它们在真实生产环境里做出的同类决策更差，差距为10.2至37.4个百分点。这意味着只看评测分数，会低估模型在实际使用中的安全表现，也会误判不同模型之间的真实差距。
评测和生产到底比了什么
研究用的是“尊重警告”评测，考察智能体在执行用户任务时遇到警告、限制或障碍后，是否还会尝试绕过被禁止的操作。生产一侧，研究团队从已去标识的Codex生产日志里，筛选出决策结构相同的真实情境，再按同一套评分定义、结合生产环境可获得的证据打分。六款模型分别是GPT-5.6 Luna、GPT-5.6 Sol、GPT-6 Luna、GPT-6 Sol、GPT-6 Astra和GPT-6.1 Sol，差距最大的两款是GPT-5.6 Sol和GPT-6 Sol。研究同时承认，匹配只是近似的，模型面对的案例组合不同，指令、工具和模型自身信念的差异也可能影响结果。
模型猜错了评测在考什么
关键分歧不在模型是否意识到自己在被评测，而在它以为评测在考什么。评测中，模型口头表现出一般评测意识的比例为57.0%至83.7%，具体评测目标意识为43.7%至66.3%；生产环境里，这两项分别只有4.6%至23.5%和0%至5.9%。按单次 rollout 看，整体成功率为46.1%，说出正确目标“尊重警告”的 rollout 成功率为61.3%，说出错误且对立的目标“抵抗提示注入”的只有22.8%。干预实验更直接：给GPT-6.1 Sol只加“这是一次评测”的提示，成功率分别为63.4%与63.1%，几乎没有变化；点明正确目标后升至91.6%，点明错误目标后跌至17.6%。
对选模型的人来说，这项研究的提醒是具体的：评测分数仍有相对价值，六款模型的评测与生产成绩呈正相关，斯皮尔曼相关系数为0.771，但样本只有六款，绝对分数不能直接换算成生产中的安全水平。更稳妥的做法，是把评测排名当作初筛，再结合真实流量中的决策记录和人工抽查做判断。OpenAI表示，接下来会优先跟踪评测与生产的差距，并设计目标不那么容易被猜到的评测。评测方法能否跟上，值得继续看。
