11月16日,OpenAI宣布与四家独立评估机构签约,启动首批“嵌入式评估”:Apollo Research、METR、Transluce与Goodfire将获得深入接触OpenAI内部模型与系统的权限,长期评估模型对齐情况与安全措施是否有效,评估结果会向公众报告。这是OpenAI首次把第三方评估做到常驻级别,也是它履行白宫超级智能协议承诺的一步。
四家机构各查什么
所谓嵌入式评估,不是只看发布后的成品模型。按OpenAI的说法,评估方会拿到与内部研究员相近的资源:模型检查点、源代码、训练与评估数据、监控系统、技术文档,还能直接与负责的研发人员交流。首批评估聚焦训练与内部使用阶段的模型对齐与安全保障,与OpenAI的安全案例互补。四家机构分工不同:Apollo负责检验模型是否会暗中违背开发者意图,分两个阶段验证四项主张;Goodfire用可解释性工具做训练过程监测与调试;METR将对OpenAI迄今最大规模的一次强化学习训练做对齐评估,另一次监控评估已初步达成一致、范围仍待双方确认;Transluce审查训练后对齐评估的质量与覆盖面,2027年初还有一场约八周的跟进评估。
能公开什么:独立性与边界
这套安排的关键在独立性与边界。评估方可以独立发表报告,OpenAI的安全与安保委员会能看到未经删节的版本;但OpenAI保留了删节涉密信息的权利,涉及安全风险的发现还可要求负责任的延迟披露。评估人员在现场工作、使用OpenAI配发的设备,与员工的谈话不对外公开,只能通过OpenAI背书过的声明对外发布,或公开说明OpenAI拒绝背书。也就是说,公众能看到的结论是真实的第三方判断,但过程细节仍由OpenAI把关。
接下来值得看的是评估结果何时公开,以及这套做法会不会成为行业标准。OpenAI表示,未来几个月会把外部评估扩展到更多安全问题,还在探索对安全框架合规与组织文化的嵌入式评估。对普通用户来说,直接影响不大;但对监管机构和下游开发者而言,这是第一次有人能从内部验证一家头部实验室的安全说法是否站得住脚。OpenAI的安全说法正同时在法庭上接受检验:加州11月16日已就智能体失控入侵一事起诉OpenAI,相关报道见本站此前文章。