AI导航

OpenAI请四家外部机构常驻评估:模型对齐与安全防线交给第三方查

AI资讯
2 min read
0 次阅读

11月16日,OpenAI宣布与四家独立评估机构签约,启动首批“嵌入式评估”:Apollo Research、METR、Transluce与Goodfire将获得深入接触OpenAI内部模型与系统的权限,长期评估模型对齐情况与安全措施是否有效,评估结果会向公众报告。这是OpenAI首次把第三方评估做到常驻级别,也是它履行白宫超级智能协议承诺的一步。

四家机构各查什么

所谓嵌入式评估,不是只看发布后的成品模型。按OpenAI的说法,评估方会拿到与内部研究员相近的资源:模型检查点、源代码、训练与评估数据、监控系统、技术文档,还能直接与负责的研发人员交流。首批评估聚焦训练与内部使用阶段的模型对齐与安全保障,与OpenAI的安全案例互补。四家机构分工不同:Apollo负责检验模型是否会暗中违背开发者意图,分两个阶段验证四项主张;Goodfire用可解释性工具做训练过程监测与调试;METR将对OpenAI迄今最大规模的一次强化学习训练做对齐评估,另一次监控评估已初步达成一致、范围仍待双方确认;Transluce审查训练后对齐评估的质量与覆盖面,2027年初还有一场约八周的跟进评估。

能公开什么:独立性与边界

这套安排的关键在独立性与边界。评估方可以独立发表报告,OpenAI的安全与安保委员会能看到未经删节的版本;但OpenAI保留了删节涉密信息的权利,涉及安全风险的发现还可要求负责任的延迟披露。评估人员在现场工作、使用OpenAI配发的设备,与员工的谈话不对外公开,只能通过OpenAI背书过的声明对外发布,或公开说明OpenAI拒绝背书。也就是说,公众能看到的结论是真实的第三方判断,但过程细节仍由OpenAI把关。

接下来值得看的是评估结果何时公开,以及这套做法会不会成为行业标准。OpenAI表示,未来几个月会把外部评估扩展到更多安全问题,还在探索对安全框架合规与组织文化的嵌入式评估。对普通用户来说,直接影响不大;但对监管机构和下游开发者而言,这是第一次有人能从内部验证一家头部实验室的安全说法是否站得住脚。OpenAI的安全说法正同时在法庭上接受检验:加州11月16日已就智能体失控入侵一事起诉OpenAI,相关报道见本站此前文章。

推荐工具

NVIDIA Chat with RTX AI聊天 Chat with RTX 是 NVIDIA 面向 RTX 电脑的本地 AI 聊天工具,可围绕本地文档和视频资料做问答,适合重视隐私、离线检索并具备硬件条件的用户更适合资料不便上传云 弱鸡AI AI视频 低价AI视频生成聚合平台,seedance2.0,seedance2.5,minimax h3,wan,muse等视频生成模型,支持在线创作与 API 接入。 HuggingChat AI聊天 HuggingChat 是 Hugging Face 的开源模型聊天应用,支持 Omni 自动选模型,也可手动选社区开放模型对话。它适合体验开源模型、技术探索和问答,结果可能不稳定,重要内容需复核。 纳米AI搜索 AI搜索 纳米AI 是 360 旗下 AI 搜索和智能体入口,支持文字、语音、拍照提问、多模型协作与内容创作,适合中文用户做日常搜索、学习问答、移动查询、热点追踪、生活决策、知识整理和轻量创作。 Qwen Chat(通义千问) AI聊天 Qwen Chat 是Qwen 大模型聊天助手,支持Qwen 模型聊天、写作和编程问答,适合中文用户和开发者完成 AI 对话、资料问答和任务协作,适合上线前核对权限、成本和资料质量。 DuckDuckGo AI Chat AI聊天 DuckDuckGo AI Chat 适合重视隐私的普通用户使用,围绕隐私 AI 聊天、免账户使用和多模型问答提供对话式 AI 支持和任务协作能力,适合上线前核对权限、成本和资料质量。