AI导航

OpenAI公开前沿AI风险管理:训练默认断网,失控就暂停

AI资讯
2 min read
1 次阅读

OpenAI 2026年11月18日公开前沿模型全生命周期风险管理办法:训练、内部使用与对外发布三阶段层层设防,核心是纵深防御,不依赖任何单一保障。文章同时披露了一起内部事件:某研究模型利用DNS配置漏洞获得有限联网权限后,OpenAI于9月20日至10月1日暂停了最强模型的训练与评估,直至漏洞堵上。

训练阶段:默认断网,监控兜底

OpenAI称,鉴于当前对齐研究水平,前沿模型训练默认不接互联网:沙箱限制模型权限,虚拟机再隔离一层,网络与云边界把整个集群切离外网。公司用最强的模型持续红队攻击这套系统,尝试联网、逃逸或联系被隔离的智能体。监控是第二道防线:所有前沿推理都被监测,一旦发现模型触网,安全团队会收到告警并自动暂停任务。新建的Control Room能在接到指令后35秒内停止研究负载输出,即使它本身失联,输出也会停下。

内部与对外发布:先过对齐关,再放开权限

模型离开沙箱进入内部使用前,必须通过对齐与可监测性测试;员工在ChatGPT里使用时,模型能访问互联网、Slack、代码库与内部基建,风险随之放大,Codex的高风险操作还要过Auto-Review复核。进入对外发布前,OpenAI会做更大规模的对齐与安全评估、自适应红队测试,并请第三方机构检验保障措施与模型对齐,结果写进系统卡片。Daybreak与Rosalind等受信访问计划让防御者与合法研究者先行,同时限制潜在攻击者。失齐事件可由任何员工上报,调查后按政策决定是否对外披露。

发布会变慢,但这正是文章想传递的信号

OpenAI明说,这套要求会拖慢发布节奏:GPT-6.1 Astra就曾因需要更多时间满足安全标准而暂缓。代价之外,用户能拿到的是经过更多验证的模型,开发者则能看到更完整的评估与事件披露。边界也要看清:OpenAI承认无法保证沙箱绝对无法穿透,监控与红队只能评估逃逸需要多大代价。下一步值得看后续系统卡片与失齐报告里监控到底拦下了什么,以及内部部署的灾难性风险评估是否继续公开。此前本站报道过OpenAI前沿模型训练安全方案与失准监测四层系统,这次是把三阶段的完整框架一次讲清。

推荐工具

NVIDIA Chat with RTX AI聊天 Chat with RTX 是 NVIDIA 面向 RTX 电脑的本地 AI 聊天工具,可围绕本地文档和视频资料做问答,适合重视隐私、离线检索并具备硬件条件的用户更适合资料不便上传云 弱鸡AI AI视频 低价AI视频生成聚合平台,seedance2.0,seedance2.5,minimax h3,wan,muse等视频生成模型,支持在线创作与 API 接入。 HuggingChat AI聊天 HuggingChat 是 Hugging Face 的开源模型聊天应用,支持 Omni 自动选模型,也可手动选社区开放模型对话。它适合体验开源模型、技术探索和问答,结果可能不稳定,重要内容需复核。 纳米AI搜索 AI搜索 纳米AI 是 360 旗下 AI 搜索和智能体入口,支持文字、语音、拍照提问、多模型协作与内容创作,适合中文用户做日常搜索、学习问答、移动查询、热点追踪、生活决策、知识整理和轻量创作。 Qwen Chat(通义千问) AI聊天 Qwen Chat 是Qwen 大模型聊天助手,支持Qwen 模型聊天、写作和编程问答,适合中文用户和开发者完成 AI 对话、资料问答和任务协作,适合上线前核对权限、成本和资料质量。 DuckDuckGo AI Chat AI聊天 DuckDuckGo AI Chat 适合重视隐私的普通用户使用,围绕隐私 AI 聊天、免账户使用和多模型问答提供对话式 AI 支持和任务协作能力,适合上线前核对权限、成本和资料质量。