AI导航

OpenAI激活分类器:用模型内部信号实时拦截违规回复

AI资讯
2 min read
9 次阅读

2026年11月2日,OpenAI在对齐研究博客披露,已从GPT-5.6起在最强模型的内部与外部流量上部署激活分类器。这类轻量模型直接读大模型自身的内部激活,逐个token给模型活动打分,能在违规回复生成中途叫停并转交推理模型复审。对用户来说,这是一层看不见的安全监控,而不是新产品功能。

探针的输入通常是模型中间层的残差流激活,输出是某条策略边界的二分类打分。训练时用最多100万条消息的激活数据,标签来自最强推理模型担任的评判者;每个配置通常训练至少32个随机初始化,再挑验证集上最好的。部署时探针随推理引擎流式运行,每个采样token返回一个分数,超过阈值就停止向用户继续输出,并拦下未判定安全的工具调用。

比文本分类器更抗越狱,但只能认已知违规

OpenAI称,探针比大得多的文本分类器更能抵抗越狱测试,准确率还随被监控模型的能力提升而提升,因为它能捕捉到外部文本分类器难以解读的编码内容。但根本限制同样明确:只能检测可标注、可训练的已知违规类型,未知风险不在覆盖范围。探针与被监控模型的前向过程紧耦合,换了新预训练基座就必须重训;同一家族内随训练检查点迁移的表现较好,跨预训练检查点则明显下降。

部署只是纵深防御的一环,效果要看复审链

探针已成为OpenAI内部失调监控系统的一部分,与基于模型的复审、自动调查和人工响应并列。接下来值得看覆盖的策略范围扩大到哪些类别,以及在真实流量里的误拦率与升级率如何平衡;单看一篇方法博客,还不能断定它在所有越狱手法面前都更稳。OpenAI专题 AI安全专题

推荐工具

NVIDIA Chat with RTX AI聊天 Chat with RTX 是 NVIDIA 面向 RTX 电脑的本地 AI 聊天工具,可围绕本地文档和视频资料做问答,适合重视隐私、离线检索并具备硬件条件的用户更适合资料不便上传云 HuggingChat AI聊天 HuggingChat 是 Hugging Face 的开源模型聊天应用,支持 Omni 自动选模型,也可手动选社区开放模型对话。它适合体验开源模型、技术探索和问答,结果可能不稳定,重要内容需复核。 纳米AI搜索 AI搜索 纳米AI 是 360 旗下 AI 搜索和智能体入口,支持文字、语音、拍照提问、多模型协作与内容创作,适合中文用户做日常搜索、学习问答、移动查询、热点追踪、生活决策、知识整理和轻量创作。 Qwen Chat(通义千问) AI聊天 Qwen Chat 是Qwen 大模型聊天助手,支持Qwen 模型聊天、写作和编程问答,适合中文用户和开发者完成 AI 对话、资料问答和任务协作,适合上线前核对权限、成本和资料质量。 DuckDuckGo AI Chat AI聊天 DuckDuckGo AI Chat 适合重视隐私的普通用户使用,围绕隐私 AI 聊天、免账户使用和多模型问答提供对话式 AI 支持和任务协作能力,适合上线前核对权限、成本和资料质量。 Goody-2 AI聊天 Goody-2 是以极端安全和伦理对齐为特色的 AI 聊天助手,常用于观察模型拒答边界、内容安全策略、保守输出体验和 AI 风险讨论,更适合作为安全边界样本使用前应理解它偏实验性质,不适合。