2026年11月2日,OpenAI在对齐研究博客披露,已从GPT-5.6起在最强模型的内部与外部流量上部署激活分类器。这类轻量模型直接读大模型自身的内部激活,逐个token给模型活动打分,能在违规回复生成中途叫停并转交推理模型复审。对用户来说,这是一层看不见的安全监控,而不是新产品功能。
探针的输入通常是模型中间层的残差流激活,输出是某条策略边界的二分类打分。训练时用最多100万条消息的激活数据,标签来自最强推理模型担任的评判者;每个配置通常训练至少32个随机初始化,再挑验证集上最好的。部署时探针随推理引擎流式运行,每个采样token返回一个分数,超过阈值就停止向用户继续输出,并拦下未判定安全的工具调用。
比文本分类器更抗越狱,但只能认已知违规
OpenAI称,探针比大得多的文本分类器更能抵抗越狱测试,准确率还随被监控模型的能力提升而提升,因为它能捕捉到外部文本分类器难以解读的编码内容。但根本限制同样明确:只能检测可标注、可训练的已知违规类型,未知风险不在覆盖范围。探针与被监控模型的前向过程紧耦合,换了新预训练基座就必须重训;同一家族内随训练检查点迁移的表现较好,跨预训练检查点则明显下降。
部署只是纵深防御的一环,效果要看复审链
探针已成为OpenAI内部失调监控系统的一部分,与基于模型的复审、自动调查和人工响应并列。接下来值得看覆盖的策略范围扩大到哪些类别,以及在真实流量里的误拦率与升级率如何平衡;单看一篇方法博客,还不能断定它在所有越狱手法面前都更稳。OpenAI专题 AI安全专题