2026年11月16日,OpenAI 发布了一款能识别儿童性虐待材料(CSAM)的新图像分类器,并通过 API 向经过审核的机构免费开放。这是首个带有 AI 生成信号、广泛可用的同类工具:它不只比对已知图片哈希,还能从画面本身发现新图,连 AI 生成的内容也能识别。同一天,ChatGPT 也上线干预警告,用户尝试查找这类内容时会被打断对话并暂停访问 24 小时。
分类器实测:少看一半图片,检出量没降
OpenAI 与美国国家失踪与受虐儿童中心(NCMEC)合作训练和评估了这款分类器。与现有防护相比,新分类器需要人工复审的图片减少了 48%,检出的违规图片数量大致相同;被它标记的图片含有违规内容的概率约为过去的两倍。fal 的生产环境实测显示,经人工复核,72% 的高置信度标记确认为此前未发现的新型 CSAM;invideo AI 的测试中,四分之一被标记的案例最终导致账号封禁;SafetyKit 针对性化儿童的图画与动画的评估里,检出率达到 90%。分类器会打分,帮审核团队先看最可疑的图片。
谁能拿到这个工具
分类器不向公众开放,只提供给经过审核的组织,OpenAI 也不收取费用,目的是让规模不一的儿童安全机构和行业团队都能用上。感兴趣的机构可以通过官方申请表提交需求,模型卡片里有更详细的性能说明。分发上,OpenAI 与 Tech Coalition 和 ROOST 合作推广,也支持 Thorn 的 Safer 等系统,并加入了 Lantern 计划,与其他平台共享相关信号。普通用户接触不到它,但它决定了平台背后能提前拦下多少违规内容。
ChatGPT 里会发生什么
ChatGPT 的新警告针对的是主动查找涉儿童性剥削内容的行为:系统会打断请求、说明这种行为的危害并引导求助,同时删除相关对话、暂停访问 24 小时。重复违规可能面临更长限制、封号,乃至上报有关部门。警告文案参考了 Protect Children、Lucy Faithfull Foundation 等机构与学者的研究,目标是把人推向求助渠道,而不只做一次拦截。OpenAI 还发布了面向开发者的 CSAM 治理指南,并与 Anthropic、Google 共同委托 Tech Coalition 出了一份应对披露的指南;执法调查员会拿到专门工具与培训,第一批工具用来梳理冗长聊天记录与法律程序回执、建立时间线。今年 11 月早些时候,xAI 的 Grok 也因类似问题面临多起集体诉讼,相关报道见本站此前文章。