AI导航

OpenAI 免费开放 CSAM 检测分类器:审核机构能直接用上

AI资讯
2 min read
0 次阅读

2026年11月16日,OpenAI 发布了一款能识别儿童性虐待材料(CSAM)的新图像分类器,并通过 API 向经过审核的机构免费开放。这是首个带有 AI 生成信号、广泛可用的同类工具:它不只比对已知图片哈希,还能从画面本身发现新图,连 AI 生成的内容也能识别。同一天,ChatGPT 也上线干预警告,用户尝试查找这类内容时会被打断对话并暂停访问 24 小时。

分类器实测:少看一半图片,检出量没降

OpenAI 与美国国家失踪与受虐儿童中心(NCMEC)合作训练和评估了这款分类器。与现有防护相比,新分类器需要人工复审的图片减少了 48%,检出的违规图片数量大致相同;被它标记的图片含有违规内容的概率约为过去的两倍。fal 的生产环境实测显示,经人工复核,72% 的高置信度标记确认为此前未发现的新型 CSAM;invideo AI 的测试中,四分之一被标记的案例最终导致账号封禁;SafetyKit 针对性化儿童的图画与动画的评估里,检出率达到 90%。分类器会打分,帮审核团队先看最可疑的图片。

谁能拿到这个工具

分类器不向公众开放,只提供给经过审核的组织,OpenAI 也不收取费用,目的是让规模不一的儿童安全机构和行业团队都能用上。感兴趣的机构可以通过官方申请表提交需求,模型卡片里有更详细的性能说明。分发上,OpenAI 与 Tech Coalition 和 ROOST 合作推广,也支持 Thorn 的 Safer 等系统,并加入了 Lantern 计划,与其他平台共享相关信号。普通用户接触不到它,但它决定了平台背后能提前拦下多少违规内容。

ChatGPT 里会发生什么

ChatGPT 的新警告针对的是主动查找涉儿童性剥削内容的行为:系统会打断请求、说明这种行为的危害并引导求助,同时删除相关对话、暂停访问 24 小时。重复违规可能面临更长限制、封号,乃至上报有关部门。警告文案参考了 Protect Children、Lucy Faithfull Foundation 等机构与学者的研究,目标是把人推向求助渠道,而不只做一次拦截。OpenAI 还发布了面向开发者的 CSAM 治理指南,并与 Anthropic、Google 共同委托 Tech Coalition 出了一份应对披露的指南;执法调查员会拿到专门工具与培训,第一批工具用来梳理冗长聊天记录与法律程序回执、建立时间线。今年 11 月早些时候,xAI 的 Grok 也因类似问题面临多起集体诉讼,相关报道见本站此前文章。

推荐工具

NVIDIA Chat with RTX AI聊天 Chat with RTX 是 NVIDIA 面向 RTX 电脑的本地 AI 聊天工具,可围绕本地文档和视频资料做问答,适合重视隐私、离线检索并具备硬件条件的用户更适合资料不便上传云 弱鸡AI AI视频 低价AI视频生成聚合平台,seedance2.0,seedance2.5,minimax h3,wan,muse等视频生成模型,支持在线创作与 API 接入。 HuggingChat AI聊天 HuggingChat 是 Hugging Face 的开源模型聊天应用,支持 Omni 自动选模型,也可手动选社区开放模型对话。它适合体验开源模型、技术探索和问答,结果可能不稳定,重要内容需复核。 纳米AI搜索 AI搜索 纳米AI 是 360 旗下 AI 搜索和智能体入口,支持文字、语音、拍照提问、多模型协作与内容创作,适合中文用户做日常搜索、学习问答、移动查询、热点追踪、生活决策、知识整理和轻量创作。 Qwen Chat(通义千问) AI聊天 Qwen Chat 是Qwen 大模型聊天助手,支持Qwen 模型聊天、写作和编程问答,适合中文用户和开发者完成 AI 对话、资料问答和任务协作,适合上线前核对权限、成本和资料质量。 DuckDuckGo AI Chat AI聊天 DuckDuckGo AI Chat 适合重视隐私的普通用户使用,围绕隐私 AI 聊天、免账户使用和多模型问答提供对话式 AI 支持和任务协作能力,适合上线前核对权限、成本和资料质量。