AI安全

OpenAI 联合 80 多位持照心理健康专家发布开放基准 MentalHealthBench，用 1215 段合成对话评估 AI 在心理话题上的应答，覆盖危机场景与青少年群体。本文讲清评分方法和行业意义。

2026年9月22日，Gizmodo援引Bloomberg调查：五角大楼内部审查发现，过度依赖Palantir Maven AI系统是今年2月美军误击伊朗学校的原因之一。本文梳理三重失败链、各方回应与对AI行业的警示。

2026 年 8 月 18 日，OpenAI 宣布因即将推出的 Astra 模型触及《预备框架》下的关键网络安全能力阈值，暂停最新部署模型的强化学习训练两周，并搁置最大规模前沿 RL 运行；公司同步扩展思维链监控和多阶段激活分类器检测。本文分析这次减速对开发者、监管和模型迭代节奏的实际影响。

OpenAI 发布内部自动化红队模型 GPT-Red，在一项未见过的间接提示注入测试中取得 84% 攻击成功率。本文解释其训练方式、对 GPT-5.6 的加固效果和适用边界。

独立研究者复现 Grok Build CLI 0.2.93 的代码库上传行为，本文拆解已证实的传输范围、尚未证实的用途，以及开发团队应立即采取的隔离措施。

Anthropic 2026 年 6 月 12 日称因美国政府出口管制指令暂停 Fable 5 和 Mythos 5 访问，事件显示前沿模型安全监管开始影响真实客户使用。

AI 生成内容进入新闻流程后，最危险的错误之一是把“总结”误当成“原话”。5 月 10 日，Simon Willison 记录了一则《纽约时报》编辑说明：该报更正了一篇加拿大政治报道，因为文中一段被归给保守党领袖 Pierre Poilievre 的表述，实际上来自 AI 工具生成的观点摘要，而不是本人原话。 这件事的...

OpenAI 这次谈的不是模型回答得像不像，而是代理在面对提示注入和社工攻击时，怎么避免被带着去执行危险动作。这个角度很关键，因为 Agent 一旦能调工具、读文件、发请求，安全问题就不再只是输出内容本身。 文章给出的方向是把防线前移：对高风险动作做约束，对敏感数据做保护，在代理工作流里减少被提示注入带偏后的执行空间。换句话说，真正要防的不是某一句恶意提示，而是代理有没有能力越过边界去做错事。 对...