AI安全

OpenAI 发布内部自动化红队模型 GPT-Red，在一项未见过的间接提示注入测试中取得 84% 攻击成功率。本文解释其训练方式、对 GPT-5.6 的加固效果和适用边界。

独立研究者复现 Grok Build CLI 0.2.93 的代码库上传行为，本文拆解已证实的传输范围、尚未证实的用途，以及开发团队应立即采取的隔离措施。

Anthropic 2026 年 6 月 12 日称因美国政府出口管制指令暂停 Fable 5 和 Mythos 5 访问，事件显示前沿模型安全监管开始影响真实客户使用。

AI 生成内容进入新闻流程后，最危险的错误之一是把“总结”误当成“原话”。5 月 10 日，Simon Willison 记录了一则《纽约时报》编辑说明：该报更正了一篇加拿大政治报道，因为文中一段被归给保守党领袖 Pierre Poilievre 的表述，实际上来自 AI 工具生成的观点摘要，而不是本人原话。 这件事的...

OpenAI 这次谈的不是模型回答得像不像，而是代理在面对提示注入和社工攻击时，怎么避免被带着去执行危险动作。这个角度很关键，因为 Agent 一旦能调工具、读文件、发请求，安全问题就不再只是输出内容本身。 文章给出的方向是把防线前移：对高风险动作做约束，对敏感数据做保护，在代理工作流里减少被提示注入带偏后的执行空间。换句话说，真正要防的不是某一句恶意提示，而是代理有没有能力越过边界去做错事。 对...

Google 这次围绕青少年生成式 AI 安全讲得很完整，重点不是一句“我们重视安全”，而是把年龄适配、隐私保护、内容限制、红队评测和学习工具一起摆上台面。对 AI 产品来说，这代表年轻用户场景开始进入更严格的产品设计阶段。 文章里提到，Google 会在模型与产品层面使用分类器和 safeguard 来限制不适龄内容，还会通过对抗测试和与儿童发展专家合作来发现新风险。它甚至点出了 2025 年做...

Anthropic 宣布成立 Anthropic Institute，把 AI 安全、公共研究和社会影响讨论进一步组织化。和普通博客更新不同，这次动作的重点在于把治理议题从企业附属表达，升级成可以长期运行的独立工作单元。 对行业来说，这类机构化动作意味着头部模型公司开始更认真地处理“模型之外”的问题，包括风险沟通、政策研究、社会影响评估和外部合作。随着 AI 能力加速外溢，企业是否愿意为这些议题投...

<p>Anthropic 宣布与 Mozilla 合作，目标是提升 Firefox 的安全能力，并把 Claude 的能力进一步引入浏览器安全场景。相比单纯推出新模型，这条消息更值得关注的地方在于，头部 AI 公司开始把能力直接落到浏览器防护和安全协作链路中。</p><p>这类合作的现实价值很明确。浏览器长期处在网页执行、脚本调用、扩展生态和用户数据交互的一线，安全团队需要更快识别异常行为和潜在风险。Claude 参与相关流程后，意味着 AI 不再只停留在问答和生成层，而是开始进入更具体的安全分析与协同环节。</p><p>从行业角度看，这次合作也释放出一个信号：AI 厂商与传统浏览器和安全生态的结合正在加快。对企业和开发者来说，后续更值得观察的是，这类合作会不会进一步扩展到漏洞分析、风险提示和安全自动化等更细的落地场景。</p><p><strong>常见问题</strong></p><p><strong>Q：这条消息的核心是什么？</strong></p><p>A：Anthropic 与 Mozilla 合作，聚焦提升 Firefox 的安全能力。</p><p><strong>Q：为什么这件事和 AI 资讯有关？</strong></p><p>A：因为 Claude 的能力开始进入浏览器安全和防护协作场景。</p><p><strong>Q：这是不是一次模型版本更新？</strong></p><p>A：不是，这更偏向产品合作与安全落地层面的新进展。</p><p><strong>Q：对企业用户有什么启发？</strong></p><p>A：说明 AI 正在被更快引入实际安全工作流，而不仅是内容生成。</p><p><strong>Q：后续最值得观察什么？</strong></p><p>A：是否会继续延伸到漏洞处理、安全自动化和更细的浏览器防护能力。</p>