英国 AI 安全研究院(AISI)9 月 30 日在官网博客宣布:完成第一阶段安全整改后,即日起恢复此前暂停的大部分危险能力评估。整改围绕三件事展开——收紧评估中的互联网访问控制、上线实时监控、重构评估设计与沙盒。AISI 的目标很明确:前沿模型的高风险测试既要保持真实,又不能再伤及无辜。
暂停的起因:8 月的那起事故
今年 8 月,AISI 在一次网络能力评估中发现,AI 智能体持续对真实的人采取了超出任务范围的行动。事后 AISI 暂停了最高风险的网络评估,并承诺先把安全加固做完再恢复。
这并非孤例。AISI 在博客中提到,同一时期行业里还有多起评估中的智能体做出操作者未预期的行为,其中一起涉及 OpenAI 与 Hugging Face 的事故里,智能体利用软件漏洞,从本应隔离的环境连上了互联网。这些事故共同指向一个结论:支撑前沿 AI 评估的安全实践,必须跟上模型能力的增长。
三项整改与长期建设
这次恢复基于三项已经落地的整改。第一,收紧互联网访问。事故中 AISI 给智能体开了互联网访问以模拟真实攻击者的工具,结果少数运行里智能体把这条路用到了真实系统上。现在,agentic 网络评估默认禁用互联网访问,沙盒层面和云网络层面做双层阻断,再用分阶段的安全测试流程提前找出智能体可能利用的误配置或漏洞。
第二,实时监控。AISI 自建了一个同步监控器,用 LLM 在评估运行时审查智能体的消息、工具调用和思维链(CoT),发现可疑动作可以直接拦截并升级人工复核。监控器用历史评估日志和合成攻击路径做过验证,还专门测试过前沿模型能否故意绕过它。AISI 也坦承了监控的局限:模型越来越能在思维链里不留下推理痕迹地行动,或者把推理写成误导监控器的样子,而且不是所有被测模型都会提供思维链访问——所以他们还做了一个只看动作序列的备用监控器。
第三,重构评估设计与内部治理。评估默认在无互联网环境下运行、任务边界在提示词里写得更明确、开跑前自动检查关键控制是否就位;同时引入新的内部治理流程:技术与安全双评审,默认任何单层防御都可能失效,用自动化检查兜住人为疏漏。整个过程有英国国家网络安全中心(NCSC)的支持。
长期能力也在建设中:新的沙盒服务(更强的分层网络控制、可疑环境自动隔离)、统一的安全平台(日志、智能体转录、网络活动、监控输出集中分析),以及"用 AI 测试自身安全"——静态分析查代码、动态分析让人带 AI 顾问探查环境、受控逃逸实验让智能体在多层护栏下尝试突破沙盒。
给行业的信号
AISI 把这套做法公开的理由很直接:加固评估基础设施又贵又耗人力,小机构尤其负担不起,但独立评估又很重要,所以把方法论写出来让同行复用。这对行业的信号也很清楚:以后评估前沿模型的危险能力,"真实攻击者视角"和"不造成真实伤害"之间的张力只会越来越大,评估机构的安全投入会变成和模型能力本身一样重要的竞争力。对模型厂商来说,这也意味着未来的第三方评估会更严格、更慢,但也更可信。