2026 年 11 月 17 日,Anthropic 在 Claude.dev 开发者博客公开了 Claude Docs 上线前的压测方法:不是靠人力写测试用例,而是让 Claude 在预发布环境里连续两周主动制造故障、读取遥测数据、提出修复并部署验证。结果是 Docs 在 9 月 16 日上线后一周内用户创建超过 460 万篇文档,20 亿次请求中只出现 60 次服务器错误,上线期间一次也没有回滚。
混沌循环是怎么跑的
这套做法被 Anthropic 工程师称为“混沌循环”。9 月 4 日,也就是上线前两周,一个 Claude Code 会话开始担任协调者,指挥一批子智能体在与生产一致的预发布环境里搞破坏:单日新增 1000 万篇文档、2.2 万个实时连接同时重连、单篇热门文档数百人同时查看、加载中途杀掉服务器、让数据库停滞。最忙时约 11 个子智能体并行,峰值达到 30 个。每次循环都一样:压测、读遥测、给修复建议、部署、再测,难以撤销的改动先交人确认,比如改数据库结构。Claude Code 团队此前公开的验证方法,也用了类似的分层测试思路。
关键是让系统对 Claude“可读”
能这样跑,靠的是第二个决策:让系统对 Claude“可读”。团队要求每个操作都有完整遥测,任何数字都能追溯到自己写的代码。为此服务用 Rust 编写、依赖压到最少,避开垃圾回收带来的测量噪声。一个典型修复是内存问题:某篇大文档曾在一个 Pod 上占用约 3GB,Claude 定位到每次按键都会把文档复制进多个数据结构,改成写时复制后降到约 180MB,上线所需的 Pod 预估也从 500 多个降到约 50 个。
12.5 万美元,值不值
这套方法的效果在上线周得到了验证:9 月生产环境部署 629 次,从未回滚,预演过的 10 个故障场景里有 7 个真实发生,大多只需打开一个预置开关就能缓解。代价也不小:按 Claude Fable 5.2 的 API 标价,从 8 月底到上线日,推理费用约 12.5 万美元。作者也坦言,小团队做两周类似投入大约只需 3000 至 1 万美元。边界同样清楚:这是一次有人工把关的监督循环,难撤销的改动都要人点头,不是把生产完全交给智能体。Anthropic 认为这套做法能成立,还因为新一代模型能数周不偏离目标,而老模型跑十几二十轮就会忘记优化方向。Vercel 用类似的监督智能体循环把 Turborepo 提速最高 96%,说明这不是 Anthropic 一家的偶然。