2026年11月19日,OpenAI在官方博客公开了内部系统Performance Factory:一套用Codex智能体自动发现并修复ChatGPT性能回归的“工厂”:告警一响,智能体自己查原因、自己提修复方案,工程师只负责审核与上线。三个多月里,这套系统已处理1700多起性能调查,600多起找到了根本原因。
从人工排查到“智能体工厂”
OpenAI性能团队走了六步:最初工程师手动翻指标、读日志、跟调用链排查变慢,还为此攒下30多种性能工具;后来Codex成了搭档,工程师问一句“为什么变慢了”,它就能定位;再往后,团队把排查流程沉淀成perf-forensics技能,Codex拿到告警就能一次给出诊断。
但人还夹在中间当“传话筒”:告警来了复制进Codex,结论出来贴回Slack。于是团队把调查搬上云端,告警自动触发Codex会话;最后建成Performance Factory,把调查、定因、修补、验证恢复变成可配置的工作流。
四个部件加一道“唱反调”
Performance Factory有四部分:可配置工作流的任务服务、按需派活的调度循环、在云端运行Codex的接口,以及在代码评审、部署完成时唤醒智能体的订阅机制。回归工作流按“待调查、已定因、已提修复、已解决”推进,任务状态与发现全记在任务里,方便接力。
为防智能体停在第一个看似合理的解释上,OpenAI加了对抗性评审:另一个Codex会话专门推翻诊断,比如核对未受影响的请求是否健康、回滚后指标是否恢复。人工抽查100条定因建议,70%准确,其余需打磨或未能确立因果关系。
修补比找原因更难
诊断通过后,Codex写修复并提交拉取请求,由工程师审核决定是否合并;修复上线后,另一个智能体再核查性能是否回到基线,没恢复就打回重查。OpenAI坦言,写出好修复比找到原因更难:智能体改动有时过于复杂、甚至引入新问题,加缓存能提速却可能带来数据过期,这类取舍仍需工程师判断。团队正用真实修复与最终合并版本的对比建评估循环,也在试合成性能测试,让智能体先自测再提方案。
这套做法的意义不只在OpenAI内部:当智能体成规模接手生产系统运维,诊断过对抗评审、修复经人工审核、恢复自动验证——这三道关卡,是其他团队复制“智能体工厂”最值得抄走的部分。相关进展可参考OpenAI公开Codex沙箱设计与OpenAI披露AI加速自身研发。