跳到正文

OpenAI 让 Codex 自己修 ChatGPT:Performance Factory 三个月查了 1700 多起变慢

OpenAI 公开内部系统 Performance Factory:Codex 每天自动调查约 17 起 ChatGPT 性能变慢,三个多月找到 600 多个根因,对抗评审给 Agent 的诊断上保险,修复仍由工程师把关。

小杜

约 7 分钟读完

OpenAI 让 Codex 自己修 ChatGPT:Performance Factory 三个月查了 1700 多起变慢

11 月 19 日,OpenAI 在官方博客上公开了一个内部系统:Performance Factory。它干的活很具体——ChatGPT 或者公司其他服务变慢了,它自动去查原因、写修复方案,等工程师合并之后再验证是不是真的恢复了。三个多月下来,这个系统已经跑了 1700 多起调查,找到 600 多个根因,平均每天自动调查约 17 起。

这不是一个新产品,也不是一次模型发布。它更像一份来自一线的工程报告:当 Agent 开发的速度越来越快,传统的性能工程已经跟不上了,OpenAI 干脆让 Agent 自己来管性能。而这套做法里最值得看的,不是它查得有多快,而是它怎么给 Agent 的结论上保险。

从“人肉查日志”到“Agent 工厂”

OpenAI 的性能团队把这几年的演变总结成六步,读起来像一部 Agent 落地的缩影。

最开始没有 Codex 的时候,工程师全靠手工:看指标、翻日志、比 trace、读代码,查一次变慢可能要花很长时间,而且“该往哪儿看”高度依赖个人经验。后来团队陆续造了 30 多个性能工具,比如 CPU 和内存分配的 profiler,调查才轻松一些。

Codex 出现后,工程师可以把“为什么变慢了”直接丢给它:它能在代码库里搜索、找指标和 trace、跨服务追踪调用链,拼出事情的经过。但这一步仍然要人全程带路,工程师得知道该用哪个工具、怎么引导。

再往后,团队把调查流程沉淀成一个叫 perf-forensics 的共享 skill,告诉 Codex 有哪些工具、什么时候用、按什么顺序排查。他们用历史上的真实回退事故做了评测,针对 ChatGPT 延迟和可用性下降这类问题,给 Codex 一个告警,它一次就能交回一份诊断,不用再一步步手把手教。

但这时又冒出一个新问题:工程师变成了“人肉中转站”——告警一响,就把告警复制粘贴给 Codex,再把结论贴回 Slack。于是调查被搬上云端,告警能自动拉起 Codex 会话,结论直接发到 Slack 讨论串里。可调查完了还是要人接手:写修复、验证效果,告警一多,光是在 Slack 里翻哪些回退值得处理就够呛。

最后一步就是 Performance Factory:把整条链路做成有状态的工作流系统。从发现告警、调查根因、提出修复,到评审部署、验证恢复,每个环节都有明确的状态,任务可以在 Agent 和工程师之间交接,也能在代码评审或部署完成后自动续上。

四个部件,一条工作流

Performance Factory 由四个部件组成。任务服务负责定义工作流:工程师用配置文件和 Markdown 提示词写清楚任务能经过哪些状态、允许哪些流转、哪一步必须有人参与。调度循环定期扫描哪些任务到了下一步,给它派一个 Agent。云端 Codex 提供执行环境:Agent 在公司内网的环境里跑,能访问代码仓库和工程师用的观测工具——指标、日志、trace、CPU profile、内存快照。订阅机制则负责“等人”:任务需要等评审意见或者等部署完成时,Agent 不用空转,订阅 GitHub 评论、CI 失败这类事件,有动静再被唤醒。

第一条跑通的工作流叫 Regression Workflow,专门对付性能回退。告警一触发就建任务,Agent 先搞清楚是哪项指标变差、什么时候开始变差、影响了哪些请求。告警触发时指标已经越过阈值,但回退可能几小时前就开始了,所以 Agent 会往回翻数据找真正的起点,还要区分两种情况:是同类请求真的变慢了,还是变慢的请求变多了——这两者指向完全不同的原因。

Performance Factory 的任务报告示例:一次 worker 启动时间翻倍的回退,包含影响、根因和修复提议

上图为 OpenAI 官方博客中的任务报告示例:一次 worker 启动时间翻倍的回退,包含影响范围、根因分析和修复提议。

定位根因之后,Agent 对照同一时期的部署和功能开关变更,读相关代码,再用日志和 trace 验证这段代码能不能解释观测到的现象。通过评审之后,Codex 着手写修复并开 Pull Request,工程师审阅后决定合不合。部署完成,工作流唤醒 Agent 核对性能是否回到基线:恢复了就结案;只恢复一部分,就把原任务结掉,再为剩下的变慢另开一个任务;完全没改善,就打回重新调查。

Regression Workflow:从告警到恢复的五个步骤

对抗评审:让另一个 Agent 来挑刺

整篇博客里最有意思的设计,是对抗评审。早期 Agent 经常停在第一个看起来合理的解释上,有的诊断后来被证明是错的。于是 OpenAI 加了一道关卡:用另一个独立的 Codex 会话去挑战诊断,复核假设、检验反事实。

博客里举了一个例子:一次调查把 ChatGPT 对话失败归因于图片下载出错,评审的 Agent 注意到,负责定位文件的内部服务其实已经恢复了,但图片请求还在失败——原来的诊断解释不了持续的失败,于是调查被打回重做。

这个设计不只用在诊断上,也用在修复上。OpenAI 坦言,修比查难得多:Agent 提的改动有时比必要的复杂,有时还会引入新问题;有些改动涉及更高层的架构取舍,比如加缓存能提速却可能带来脏数据,这类决定还是需要懂业务的工程师来权衡。所以每份修复提议同样要过对抗评审,检查它是否真的针对根因、有没有副作用。

数字也印证了这种谨慎。人工抽查 100 条根因建议,70% 被评为准确,剩下 30% 需要进一步完善,或者没有完全建立因果关系。600 多个已定位根因的案件里,约有 400 个进入了修复提议阶段(据 VentureBeat 的独家报道),但原样合并的 Codex 亲笔 PR 只有 15 个,另有约 50 个修复受到了 Agent 建议的影响。换句话说,Agent 已经能稳定地产出“值得认真看的诊断”,但“能直接合进去的代码”还是少数。

Agent 也要被考核,还要会自我修复

Performance Factory 的另一半工作是评估。改一个 skill 或者升级模型,可能让 Agent 在某些问题上变强、在另一些上变弱,所以每次改动前都要先测。调查能力的评估用历史事故回测:把真实事故做成测试集,去掉会泄露答案的细节,让 Agent 从原始告警出发重新调查,再对照真实的解决过程打分——什么时候开始变慢、影响多大、影响了哪些请求、归因对不对,分开计分。交接的评估则看任务摘要:不熟悉系统的工程师能不能看懂发生了什么、为什么重要,关键图表有没有保留,下一步建议有没有证据支撑。

而 Agent 本身也需要被监控。profiler 坏了、权限丢了,都可能让 Agent 验证不了根因,而这些失败在最终报告里很难看出来。于是团队每天跑一个 Agent,专门翻最近运行的消息和日志,找工具故障和权限错误;同一类错误反复出现,就由 Performance Factory 自己建任务去修,修完再用评测确认 Agent 能不能过掉之前卡住的那一步。

下一步,OpenAI 想从“被动响应告警”走向“主动发现”:用已经采集的大量细粒度性能数据,让 Agent 去找告警没发现的回退或者优化机会。比如对比不同版本的 CPU、内存 profile 和请求 trace,发现某个请求的 CPU 占用悄悄涨了一点,就自动开任务追踪原因、写修复、提 PR。他们还在把已知模式编码成更多工作流,比如发现哪些服务的副本数配得过高,定期在所有服务上跑一遍。

小杜点评

这篇博客最值得算法工程师带走的,不是一组数字,而是一套“Agent 工厂”的模式:任务状态外置、Agent 按状态推进、独立评审挑战结论、人在关键决策点把关。很多团队用 Agent 都是“一问一答”,做完即走;Performance Factory 把一次调查变成可以在人和 Agent 之间流转、有记忆、可续跑的任务,这才是 Agent 能进生产系统的关键形态。

另外两个细节值得注意。第一,70% 这个数字是 OpenAI 自己公布的,带着诚实的光环:它说明 Agent 诊断已经可用,但远没到可以撒手不管的地步,评审闭环不是点缀,而是系统成立的前提。第二,修复环节的转化率很低——400 个提议、15 个原样合并——提醒我们,写代码比读代码难,Agent 在“定位问题”上的价值今天已经大于“直接改代码”。对正在把 Agent 接进研发流程的团队来说,先让 Agent 做调查和诊断、把合并权牢牢留在人手里,是更现实的顺序。

当然也要泼一点冷水:这是 OpenAI 讲自己的故事,1700、600、70% 这些数字都是厂商自测、自报,没有第三方复核。Performance Factory 是内部系统,并不对外提供。但它公开的方法论——状态机工作流、对抗评审、历史事故回测——是任何团队都能借鉴的。下次你用 ChatGPT 觉得卡了一下,背后可能已经有一群 Agent 在查原因了,只是最后拍板合不合并的,依然是人。

参考来源

  • OpenAI 官方博客:《How OpenAI's Performance Factory keeps ChatGPT fast》(2026 年 11 月 19 日)https://openai.com/index/how-openai-performance-factory-keeps-chatgpt-fast
  • VentureBeat 独家报道:《Exclusive: OpenAI reveals Performance Factory, a Codex-powered software optimization system that keeps ChatGPT fast》https://venturebeat.com/orchestration/exclusive-openai-reveals-performance-factory-a-codex-powered-software-optimization-system-that-keeps-chatgpt-fast
  • CryptoBriefing:《OpenAI's Performance Factory uses Codex agents with adversarial peer review》https://cryptobriefing.com/openai-performance-factory-codex-agents/

评论

正在确认登录状态…