跳到正文

Factory 发布 Droid 1.0:让模型写程序调工具,官方自测同一模型下跑赢 Codex 和 Claude Code

Factory 发布编程 Agent 外壳 Droid 1.0,默认启用程序化工具调用(Script 模式):模型写 JavaScript 在沙箱里一次跑完上百次工具调用。官方自测 Terminal-Bench 4 上,同一模型下 Droid 的通过率和成本均优于 Codex、Claude Code、Cursor 等。本文梳理原理、数据、方法局限与开发者实操建议。

小杜

约 6 分钟读完更新于

Factory 发布 Droid 1.0:让模型写程序调工具,官方自测同一模型下跑赢 Codex 和 Claude Code

导语

10 月 29 日,做编程 Agent 的 Factory 发布了 Droid 1.0。这次更新没换模型,改的是模型外面那一层“外壳”(harness,也就是提示词、工具、工具结果怎么回传、整个循环怎么跑)。最大的变化是把程序化工具调用(Programmatic Tool Calling,PTC)设成默认:模型不再一次调一个工具、等结果、再调下一个,而是先写一段 JavaScript,在沙箱里一口气跑完几十上百次工具调用,只把打印出来的结果交回给模型。

为什么值得关注?Factory 用同一个模型、同一套 Terminal-Bench 4 题目,把 Droid 和 Codex、Claude Code、Cursor、OpenCode、Devin 放在一起比,Droid 的通过率都更高,成本也更低。数字是厂商自测,要打个折扣看,但它把一个越来越清楚的趋势摆到了台面上:到了长任务阶段,Agent 好不好用,外壳和模型一样重要。

Terminal-Bench 4:同一模型、不同 Agent 外壳的通过率(据 Factory 官方数据重绘)

背景:同一个模型,换个外壳差几个点

Factory 的定位一直是“模型无关”:用户可以自己选模型,也可以交给它的自动路由 Factory Router 选。官方给出的 Terminal-Bench 4 对比(10 月 23 日至 28 日跑的全部任务,每个任务 3 次试验,高推理档)是这样的:

  • GPT-6.1 Sol:Droid 通过率 57.6%,每个通过任务的成本约 $0.79;比 Codex(54.0%)高 3.5 个点、成本低 12%,比 OpenCode、Devin 高 6.6 到 12.6 个点。
  • Claude Opus 5.5:Droid 通过率 65.2%,每个通过任务约 $4.73;比 Cursor、OpenCode、Devin、Claude Code 高 3.0 到 7.6 个点,成本最多低 24%。
  • 时间:在 Opus 5.5 上,每个通过任务比 Claude Code 少用 26% 的时间、少 17% 的 token;在 GPT-6.1 Sol 上比 Codex 少 12% 的 token,但多花了 10% 的时间。

方法说明里有几处需要留意:成本和时间只统计两边 3 次都通过的任务;部分 Opus 5.5 任务被 Anthropic 内容审核拦下,就改用 Claude Opus 5 重跑;Devin 中途停下来提问的任务,如果 Codex 通过了,就按通过算。这些处理都写在了原文里,但它终究是 Factory 自己出题、自己打分,等第三方复现再下结论更稳妥。

要点一:Script 模式,把“调工具”变成“写程序”

Droid 把 PTC 做成了一个叫 Script 的工具:模型写的 JavaScript 跑在一个沙箱里,沙箱本身不能直接访问文件、网络和系统,只能通过 Droid 提供的工具去做事。Factory 说默认开启它有三个理由:

  1. 上下文更干净:原始文件、搜索结果、日志都留在程序变量里,模型只看到程序打印出的内容;
  2. 请求次数更少:一次请求能跑很多次调用,指令和历史只发一次,不用每两三步就重发一遍;
  3. 更可靠:循环和校验在代码里确定性地执行,不会出现模型计划了却“偷懒”漏掉某一项的情况。

官方举了几个例子:

  • 修一个失败的单元测试(GPT-6.1 Sol):同样 15 次工具调用,直接调用要 10 次模型请求、56.8 秒;Script 模式只要 5 次请求、41.6 秒。
  • 整理 Linear 工单:把 151 个工单换队列并逐个校验,总共 312 次工具调用。按每次请求 10 次调用估算,直接调用要 36 次请求、读入约 310 万输入 token;Script 只用了 2 次请求、约 6.1 万 token。
  • 巡检 CI:检查 547 次运行里的 5,384 个任务,550 次工具调用,2 次请求完成,模型最后只看到一个包含 41 个失败任务的五项摘要。

整体上,Script 模式让 Droid 在 Opus 5.5 上的成本比直接调用低 15%。目前默认开启的模型包括 GPT-6.1 Sol、GPT-6.1 Terra、GPT-6 Astra、Claude Opus 5.5、Claude Fable 5.1、Kimi K3 等。

这个思路本身并不新:Factory 自己也提到 CodeAct(Wang et al., 2024)在 17 个模型上验证过“用代码行动”优于 JSON/文本工具调用,Cloudflare 和 Anthropic 在 2025 年底把它带进了生产环境,Codex 今年也用上了。Droid 1.0 的不同之处在于把它设为默认,并为每个模型单独调优。

要点二:省 token 的那些“小事”

除了 PTC,文章里还有一堆很工程化的优化,每一条都值得抄作业:

  • 保住 prompt cache:服务商按前缀缓存,越靠前的改动越伤。以前会话中途加载一个 MCP 工具,会把工具定义插到请求前部,后面整段对话都要重算;现在新工具追加到末尾。生产环境里典型请求 98% 的输入来自缓存,98.6% 的请求严格只追加。
  • 基础提示词瘦身 37%:从 0.170.0 到 0.250.0,首个请求从 20,887 个输入 token 降到 13,055 个。首轮发送的工具定义从 11 个减到 2 个,冷门工具按需加载。
  • 有边界的自治:连续 3 轮没有可见输出就停;3 次相同的工具调用先提醒,6 次直接停;压缩摘要的上限从 8,000 token 提到 16,000。
  • 启动更快:首帧从 1,839 毫秒降到 488 毫秒,并行会话改为共享守护进程,每个会话只多占约 20MB 内存(以前每个进程约 350MB)。

对开发者意味着什么

第一,选 Agent 不能只看模型榜单。同样是 Opus 5.5,在 Factory 的测试里不同外壳之间最多差了 7.6 个点,成本也能差两成多。

第二,PTC 是可以直接借鉴的设计模式。如果你在自己做 Agent,碰上“读一堆文件找几个匹配项”“批量改一批工单并逐个校验”这类任务,让模型写一段程序去调工具,通常比让它一轮轮地调用更省也更稳。

第三,Factory 开放了 SDK。@factory/droid-sdk 跑的就是 CLI 背后的同一个 Droid,支持 Node.js 18+,可以起会话、流式获取输出,并通过 MCP 挂自定义工具,适合接到 PR 检查、定时维护这类无人值守流程里。

实操建议

  1. 先装上试一下:Droid 1.0 提供 macOS 和 Windows 桌面应用,也有终端版 CLI(droid 命令);官方快速上手文档建议先让它分析代码库结构,再做一个小的、可审查的改动。
  2. 拿自己的任务做 A/B:挑 5 到 10 个团队里真实的长任务,同一个模型分别跑 Droid 和你现在用的工具,记录通过率、token 和耗时,比看厂商图表更有说服力。
  3. 盯紧沙箱和权限:Script 能在一次请求里执行上百次调用,批量写操作(改工单、跑迁移)一旦出错影响面也更大。建议像官方 Linear 例子那样,在程序里写好“遇到异常改动立刻停”的保护。
  4. 自建 Agent 的同学:把新工具追加到请求末尾、大块工具结果落盘而不是塞进上下文,这两条几乎零成本,就能明显提高缓存命中率。

小杜点评

从算法工程师的视角看,这篇文章最有价值的不是那张对比图,而是它把“上下文工程”量化了:每多一个放错位置的 token,都会在后面每一轮被重发、被重算、分散模型注意力。PTC 本质上是把“规划”交给模型、把“执行”交给确定性的程序,模型只看汇总,这和我们做数据流水线时“别把原始日志全喂给下游”是一个道理。

我比较认同的一点是他们的“Agent Factory”:让 Agent 分析失败轨迹、提出改动、在每个模型家族上做对照实验,最后由工程师合并。文中那个例子很典型:给文件读取加行号能让 Opus 在某个任务上省 22% 成本,却让 GLM 和 Kimi 分别贵了 8% 和 32%,最后只能做成按需开启。外壳优化同样会过拟合到某个模型,跨模型评估才是正道。

需要冷静看的是:Terminal-Bench 4 的成绩是自测,GPT-6.1 Sol 上它也比 Codex 慢了 10%。我的建议是把 PTC 当成一个值得引入的工程模式,至于要不要换工具,用自己的任务说话。你在做 Agent 时有没有试过让模型“写程序调工具”?欢迎评论区聊聊。

参考来源

  • Factory:Droid 1.0: Building a Frontier Harness(2026-10-29):https://factory.com/news/frontier-harness
  • Factory Docs:Droid CLI Quickstart:https://docs.factory.com/cli/getting-started/quickstart
  • Factory Docs:Droid TypeScript SDK:https://docs.factory.com/sdk/typescript
  • Wang et al.:Executable Code Actions Elicit Better LLM Agents(CodeAct, 2024):https://arxiv.org/abs/2402.01030

评论

正在确认登录状态…