跳到正文

5 个 27B 小模型组队写代码:Memdoor 复现 GVS5H,LiveCodeBench Hard 前 10 题均分 9.8

2026-11-01,开源 Agent 工具 Memdoor 公开 team-solve 工作流:5 个 Qwen3.8-27B 分任规划、构思、求解、经理与修复,在 LiveCodeBench Hard 前 10 题 5 轮均分 9.8,与 GVS5H 原版 9.6 持平、高于 Fable 5 单次调用的 8.0。本文拆解分工、成本、失败案例和上手步骤。

小杜

约 5 分钟读完

5 个 27B 小模型组队写代码:Memdoor 复现 GVS5H,LiveCodeBench Hard 前 10 题均分 9.8

东京时间 11 月 1 日 07:46(北京时间 06:46),开源 Agent 工具 Memdoor 的作者在 Hacker News 发帖,标题是「Memdoor:5 个 Qwen3.8-27B 组队,在 LiveCodeBench Hard 上胜过 Fable 5」,帖子当天冲到 250 多分、100 多条评论。内容本身不是新模型,而是一个叫 team-solve 的工作流:把论文 GVS5H 里的多智能体解题方法,写成 8 个 YAML 文件,让 5 个 27B 开源模型分别当规划者、构思者、求解者和经理,在 LiveCodeBench Hard 前 10 题上跑 5 轮,平均解出 9.8 / 10。它值得聊,不是因为「小模型打赢了前沿模型」这个标题,而是因为作者把 50 次运行的每一次请求、回复、程序和花费都公开了,同时老老实实写清了这个结果不能说明什么。

team-solve 的七个步骤,以及 LiveCodeBench Hard 前 10 题的 5 轮平均成绩对比(数据来自 Memdoor 仓库 team-solve 的 README 与 NOTES,小杜整理)

先看清楚成绩:谁和谁比

team-solve 的 README 给了一张逐轮表格,口径是:GVS5H 作者列表里 LiveCodeBench Hard 的前 10 道题,每题跑 5 轮,用作者修正过的评测脚本在全部隐藏测试上打分。

轮次 Memdoor team-solve GVS5H 作者原版 harness Fable 5 单次调用
1 10 9 7
2 10 10 8
3 10 10 10
4 10 9 8
5 9 10 7
平均 9.8 9.6 8.0

这里有三点要看仔细:

  • 主角其实是「复现」。Memdoor 用同一个 Qwen3.8-27B、作者的原版提示词、同样的循环和 128K 回复上限,重建了 GVS5H 的 harness。作者自己写明:样本只有 10 题,9.8 和 9.6「是同一个数」,结论是与原作持平,不是超越。
  • Fable 5 那一列不是在这个框架里跑的,而是 GVS5H 作者文件里「每题一次调用」的结果。所以「5 个小模型打赢 Fable 5」更准确的说法是:一套多轮、多角色、有测试反馈的流程,打赢了一次性作答。
  • 数据污染无法排除。这些题来自 2025 年春季的比赛,模型训练时可能见过,README 明确说这一点对每一列都成立。

五个角色怎么分工

流程是一个 DAG:

plan ──┬── ideate-a ──┬── solve ── test ── review ── repair ── verify
       └── ideate-b ──┘
  • plan:规划者读题目 task.md,写出 plan.md;
  • ideate-a / ideate-b:两个构思者并行,一个给「最直接、可证明」的算法,另一个必须给出来自不同技术路线的方案;
  • solve:求解者在两份方案里选一个,写出 solution.py;
  • test:一段 shell 命令跑公开样例,把结果写进日志(这一步不会让流程失败);
  • review → repair:经理读测试输出写修复指令,再由一个全新的修复者执行;
  • verify:最后重跑所有样例,任何不一致就以非零退出码判失败。

关键设计有两条:每个 Agent 都从全新上下文开始,提示词里写着「读文件,不要依赖聊天记录」,彼此只通过磁盘上的文件沟通;成败由脚本判定,不由模型判定。按 README 的说法,GVS5H 论文把收益主要归功于这种「账本式」的纪律。整套流程没有一行代码、也不指定模型,换成你本地的模型同样能跑。

成本、耗时和翻车记录

NOTES 里的账算得很细:50 次运行解出 49 次,总花费 $35.79(1530 万输出 token);单次运行中位数 40 分钟、$0.39,最长的一次跑了 4 小时。模型是通过 OpenRouter 调用的,没有在本地跑。

丢掉的那一题也写得很坦白:第 5 轮的 abc399_e,第一轮写出的程序其实是对的,但经理「编」了一个预期答案错误的反例,团队就把正确程序改坏了,而公开样例恰好没覆盖到这个情况。另外还有两次,正确程序被后续轮次覆盖,最后才找回来,这两次也是 50 次里最贵的($3.44 和 $4.24)。作者给的修法很工程化:用小输入上的暴力解去核对经理给的反例,并且始终保留最后一个通过样例的版本。

想自己试试怎么做

README 给的步骤很短:

curl -fsSL https://memdoor.ai/install.sh | bash
memdoor connect openrouter        # 也可以 anthropic / openai / gemini
# 不想用 key:memdoor connect local(Ollama、llama.cpp、vLLM、LM Studio)
git clone --depth 1 https://github.com/guregodevo/memdoor
mkdir -p ~/.memdoor/workflows
cp -r memdoor/examples/workflows/team-solve ~/.memdoor/workflows/
mkdir my-problem && cd my-problem
cp -r ../memdoor/examples/workflows/team-solve/sample/* .
memdoor workflow run team-solve --wait   # 所有样例通过时退出码为 0

几个实操提醒:

  1. 换成自己的题目,只需替换 task.md,并在 tests/ 下放成对的 N.in / N.out;程序固定是从 stdin 读入的 solution.py,需要 Python 3 和 bash。
  2. 用 Ollama 跑本地模型时,README 特别提醒要把上下文窗口调到 32K,默认的 4K 不够。
  3. 想改某个角色的行为,直接改 steps/ 里对应的提示词即可;Memdoor 本身是 Apache-2.0 许可的单文件 Go 程序。

小杜点评

这条新闻最有价值的地方不是 9.8 这个分数,而是「把 harness 当成可以复现、可以 diff 的工件」:作者写了一个测试,让自己的工作流和原论文代码面对同一个脚本化模型,逐字节比对每一次请求,一个字符不同就会报错。做算法的同学都知道,多 Agent 论文最难复现的往往不是模型,而是提示词、温度、截断和重试这些细节,这里把它们全摊开了。

我的看法有三点。第一,「小模型组队 > 大模型单发」本质上是用测试反馈和多轮推理换算力,中位 40 分钟、平均每题约 30 万输出 token(1530 万 ÷ 50 次)的流程和一次调用不在同一个预算档,选型时要按「每道题的总成本和延迟」比,而不是只看分数。第二,10 题 × 5 轮的样本只能说明方法可用,离「稳定超越」还差得远,别被标题带节奏。第三,「经理编出错误反例把对的程序改坏」这种失败模式在真实的代码 Agent 里非常常见,作者给的「暴力解校验 + 保留最后一个通过版本」值得直接抄进你自己的 Agent 流程里。

参考来源

评论

正在确认登录状态…