跳到正文

微软开源 Mage-VL-Cowork:4B 混合 GUI/终端 Agent,OSWorld 厂商分 66%

微软 Mage 团队约 2026-10-30 开源 Mage-VL-Cowork(Apache-2.0):约 4B 参数,GUI 截图与 bash/Python 同一策略;厂商报告 OSWorld-Verified 50-step 平均 66.0%,五阶段训练后 Online Hybrid RL 相对 Hybrid SFT +10.16 pp。本文梳理架构、分数口径、安全边界与上手建议。

小杜

约 4 分钟读完

微软开源 Mage-VL-Cowork:4B 混合 GUI/终端 Agent,OSWorld 厂商分 66%

微软 Mage 团队于约 2026 年 10 月 30 日(Hugging Face 模型卡时间戳约在 10 月 30–31 日,中文社区同步帖亦标 10/30)开源了 Mage-VL-Cowork:一个约 4B 参数的混合 Computer Use Agent,把 GUI 截图操作和 bash/Python 终端动作放进同一套策略里。权重托管在 Hugging Face,许可证是 Apache-2.0。按官方公布的 OSWorld-Verified 分数(50 步预算、两次运行平均),它拿到 66.0%,在他们表格里的 4B 模型中最高,并略高于 Muse Glimmer-30B(65.9%)和 Qwen3.6-27B(63.9%)。对想在本地或私有环境跑桌面自动化、又不想上几十 B 大模型的工程师来说,这是一条很实在的开源路线。

官方 Teaser:Mage-VL-Cowork-4B 在 OSWorld-Verified 上的参数量-分数位置(图源 microsoft.github.io/Mage/cowork)

背景:为什么要"混合"而不是纯点坐标

过去一年 Computer Use 大多走"看截图 → 点坐标"的纯 GUI 路线。它通用,但长任务里坐标误差会累积,表格计算、批量文件处理这类更适合脚本的工作,用鼠标点一遍往往又慢又脆。

Mage-VL-Cowork 的做法是:策略里同时有 computer_use(11 个 GUI 原语,坐标归一化到 [0,999])和 bash(持久 shell / Python)。模型自己决定这一步该点界面,还是写一段代码。官方 LibreOffice Calc 演示里,Mage 用 Python 路径 0 分 39 秒 / 6 步做完;同任务上纯 GUI 的 Qwen3.6-27B 是 9 分 56 秒 / 39 步(官方 demo 数字)。

模型与训练:4B 骨干 + 五阶段 Specialize-then-Unify

按 Hugging Face 模型卡与项目页:

  • 骨干:Mage-ViT + Qwen3-4B(Qwen3-4B-Instruct-2507),架构标记为 llava_onevision2,加载需 trust_remote_code=True
  • 体积:约 9.48 GB bfloat16,2 个 safetensors 分片
  • 上下文:有效窗口 32,768
  • 运行提示:官方提到可用 Docker 镜像 docker.io/xiaoyizhang/mage-vl-cowork:0.1.0 做 serve

训练走五阶段"先专后合":GUI midtrain → GUI SFT → Coding/Terminal SFT → Hybrid SFT → Online Hybrid RL。官方给出的 OSWorld 轨迹是:

  • GUI SFT:45.56%
  • Hybrid SFT:55.84%
  • Online Hybrid RL:66.0%

相对 Hybrid SFT,Online RL 提升 +10.16 个百分点;平均模型调用从 21.57 降到 18.77(−13.0%),输出 token 从 7,374 降到 5,499(−25.4%)。数据侧他们建了 Mage-CUA-Forge:293,806 个任务、6,915 个 skills、318,837 条混合轨迹,并把 recurring 成本从 $0.906 压到 $0.158(−82.6%,厂商数字)。

五阶段训练、OSWorld 对比与 LibreOffice 演示(整理自官方项目页,xiaodu.blog 制图)

分数怎么读:厂商报告,注明口径

官方 headline 分数是 OSWorld-Verified、50-step 预算下两次运行平均 66.0%(单次 65.33% / 66.75%)。分项(同为厂商报告):OS 87.5%、Office 64.9%、Daily 65.0%、Professional 66.3%、Workflow 62.7%。

另外有一个 harness 剪枝结论值得单独记:在 672 个多应用任务上,GUI+coding 老师 92.0%,加上 AX(无障碍)反而到 89.6%;蒸馏到 4B 学生时,GUI+coding 是 37.6%,GUI+coding+AX 只有 25.1%(差 +12.5 pp)。说明"工具越多越好"并不总成立,对学生模型尤其要砍冗余接口。

这些数字都来自微软 Mage 项目页/技术报告,不是第三方独立复现;引用时请带上口径。

对开发者意味着什么

可本地部署的混合 Computer Use 基线。 4B + Apache-2.0,权重和代码都公开,比闭源大模型更适合内网、合规和二次训练。

策略层统一 GUI 与终端。 和"外挂脚本工具 + 纯 VL 点坐标"的拼盘不同,这里是一个策略同时学两种动作,长工作流里可以少做一次"该不该切工具"的外层编排。

安全边界必须自己守。 官方明确:仅建议在沙箱使用;bash 可执行任意命令;不可逆操作需要 human-in-the-loop。这不是玩具 demo 的免责声明,是生产接入的硬条件。

实操建议

  1. 先读 项目页 和 HF 模型卡,确认 trust_remote_code、动作空间和沙箱要求。
  2. 优先用官方 Docker 镜像在隔离环境试跑,不要一上来挂真实个人账号或生产盘。
  3. 任务设计上,把"适合脚本"的部分(表格、批量改文件、正则替换)留给 bash/Python,把"必须看界面"的部分留给 GUI,别强迫模型全程点鼠标。
  4. 评测时固定步数预算(例如 50-step)和是否允许终端,否则很难和官方 66.0% 对齐。
  5. GitHub 仓库 microsoft/Mage 的技术报告 PDF 在 10 月 30 日有更新,细节以仓库与项目页为准。

小杜点评

从算法工程师视角,Mage-VL-Cowork 真正有意思的不是又一个"截图 Agent",而是把 GUI 与编码动作放进同一策略、再用 Online Hybrid RL 收束。Hybrid SFT 到 RL 那 +10 pp,同时调用次数和 token 双降,说明强化学习在这里不只是刷分,也在教模型"少走弯路"。4B 打到接近 30B 纯 GUI 模型的厂商分数,也再次提醒:动作空间设计往往比单纯堆参数更划算。

我会保留三点谨慎:分数是厂商自报;bash 能力等于把远程代码执行能力交给模型,沙箱和审批流必须先于效果调优;harness 剪枝实验也说明多挂一个 AX 通道不一定帮小模型。如果你在做本地 RPA、桌面 Agent 或 Computer Use 蒸馏,这份权重值得当强基线试一把——但请先关在虚拟机里。

参考来源

评论

正在确认登录状态…