微软 Mage 团队于约 2026 年 10 月 30 日(Hugging Face 模型卡时间戳约在 10 月 30–31 日,中文社区同步帖亦标 10/30)开源了 Mage-VL-Cowork:一个约 4B 参数的混合 Computer Use Agent,把 GUI 截图操作和 bash/Python 终端动作放进同一套策略里。权重托管在 Hugging Face,许可证是 Apache-2.0。按官方公布的 OSWorld-Verified 分数(50 步预算、两次运行平均),它拿到 66.0%,在他们表格里的 4B 模型中最高,并略高于 Muse Glimmer-30B(65.9%)和 Qwen3.6-27B(63.9%)。对想在本地或私有环境跑桌面自动化、又不想上几十 B 大模型的工程师来说,这是一条很实在的开源路线。

背景:为什么要"混合"而不是纯点坐标
过去一年 Computer Use 大多走"看截图 → 点坐标"的纯 GUI 路线。它通用,但长任务里坐标误差会累积,表格计算、批量文件处理这类更适合脚本的工作,用鼠标点一遍往往又慢又脆。
Mage-VL-Cowork 的做法是:策略里同时有 computer_use(11 个 GUI 原语,坐标归一化到 [0,999])和 bash(持久 shell / Python)。模型自己决定这一步该点界面,还是写一段代码。官方 LibreOffice Calc 演示里,Mage 用 Python 路径 0 分 39 秒 / 6 步做完;同任务上纯 GUI 的 Qwen3.6-27B 是 9 分 56 秒 / 39 步(官方 demo 数字)。
模型与训练:4B 骨干 + 五阶段 Specialize-then-Unify
按 Hugging Face 模型卡与项目页:
- 骨干:Mage-ViT + Qwen3-4B(Qwen3-4B-Instruct-2507),架构标记为
llava_onevision2,加载需trust_remote_code=True - 体积:约 9.48 GB bfloat16,2 个 safetensors 分片
- 上下文:有效窗口 32,768
- 运行提示:官方提到可用 Docker 镜像
docker.io/xiaoyizhang/mage-vl-cowork:0.1.0做 serve
训练走五阶段"先专后合":GUI midtrain → GUI SFT → Coding/Terminal SFT → Hybrid SFT → Online Hybrid RL。官方给出的 OSWorld 轨迹是:
- GUI SFT:45.56%
- Hybrid SFT:55.84%
- Online Hybrid RL:66.0%
相对 Hybrid SFT,Online RL 提升 +10.16 个百分点;平均模型调用从 21.57 降到 18.77(−13.0%),输出 token 从 7,374 降到 5,499(−25.4%)。数据侧他们建了 Mage-CUA-Forge:293,806 个任务、6,915 个 skills、318,837 条混合轨迹,并把 recurring 成本从 $0.906 压到 $0.158(−82.6%,厂商数字)。

分数怎么读:厂商报告,注明口径
官方 headline 分数是 OSWorld-Verified、50-step 预算下两次运行平均 66.0%(单次 65.33% / 66.75%)。分项(同为厂商报告):OS 87.5%、Office 64.9%、Daily 65.0%、Professional 66.3%、Workflow 62.7%。
另外有一个 harness 剪枝结论值得单独记:在 672 个多应用任务上,GUI+coding 老师 92.0%,加上 AX(无障碍)反而到 89.6%;蒸馏到 4B 学生时,GUI+coding 是 37.6%,GUI+coding+AX 只有 25.1%(差 +12.5 pp)。说明"工具越多越好"并不总成立,对学生模型尤其要砍冗余接口。
这些数字都来自微软 Mage 项目页/技术报告,不是第三方独立复现;引用时请带上口径。
对开发者意味着什么
可本地部署的混合 Computer Use 基线。 4B + Apache-2.0,权重和代码都公开,比闭源大模型更适合内网、合规和二次训练。
策略层统一 GUI 与终端。 和"外挂脚本工具 + 纯 VL 点坐标"的拼盘不同,这里是一个策略同时学两种动作,长工作流里可以少做一次"该不该切工具"的外层编排。
安全边界必须自己守。 官方明确:仅建议在沙箱使用;bash 可执行任意命令;不可逆操作需要 human-in-the-loop。这不是玩具 demo 的免责声明,是生产接入的硬条件。
实操建议
- 先读 项目页 和 HF 模型卡,确认
trust_remote_code、动作空间和沙箱要求。 - 优先用官方 Docker 镜像在隔离环境试跑,不要一上来挂真实个人账号或生产盘。
- 任务设计上,把"适合脚本"的部分(表格、批量改文件、正则替换)留给 bash/Python,把"必须看界面"的部分留给 GUI,别强迫模型全程点鼠标。
- 评测时固定步数预算(例如 50-step)和是否允许终端,否则很难和官方 66.0% 对齐。
- GitHub 仓库 microsoft/Mage 的技术报告 PDF 在 10 月 30 日有更新,细节以仓库与项目页为准。
小杜点评
从算法工程师视角,Mage-VL-Cowork 真正有意思的不是又一个"截图 Agent",而是把 GUI 与编码动作放进同一策略、再用 Online Hybrid RL 收束。Hybrid SFT 到 RL 那 +10 pp,同时调用次数和 token 双降,说明强化学习在这里不只是刷分,也在教模型"少走弯路"。4B 打到接近 30B 纯 GUI 模型的厂商分数,也再次提醒:动作空间设计往往比单纯堆参数更划算。
我会保留三点谨慎:分数是厂商自报;bash 能力等于把远程代码执行能力交给模型,沙箱和审批流必须先于效果调优;harness 剪枝实验也说明多挂一个 AX 通道不一定帮小模型。如果你在做本地 RPA、桌面 Agent 或 Computer Use 蒸馏,这份权重值得当强基线试一把——但请先关在虚拟机里。



