跳到正文

Hugging Face 把推理路由交给 OpenRouter:开源模型已占七成流量,一个 token 跑遍 80 多家服务商

Hugging Face 把 Inference Providers 的路由交给 OpenRouter:开源模型在 OpenRouter 上的 token 占比已达 71.7%,代码不用改,一个 token 就能按实时价格、速度和可靠性在 80 多家服务商之间自动切换,失败自动重试;但自带服务商 key 不能用了。

小杜

约 7 分钟读完

Hugging Face 把推理路由交给 OpenRouter:开源模型已占七成流量,一个 token 跑遍 80 多家服务商

11 月 16 日,Hugging Face 宣布把 Inference Providers 的路由交给 OpenRouter:从今天起,Hub 上所有开源权重模型的语言模型请求,都走 OpenRouter 在 80 多家服务商之间动态挑选最优的那一家。你的代码不用改,Hugging Face token 照用,账单还是 Hugging Face 的,只是请求背后换了一套更会挑路的路由器。

这件事值得写,不是因为多了一次合作,而是因为它把过去一年开源模型最扎实的一组数字摆上了台面:OpenRouter 上开源权重模型占的 token 份额,从 2025 年 10 月的 26.8% 涨到了 2026 年 9 月底的 71.7%,今年 7 月一度冲到 77.5%。每周的开源模型调用量涨了 60 多倍,而闭源模型同期只涨了不到 10 倍。本周 OpenRouter 上用量最大的模型已经是开源的 DeepSeek V4.1 Flash 1017,一周 59.2 万亿 token。开源模型不再是"便宜的备选",它正在变成默认选项。

换了什么:代码不动,请求背后换了路由器

Inference Providers 是 Hugging Face 的无服务器推理服务:模型发布在 Hub 上,由第三方服务商实际托管,你拿一个 Hugging Face token 就能调。以前 Hugging Face 自己写了个路由器来分发请求;现在这部分直接交给 OpenRouter。

对开发者来说,变化几乎是透明的:

  • **还是同一个 token、同一套 API。**支持 OpenAI 的 Chat Completions 和 Responses API,以及 Anthropic 的 Messages API,不管背后是哪家服务商在跑。
  • Claude Code、Codex、OpenCode、Pi、Hermes Agent 都有现成的接入指南,照着复制配置就能把开源模型接进你已经在用的编码助手。
  • 同一个 token 还能用 Storage Buckets、Jobs 和 Inference Endpoints,PRO 用户每月有 2 美元额度,Team 和 Enterprise 按席位给 2 美元。

真正变的是请求在发出之后走的路:OpenRouter 不再只看谁家标价最低,而是根据实时测到的价格、速度和可靠性,给每次请求挑综合最优的服务商;一家慢了或者开始报错,流量就自动挪走;一次调用里失败了,还会在同一通请求内换一家重试。以前是路由器挑定一家,报错就原样返回给你,现在是路由器兜底。

OpenRouter 10 月重建路由系统时的实测数据是:容量类报错减少 46%,首 token 时间快 16.9%,吞吐量提高 16.3%。代价也有:OpenRouter 自己在博客里承认,每次请求的成本平均高了 6.0%。这是个可以接受的交换——对大多数调用来说,少一次 429 比省几分钱重要。

开源模型正在赢:71.7% 的流量份额

Hugging Face 这篇博客最有信息量的其实是那张图:开源权重模型在 OpenRouter 上的 token 占比曲线。2025 年 10 月 26.8%,2026 年 7 月冲到 77.5% 的峰值,9 月底回落到 71.7%——回落不代表退潮,绝对量还在涨,只是闭源模型的新发布也分走了一部分。

开源权重模型在 OpenRouter 上的 token 占比,从 2025 年 10 月的 26.8% 涨到 2026 年 9 月底的 71.7%

图:开源权重模型在 OpenRouter 上的 token 占比变化(来源:Hugging Face 官方博客)

驱动这条曲线的不是情怀,是性价比。按 Hugging Face 给出的数据,开源模型平均每百万输入 token 0.28 美元、输出 1.62 美元,闭源模型是 1.27 美元和 6.36 美元,差了大约 4 倍。能力上当然还有差距:Artificial Analysis 智能指数里表现最好的开源模型 Kimi K3.1 Pro 得 46 分,Claude Fable 5.2 是 65 分;但每个任务的成本是 3.68 美元对 26.54 美元,大约七分之一。对很多工作负载来说,这个交换很值——不是所有任务都需要最强模型,大量任务需要的是"够好又便宜"。

OpenRouter 现在的体量是每月服务 800 万亿 token 以上、1000 万以上用户、600 多个模型、80 多家服务商。这次接入后,Hugging Face 侧有 160 个模型、38 个实验室的模型可以通过这种方式调用,也就是 OpenRouter 上所有在 Hub 有页面的模型。

路由怎么挑:三个后缀加一个缓存头

默认策略是"价格、速度、可靠性综合最优",但你可以在模型 ID 后面加后缀自己定策略:

zai-org/GLM-5.3            # 默认:价格、速度、可靠性综合最优
zai-org/GLM-5.3:fastest    # 最高吞吐
zai-org/GLM-5.3:cheapest   # 最低价格
zai-org/GLM-5.3:novita     # 只用 Novita

路由还是缓存感知的:同一段对话会尽量留在持有你提示词缓存的那家服务商上,避免缓存失效重复计费。想明确控制的话,可以在每次请求里带一个稳定的会话 UUID,放在 X-HF-Session-Id 请求头里。

透明度也做了升级。模型页面上现在多了两个标签页:Providers 列出 OpenRouter 能把这个模型路由到的所有服务商,以及各自过去 24 小时的输入输出价格、速度和可用率;Metrics 展示其中最好的价格、吞吐、首 token 时间、上下文长度和可用率。你的用量总览会按实际走到的服务商拆分花销;设置里可以关掉任何你不想用的服务商,路由器就再也不会把请求发过去,组织级设置对整个组织生效。

一个破坏性变化:自带服务商 key 不能用了

这次改动里唯一需要动手改配置的地方,是自定义服务商 key 被取消了。

以前你可以在 Hugging Face 里填自己在某家服务商的 API key,让请求走你的 key 计费。现在语言模型的请求全部走 OpenRouter、统一记到你的 Hugging Face 账户或组织账单上,这条路就走不通了。你仍然可以用模型 ID 后缀指定服务商,也可以在设置里关掉不想用的服务商,代码不用动——但"用自己的 key 直连服务商"这个用法,对语言模型来说结束了。

图像、视频和音频生成不受影响,仍然直接走 Hugging Face Inference Providers,不经过 OpenRouter,自定义 key 也继续能用,几万个 LoRA 也还在。

另外一个 OpenRouter 博客里提到的新能力:你可以让 OpenRouter 把每次请求的 trace 发到你自己的 Hugging Face Storage Bucket 里,真实流量的提示词和回复就和你用来评测、微调的模型和数据集放在一起了。这对想拿真实流量做评测和微调的团队来说很实用。

下一步:账号打通和更多任务类型

Hugging Face 说这是合作的第一步,接下来两件事:一是把 OpenRouter 账号和 Hugging Face 账号连起来,二是把更多任务类型也路由到 OpenRouter 上。没有给时间表。

对做应用的人来说,更值得关注的是这件事背后的趋势:开源模型的调用量已经占了 OpenRouter 的七成,而 Hugging Face 和 OpenRouter 这次是把"模型在哪、谁来跑、多少钱、稳不稳"这四件事收进了一个入口。以后选模型可能越来越像选云服务:先看能力够不够,再看路由帮你挑的服务商划不划算,而不是先纠结模型托管在哪。

小杜点评

这次合作真正的主角不是 Hugging Face,也不是 OpenRouter,是那条 26.8% 到 71.7% 的曲线。开源模型赢流量的原因从来不是"开源"这个标签,而是便宜 4 倍、够用、到处都能跑。Kimi K3.1 Pro 对 Claude Fable 5.2 的 46 对 65 分说明能力差距还在,但 3.68 美元对 26.54 美元的任务成本说明,大量真实工作负载已经不需要顶分模型了。

对工程师来说,最实用的变化有三点:第一,失败重试和自动换服务商从"自己写"变成了"默认有",容量报错少 46% 是实打实的稳定性收益;第二,:fastest、:cheapest、指定服务商这三个后缀,加上 X-HF-Session-Id 的缓存控制,等于把路由策略交到了调用方手里,成本敏感和延迟敏感的任务可以分开调;第三,Providers 和 Metrics 两个标签页让"这家服务商现在到底行不行"变成了一个可以查的事实,而不是玄学。

但也要注意两个坑:一是自带 key 取消了,之前靠自己的服务商 key 拿折扣价、走企业协议的部署要重新算账;二是 OpenRouter 自己承认路由重建后单次请求成本平均高了 6%,便宜 4 倍的大账没变,但精打细算的账本要更新。建议先在非核心流量上接进来,跑一周用量总览,对照一下实际走到的服务商和价格,再决定要不要把主力流量迁过来。

参考来源

  • Hugging Face 官方博客:《Hugging Face and OpenRouter join forces to make open-weight models easy to run》,2026-11-16,https://huggingface.co/blog/openrouter
  • OpenRouter 官方博客:《OpenRouter Now Powers Inference on Hugging Face》,2026-11-16,https://openrouter.ai/blog/announcements/hugging-face-inference-providers/
  • OpenRouter 工程博客:《How we rebuilt provider routing》,https://openrouter.ai/blog/announcements/how-we-rebuilt-provider-routing/

评论

正在确认登录状态…