Hugging Face 联合 OpenRouter 升级开源模型推理路由
Hugging Face and OpenRouter join forces to make open-weight models easy to run
Hugging Face 宣布将其 Inference Providers 的语言模型路由切换为 OpenRouter 架构,用户使用既有 Hugging Face token 和统一 API 即可按实时价格、速度与可用性动态分发请求至 80 多个服务商。
原文阐明了开源权重模型调用链路由自研转向第三方聚合的机制变化,为依赖该推理服务的开发者评估调用成本与重试策略提供了参考。
Hugging Face 与 OpenRouter 达成合作,让开放权重模型跑起来更轻松。如今,所有主流开放权重模型发布时都会上线 Hugging Face Hub,而 OpenRouter 则负责提供规模化推理服务,根据实时监测指标将每次请求智能分发给 80 多家提供商。双方联手后,只要有提供商支持,Hub 上的任意开放权重模型都能直接用你的 Hugging Face Token 通过同一套 API 调用,系统还会为每次请求挑选最优服务商。
今天,我们将 Inference Providers 的底层路由从自研方案切换到了 OpenRouter。发送给语言模型的请求现已接入 OpenRouter,系统会根据实时价格、速度和稳定性为每次调用优选服务商;若首选服务商失败,还会自动换用其他服务商重试。你的现有代码无需任何改动。
直接用你习惯的工具上手运行
无论底层接入哪家提供商,该路由对所有对话模型均支持 OpenAI 的 Chat Completions 和 Responses API,以及 Anthropic 的 Messages API。挑好你的编程智能体或 SDK 以及模型,照着步骤操作,或者直接将整套配置复制为提示词发给智能体:
Claude Code、Codex、OpenCode、Pi 和 Hermes Agent 的配置指南
凭借同一个 Hugging Face Token,你还能使用 Storage Buckets 进行存储、使用 Jobs 调用算力,以及通过 Inference Endpoints 获得专属推理服务。PRO、Team 和 Enterprise 套餐每月均包含算力与推理额度。
开放权重模型的使用现状
在 OpenRouter 上,开放权重模型的 Token 消耗占比从 2025 年 10 月的 26.8% 攀升至 2026 年 9 月底的 71.7%,此前曾在 7 月创下 77.5% 的峰值(OpenRouter,2026 年 10 月)。同期,开放权重模型的周处理量激增超过 60 倍,而闭源模型仅增长了近 10 倍。本周,OpenRouter 上使用量最大的模型正是一款开放权重模型——DeepSeek V4.1 Flash 1017,Token 消耗量高达 59.2 万亿(查看排行榜)。
开放权重模型的平均成本要低约四倍:每百万输入 Token 仅需 0.28 美元,输出 Token 为 1.62 美元;而闭源模型分别高达 1.27 美元和 6.36 美元。
在难度最高的基准测试中,顶尖开放权重模型与顶尖闭源模型相比仍有差距。在 Artificial Analysis 智能指数上,表现最佳的开放权重模型 Kimi K3.1 Pro 得分为 46 分,而 Claude Fable 5.2 为 65 分,但前者的单任务成本仅为后者的约七分之一(3.68 美元对 26.54 美元)。对许多实际业务而言,这样的性价比取舍非常划算。
由 OpenRouter 提供路由支持
OpenRouter 每月为超过 1000 万用户提供逾 800 万亿 Token 的推理服务,接入了来自 80 多家提供商的 600 多款模型。其路由决策正是基于在此类海量流量中对各家提供商进行的实时监测。
OpenRouter 最近重构了服务商路由系统:不再只看谁的标价最低,而是综合考量价格、速度与稳定性,将每次请求路由给表现最均衡的服务商。
一旦某家提供商响应变慢或开始报错,流量就会自动分流走,直到其恢复正常;如果单次调用中某家服务商失败,系统会在同一次请求内无缝切换至次优提供商重试。据 OpenRouter 实测,新路由机制让容量不足错误减少了 46%,首字时间加快了 16.9%,吞吐量也提升了 16.3%。
以往,Inference Providers 会为你的请求指定一家服务商,一旦调用失败便直接报错。现在,系统会自动切换到其他服务商重试。你仍然可以通过在模型 ID 后加后缀的方式,指定路由策略或服务商:
zai-org/GLM-5.3 # default: best mix of price, speed and reliability
zai-org/GLM-5.3:fastest # highest throughput
zai-org/GLM-5.3:cheapest # lowest price
zai-org/GLM-5.3:novita # only Novita
路由还能感知缓存状态:同一轮对话会优先留在存有其提示词缓存的服务商上。如需明确指定,可在 X-HF-Session-Id 请求头中为每段对话传入一个固定的 UUID(详见提示词缓存指南)。
定价与计费
价格保持不变:直接按服务商的原价计入你的 Hugging Face 账单,Hugging Face 不会加收任何差价。PRO 用户每月可获赠 2 美元额度,Team 和 Enterprise 组织则按每席位每月 2 美元发放。详情请参阅定价与计费页面。
图像、视频与音频生成
图像、视频和音频生成业务不受任何影响,继续直接经由 Hugging Face Inference Providers 处理,不经过 OpenRouter。你可以沿用原有的 Token 和 API,照常调用数以万计的 LoRA 模型。
请求路由去向一目了然
在模型主页上,你可以直接通过挂件与模型对话。新增的两个标签页展示了底层细节:Providers 会列出 OpenRouter 支持该模型的所有服务商,并标明各自的输入/输出价格、速度以及过去 24 小时的在线率;Metrics 则汇总了这些服务商中的最优价格、吞吐量、首字延迟(TTFT)、上下文长度和在线率:
在你的用量总览中,各项消费会按请求实际分发到的服务商分别列出:
你可以在设置中停用不想使用的服务商,路由器便绝不会将请求派发给它们。组织同样支持此项设置,并对计入该组织账单的所有请求生效。
破坏性改动:不再支持自定义服务商 API Key
由于语言模型的请求现已接入 OpenRouter,并统一通过你的 Hugging Face 个人或组织账户计费,因此你无法再对这些模型使用自带的服务商 API Key。不过,你仍然可以在模型 ID 后添加后缀(model:provider)来指定服务商,或在设置中停用某些服务商,原有调用代码无需改动。图像和视频服务商的自定义 Key 则不受影响,仍可照常使用。
未来规划
这只是我们与 OpenRouter 合作的第一步。接下来还将推出:
- 将 OpenRouter 账户与 Hugging Face 绑定。
- 将更多任务接入 OpenRouter 路由。
即刻体验任意模型,或查阅 Inference Providers 文档快速上手。
来源:Hugging Face Blog · huggingface.co