跳到正文
The Pragmatic Engineer (Gergely Orosz)·· 5 天前精选AI 评分81

面向软件工程师的推理工程指南:从前沿模型 API 到开源模型与专属 GPU

Inference engineering for software engineers

AI 导读

文章系统梳理了企业将 AI 负载从前沿闭源 API 迁移至开源模型和独立推理服务商的工程实践与演进路径。企业通常经历从直接调用前沿模型 API、通过智能路由网关接入多租户开源 API,再到租用专属 GPU 节点以实现稳定低延迟和后训练定制的三阶段。

推荐理由

文章系统梳理了从闭源模型 API 迁移至独立推理服务商和专属 GPU 的演进路径,提供了排查首字延迟与优化缓存的具体工程方法。

正文 · AI 翻译

我们最近关注到一个趋势:不少科技公司正转向开源模型来控制 AI 开销。Uber 的每 token 成本降低了 50%,Pinterest 降了 90%,就连 AT&T 也降低了 56%。但要怎样从前沿实验室的 API 迁移到开源模型?通常有两条路:

  • “裸金属”路线:如果时间和预算充裕,可以直接走“裸金属”(bare metal)路线,采购几十块英伟达 GPU 自建 AI 超算集群,比如 Revolut 就是这么做的:自己运行了 56 台独立的 B200 节点来满足推理需求。前期搭建工作量极大,但一旦跑顺,后续的运营成本就低到了极致。

  • 推理服务商:大多数公司会选择与推理服务商签约。这类服务商运营着大规模的 GPU 集群,能让客户轻松接入,快速用上开源模型。

接入推理服务商来运行大语言模型工作负载并非没有挑战,比如处理长尾延迟、优化缓存命中率、应对速率限制等。**推理工程**(Inference engineering)包含了一套工程实践,我们认为软件工程师熟悉这些内容将大有裨益。为了深入探讨这个领域,我们采访了三家主流推理服务商:Modal、Fireworks AI 和 Baseten。今天我们重点探讨以下内容:

  1. 什么是推理服务商?它们与 AI 实验室有何不同?它们拥有与前沿实验室相似的 GPU 基础设施,但不自己训练前沿模型,而是专注于开源模型的托管优化。

  2. 何时该从前沿实验室迁出?最常见的原因是降低成本、更自主地掌控延迟,以及微调 AI 模型。

  3. 挑选模型、服务商与部署策略。通过评估测试(evals)为业务场景挑选合适的开源模型,评估各家供应商,并在多租户 API 与独占 GPU 之间做出抉择。

  4. 阶段一:基于多租户架构进行 API 替换。接入推理服务商最简单的办法,就是把前沿实验室的 API 直接换成推理服务商的 API。不过在高负载下,可能会遇到延迟波动和缓存问题。

  5. 多租户推理 API 已无法满足需求的信号。频繁触碰速率上限、性能波动过大、用量账单居高不下,这些迹象都说明该考虑独占 GPU 了。

  6. 阶段二:配置独占 GPU 节点。使用独占 GPU 时,就必须深入工程细节:模型尺寸、交互响应与吞吐量的取舍、KV 缓存容量规划、故障转移方案等。

  7. 推测解码(Speculative decoding)。如果在解码阶段算力未跑满,可以考虑引入推测器(Speculator)来进一步提升推理性能。

照例说明:我们与本文提及的厂商均无利益关联,亦未接受任何商业赞助。特别感谢 Richard Gong(Modal 推理业务负责人)、Dmytro Dzhulgakov(Fireworks 联合创始人兼 CTO)以及 Philip Kiely(Baseten 特别项目负责人)就推理工程挑战分享的真知灼见。

1. 什么是推理服务商?它们与 AI 实验室有何不同?

推理服务商指的是代用户运行大语言模型、并对外售卖模型访问服务的公司。表面上看,这跟 OpenAI 或 Anthropic 提供的服务没什么两样:一个 API 端点、支持流式输出 token、按 token 用量计费。

但推理服务商与前沿实验室的真正区别,在于 API 接口背后运行的模型:推理服务商运行的是开源权重模型,而前沿实验室则训练自己的专有模型。在这个赛道中,Modal、Fireworks 和 Baseten 采取的策略各有侧重:

  • Modal 将自己定位为一家云基础设施提供商,核心在于让用户通过其 SDK 以可编程的方式调用各项能力。Modal 原生支持通过 SDK 提供推理服务,但高度依赖开源生态来高效运行推理工作负载,技术栈的性能优化也会回馈给上游开源社区。正如 Modal 推理业务负责人 Richard Gong 所说:“在 Modal 上运行代码时,你应该能看到正在运行的每一行代码。”

  • Fireworks 则定位为专精型 AI 工作负载服务商。其绝大部分业务来自独占式部署,通常涵盖模型微调以及低延迟保障。许多微调和后训练任务都支持自助完成,Fireworks 还提供现场驻场研究员,协助客户针对定制模型或组件进行后训练。Fireworks 首席技术官 Dmytro Dzhulgakov 表示:“我们的口号是‘专业化智能’,这意味着我们会针对你的具体使用场景,从模型到基础设施全链路进行调优。”

  • Baseten 将自己描述为构建智能体的一站式平台。它以基础基础设施层为起点,提供可用性保障、灵活的商务条款,且不存在厂商绑定。在此基础上,Baseten 在其推理平台之上构建了面向智能体工作负载的扩展层,涵盖沙箱、治理服务以及自助式后训练等功能。

对客户而言,推理服务商提供的 LLM API 可以直接无缝替代前沿实验室的 API。但正如前文所述,推理服务商本身也具备不同的特点:

  1. 推理服务商不自行预训练基础模型。前沿水平的大模型单次预训练成本高达数百万美元,只有超大规模云厂商和专门的前沿实验室才承担得起。推理服务商则选择对开源权重模型进行后训练,成本要低得多。

  2. 极具竞争力的定价。推理服务商的核心业务,就是以更具性价比的价格提供开源权重模型服务。

  3. 专属硬件资源。推理服务商的一大吸引力在于能提供专属硬件,让用户可以在基础设施层直接与厂商对接协作。

  4. 高效率与定制化。各家推理服务商提供的开源模型大多趋于同质化,竞争主要集中在运行效率与定制化服务上。

在效率方面,Fireworks 是一个典型案例。其在 2026 年 9 月发布了基于 Kimi K3 底座后训练的 Ember-1 模型,在达到相近效果的前提下,推理 token 消耗减少了 40%。推理 token 消耗的大幅降低,让 Fireworks 相比原生 Kimi K3 模型获得了明显的成本优势。

总体而言,顶尖大模型实验室的正常运行时间普遍偏低,这给了第三方推理服务商抢占市场份额的机会。目前顶尖实验室提供的 API 可用性,还远没达到现代云服务商的基准:Anthropic 自称的正常运行时间仅为 99.5%,OpenAI 的 API 为 99.97%,ChatGPT 则只有 99.2%。这些数据远低于云服务商通常承诺的“4个9”(99.99%+)——而像 AWS 这样的服务商向来以能够维持这一水准著称。

顶尖实验室 API 的正常运行时间。数据来源:OpenAI、Anthropic。

试想一下,如果你是一名开发者,需要为自己的应用保证 99.99% 的可用性,那么在核心服务链路上,你绝不能只依赖单一顶尖大模型供应商。更何况在上面的图表中,性能降级的时间段甚至都没算作停机。由于这些 API 均为多租户架构,性能降级必然会波及部分租户,而用户往往既无法提前获知,也无计可施。

无论是顶尖实验室的大模型还是第三方推理服务,可靠性始终是个痛点。尽管不少推理服务商给出的可靠性承诺高于顶尖实验室,但它们同样存在宕机风险。因此,采用推理服务商的企业通常会搭建 LLM 网关,配置降级回退机制,在异常时切换到备用服务商或直接调用顶尖实验室的 API。我们在对 Ramp 的深度访谈中详细探讨过这一点,他们的 LLM 路由项目最初正是为了解决这个难题。

2. 什么时候该从顶尖实验室迁移?

从顶尖 AI 实验室转向独立推理服务商,通常受到三大因素驱动:成本、自主可控性以及更深度的定制需求。

最常见的原因:成本

许多企业开始考虑推理服务商,都是源于迫切的成本压力。在多数情况下,顶尖模型的能力应对大部分请求往往大材小用,这意味着简单任务用“弱一点”的模型就绰绰有余——而且根本没人能察觉出差别!面对这种情况,工程团队把部分请求分流到推理服务商托管的低成本模型上,显然是顺理成章的选择。

“智能路由”是降本最直接的手段。大模型路由器(即“智能路由器”)能够识别提示词特征,并将请求分发给成本效益最高且能解决该任务的服务商。今年夏天,Uber 正是借助这一方法将每 Token 成本砍掉了约 50%。

由于各推理服务商都提供了兼容 OpenAI 或 Anthropic 规范的 API 接口,切换起来非常轻松。你只需要把应用的请求地址指向由“智能路由器”统一调度的新接口即可。

但该如何确定由哪个模型来承接请求?通用的基准测试往往不够用,因为它们通常无法完全反映具体团队的实际流量特征。大多数推理服务商会索取提示词样本或评估数据集,以此来衡量哪款模型最契合客户的业务场景。接入新的大模型接口体验与直接调用顶尖实验室的 API 类似,调用同样按 Token 计费,而且一般也不提供响应时间的 SLA 保证。

对延迟拥有更强的把控力

直接使用顶尖实验室的接口时,你几乎无法干预响应延迟或模型可用性等运维问题。而在推理服务商处选择独占部署方案,则能让你对这两项指标实现完全的自主掌控:

  • 延迟表现:应用享有独占算力,并可按需弹性扩缩容,因此模型的响应时间更加稳定可控。

  • 模型可用性:工程师可以在专属 GPU 上自由运行所选模型,并根据需要一直维护,不用担心前沿 AI 实验室随时改动或下线模型。

模型质量微调:深度定制

如果将开源模型和推理技术栈部署在专属硬件上,团队就能与推理服务商合作,按需微调模型效果,从而在延迟或吞吐量上实现进一步优化。来自 Modal 的 Richard Gong 透露,大约有 10% 的客户会做到这一步,这也说明深度定制往往是“高阶用户”的专属需求。

微调模型质量通常适用于以下两种场景:

  • 打磨轻量模型:用参数量更小的小模型达到相近的效果水准。这种性能收益源自专门的调优手段,是开箱即用的现成模型做不到的。不少推理服务商支持针对特定业务场景对小模型进行后训练(post-training),训练后的小模型在特定专业场景下的表现甚至能超越原始大模型。

  • 针对垂直利基场景微调:当通用模型因缺乏非公开数据而表现不佳时,微调能显著提升输出质量。Fireworks 团队指出,法律、医疗等垂直领域的项目往往能从中大获裨益。

3. 选择模型、服务商与部署策略

大多数推理服务商支持的模型基本相同,真正的差距体现在运行性能和输出质量上。例如,不同服务商的默认上下文长度可能不同,有的甚至会将其限制在模型本身支持的上限以下。此外还需要考虑量化(将模型权重压缩为更低的数值精度)或默认的采样温度(temperature)(即控制输出结果随机性的参数)。在挑选服务商时,可以参考以下实操步骤:

  1. 模型:确定要迁移或切换的目标 AI 模型

  2. 服务商:综合考量模型质量、运行性能与成本,选择合适的推理托管服务商

  3. 部署模式:评估是继续使用多租户共享服务,还是迁移至专属 GPU 节点

选择模型

要决定选用哪款模型,最直接的方法就是用一套评测集(eval set)跑一遍候选模型。在最新一期 The Pragmatic Engineer 播客中,微软 CEO Satya Nadella 提出,私有评测集(private evals)未来将成为科技公司核心知识产权(IP)的重要组成部分。他表示:

“公开基准测试固然很有参考价值,但你自己的私有评测集其实更为关键:必须针对自己在乎的核心业务目标建立专属评测。然后横向对比各大模型的表现,持续迭代优化。

我们的客户往往先从前沿大模型起步,接着他们会意识到:‘我们已经积累了所有的运行追踪数据(traces)。这套工作流是确定性的,根本不需要等下一代巨无霸模型发布,我们需要的是降本。’于是他们换上一款[更轻量的]模型,用积累的 traces 数据进行微调——问题就迎刃而解了。”

在公开基准测试方面,Artificial Analysis 是一个典型代表,他们维护了一套评测集,专门用来对比不同模型在通用任务上的调用成本。以下是按模型划分的单任务平均成本:

Artificial Analysis 智能指数任务单次成本。来源:Artificial Analysis

假设你基于 Anthropic 的 Sonnet 5.5 模型开发了一款应用,在上述指数中平均每个任务的成本为 5.46 美元。如果 Kimi K3 能够胜任这一场景,那么运行成本将降低约 60%,单次任务只需 2.00 美元。需要注意的是,这里的成本对比是按单次任务而非 Token 计算的。这种对比方式更符合实际,因为不同模型完成同一任务所需的 Token 数量各不相同,如果没有自己的私有评测集,往往很难直接对比模型成本。

即便如此,要判断某个模型是否足够好,光看公开基准测试结果远远不够。最理想的做法是使用专门的评测集来对比不同模型。如果没有现成的评测集,开展 A/B 测试也是不错的替代方案。例如,如果想将智能体编程工作流切换到某家推理服务商,只需让部分工程师试用新模型并反馈实际效果即可。

选择服务商

各大服务商都会对开源模型进行优化微调,以在尽量不降低质量的前提下压榨出更高性能。因此,不同服务商交付的模型输出和质量也不尽相同。Artificial Analysis 推出的“端点准确率指数”是对比各服务商模型准确度的一个实用工具。该指数以自身托管的版本为基准,对各家推理服务商的输出结果进行评分。指数达到 100%,意味着该服务商的输出与 Artificial Analysis 自建托管模型的表现一致。

各服务商的 Kimi K3 端点准确率。来源:Artificial Analysis

各服务商的端点准确率大致相当,得分在 93% 到 102% 之间浮动。这种差异主要来自推理服务商对各自开源模型版本所做的性能与质量调整。由于大语言模型具有非确定性,该测试结果存在 95% 的置信区间——这也让评测多了一层复杂性。细微的得分差异被视为与 Artificial Analysis 的基准模型处于同一水平,因此即便部分柱状图技术上低于 100%,也依然被标为了绿色。

部署模式:多租户还是独享?

所有服务商都会提供多租户 API 以及运行大模型的独享 GPU。这种部署进阶通常是一条循序渐进的路线:大多数团队起初只是将其作为前沿实验室 API 的直接替代方案,而随着调用量增加,便会逐步迁移到独享基础设施上。

切换到由推理服务商托管的开源模型后,单 Token 成本会有所下降。不过,此时你依然处于多租户环境中,仍会遇到类似于调用前沿模型 API 端点时的性能瓶颈。不同之处在于,推理服务商允许你迁移至独享托管环境,从而全面掌控部署的性能表现。拥有自己的专属部署(完全掌控推理服务商提供的 GPU)还让通过后训练(post-training)等技术微调优化模型质量成为可能。

从多租户 API 到独享 GPU 的典型进阶路径

初创团队使用大模型最典型的路径:

  1. 调用前沿实验室的 API 端点

  2. 转向开源模型,使用推理服务商的 API 端点

  3. 向推理服务商租用独享 GPU

推理服务商用户的三阶段进阶路线

转向推理服务商,通常意味着产品已经找到了某种程度的 PMF(产品市场契合度)。我们访谈的三家推理服务商都提到,当客户签约进入“阶段一”(详见下文)时,其产品往往已经在市场上站稳脚跟。只有当用户活跃度达到一定量级时,每 token 的调用成本才真正变得至关重要。

采用独占 GPU 的“阶段二”,则意味着巨额的预算承诺、更成熟的产品形态以及更大规模的使用量。

获取推理算力:在全球 GPU 短缺的大背景下,这绝非易事!我们之前报道过云厂商内部的 CPU 短缺问题——因此 GPU 更加紧缺也就不足为奇了。即便是大型推理服务商,也很难拿到全部所需的 GPU。与我们交流的几家推理服务商全都同时接入了多家云厂商,有的还自建裸金属机群,目的正是尽可能多地获取算力。为了拿到更多 GPU,多云部署带来的运维复杂度完全是值得的。而能否快速接入拥有闲置算力的新云厂商,正逐渐成为该行业的一项核心竞争力。

如果你需要独占 GPU,成本恐怕会相当高昂。算力紧缺正是独占架构通常需要预先做出长期预算承诺的原因之一。简而言之:你不仅需要支付更高昂的费用,还得承诺在更长的周期内为这些 GPU 买单。

4. 阶段一:API 替换,采用多租户推理架构

对于大模型账单高企的团队来说,最直接的降本方式就是将 Claude Code、Codex、OpenCode 等工具中前沿实验室的闭源模型,替换为同等水平的顶尖开源模型。从 OpenCode 和 OpenRouter 的数据来看,目前工程团队最热门的选择包括 DeepSeek 4.1 Flash、GLM 5.3,以及 Kimi K3.1 Pro 等。

最简单的替换方式是将应用程序指向推理服务商提供的 API。在实践中,这意味着使用多租户 API,其他客户也会请求相同的端点,这与直接调用前沿实验室的 API 端点类似。起初一切都很顺利,但随后你可能会遇到首字延迟(TTFT)、缓存相关成本以及其他延迟问题。

调用前沿实验室的 API 同样存在这些问题,不同之处在于,推理服务商通常支持转向独占部署,从而解决其中的绝大多数痛点。

延迟问题:TTFT、推理时间与用户感知延迟

首字延迟(TTFT)用于衡量从请求到达大模型 API 到客户端开始收到首批 token 所需的时间。TTFT 延迟的分布呈现出明显的长尾效应:

TTFT 延迟分布示意图。来源:Baseten。

右侧的长尾意味着相当比例的请求延迟达到了中位数的两倍甚至更高。因此,在衡量延迟时,p95 和 p99 延迟与 p50 延迟同等重要。TTFT 可以在两个层面进行测量:

  • 推理时间:服务商内部打点统计的 TTFT 反映的是纯推理时间。部分服务商会在控制台仪表盘中向客户展示这一指标,有的则会直接附在返回的响应数据中。而前沿实验室通常两者都不提供。

  • 用户体验延迟:在客户端测量的首字延迟(TTFT)反映了完整的用户体验延迟,涵盖了网络传输或 TLS 握手等环节。

服务端推理只是应用用户等待响应总时长里的一部分。若想让用户端延迟的 p95 表现真正快起来,最好在 LLM API 调用端考虑连接池等优化手段。

在共享基础设施上提供 LLM API 服务时,推理服务商会运行多个 LLM 推理引擎副本以处理客户请求。单个推理引擎可并发处理多个请求。一旦并发请求量超出当前副本容量,系统就会新建副本。副本的扩容调度,正是纯推理 TTFT 延迟波动如此之大的原因之一。

TTFT 出现波动的其他原因包括:

  1. “吵闹邻居”效应:某个请求与另一个处理开销更大的请求打包在同一个批次中,耗时就会比与同等开销请求打包在一起时更长。

  2. 冷启动:当现有副本容量耗尽,请求就必须排队等待。虽然推理服务商正在创建新副本,但这无法瞬间完成,因此请求只能干等新副本上线可用(即从“冷”的离线状态启动)。

  3. 冷缓存:首次发送大型请求时,该请求可能会被分配到尚未加载相关 KV 缓存的副本上(即缓存是“冷”的;反之,若 KV 缓存已预先填充,则为“热缓存”)。推理服务商通常会尽量把请求绑定在同一个副本上,以保持该副本的 KV 缓存处于热状态。但有时这并不奏效,可能是缓存过期,也可能是请求被路由到了没有对应 KV 缓存的副本上。此时,系统要么需要从冷存储中复制 KV 缓存(如果有的话),要么只能重新完整计算处理一遍,之后才能生成第一个 token。

基于 LLM API 进行开发的工程师不仅能观测到提示词缓存利用率,还能对其进行针对性优化。OpenAI completions API 的响应中就包含提示词缓存利用率指标。让应用能充分利用提示词缓存,是提升应用性能的关键技术,非常值得深入探究。

缓存问题:成本与延迟

受 OpenAI 的 chat completions API 启发,目前大多数主流 LLM API 端点均采用无状态的 REST API 设计。

LLM 端点是无状态的,但这会引发问题,因为大多数 LLM 应用场景都是有状态的。Fireworks 联合创始人兼首席技术官 Dmytro Dzhulgakov 将无状态 API 的设计决策称为“原罪”:客户端应用表面上是在调用无状态 API,而在分布式环境下保证高效缓存机制的重担,全落在了服务商身上。

这里举个例子来说明无状态 API 带来的问题:一个包含用户输入、LLM 提示词和智能体上下文层的应用:

阅读更多

来源:The Pragmatic Engineer (Gergely Orosz) · newsletter.pragmaticengineer.com

EVAOO 主站实战落地 · 大模型与 AI 内容工程

看完情报?回到 EVAOO 主站直接上手工具与完整 SOP

返回 EVAOO 主站