跳到正文
LangChain Blog·· 4 天前精选AI 评分80

LangSmith 推出代码智能体成本追踪功能,支持按 PR 结果核算 ROI

LangSmith for Coding Agents: Now track spend by outcome

AI 导读

LangSmith 宣布推出面向代码智能体的专属报表功能,将模型调用开销直接归因至智能体产出的 Pull Request(PR)。该仪表盘支持按 PR 状态、工作类型、Skill 调用和对话长度统计成本,并统一接入 Claude Code、OpenAI Codex、Cursor、GitHub Copilot 及 Deep Agents 的追踪数据。

推荐理由

原文给出了将模型消耗与 PR 交付挂钩的追踪方案,读者可以据此建立衡量代码智能体实际投入产出比的工作流。

正文 · AI 翻译

在企业级 AI 应用支出中,编程是占比最大的领域,且规模预计将在 2026 年达到 340 亿美元。如今各家企业都想看清这笔投入的回报率,但大多数工程研发负责人都还说不清这些钱到底换来了什么。

为了搞清楚编程智能体的 ROI,团队过去通常关注使用量分析、AI 消耗量等宏观数据,但这并不能让人看清 token 最终具体转化成了什么产出。解答 ROI 问题绝非易事,既需要洞察跨用户、跨团队的成本支出,还要有一套将支出与实际成果关联起来的方法。我们在自家编程智能体 Robin 的开销激增时,就切身体会到了这种困扰,这也是我们打造模型路由器的原因之一。

如今,我们很高兴能为广大客户提供一套切实可行的解决方案。LangSmith 正式推出专为编程智能体打造的报表功能,并带来全新能力,能够将智能体的开销与它们生成的 PR(拉取请求)直接挂钩。这样一来,团队就能更清晰地核算编程智能体预算背后的 ROI,并深入评估更换模型或调整策略所带来的具体影响。

以 PR 作为会话成果

全新推出的 LangSmith Agent Platform 以智能体为核心运转。每个智能体都拥有独立档案,并归属于特定的“智能体类型”(agent type),该类型决定了仪表盘的展示内容、关联的数据源以及评估指标。编程智能体是首个专门落地的智能体类型,它以 PR 相关数据作为核心呈现维度——这也是衡量智能体工作是否产生实际价值的关键信号之一。

LangSmith 此前已支持追踪来自不同模型厂商的编程智能体,包括 Claude Code 与 Codex。随着编程智能体功能的上线,LangSmith 能够将每次链路追踪(trace)的开销,自动归因到智能体参与贡献的 PR 上。这种归因方式完全贴合编程智能体的实际工作流:无论是一个会话线程开出多个 PR,还是一个 PR 需要经历多个会话线程才能完成,系统都能完整覆盖,让 LangSmith 中的数据精准反映出智能体的实际工作成果与对应成本。

一个仪表盘,统揽所有被追踪的编程智能体

在此之前,LangSmith 允许用户逐条查看编程智能体每次 trace 的成本。这种粒度虽便于人工调试,却无法反映整个团队层面的趋势。全新的编程智能体总览页面则将这些成本聚合起来,并与智能体参与处理的 PR 牢牢绑定。

仪表盘直观展示了核心 KPI,点击任意指标即可查看其历史走势。例如,如果团队切换了底层模型,你可以直接对比调整前后的数据,评估更换模型带来的影响。

LangSmith 还会按 PR 状态(Open、Closed、Merged)对支出进行细分。这不仅能让团队掌握有多少 PR 成功合并上线,还能看清有多少 PR 未被采纳便直接关闭。合并的 PR 固然是一个有力信号,但绝非衡量有效工作的唯一标准。编程智能体同样会被用来做代码审查、排查故障,这些工作往往不会直接生成 PR。对此,LangSmith 会将相关开销单独标记为“未归因”(unattributed)。点击进去即可查看其背后的会话线程,弄清楚智能体当时究竟处理了哪些任务,以及是否创造了实际价值。

“工作类型”视图展示了智能体收到的任务指令。LangSmith 会按任务类型(如新功能开发、Bug 修复、技术排查和代码审查)为每个对话线程打上标签,并呈现各类任务在总线程数和总成本中的占比。每个团队都可以根据自身业务场景来定义什么是“偏离主题”。例如,如果团队只打算把编程智能体用于后端服务,就可以把让智能体写营销文案的会话标记出来。此外,由于审查和排查类任务通常不会直接产生独立的 PR,该视图还能帮你解释那些没有归属到具体 PR 的支出。

仪表盘还会展示智能体调用了哪些技能、开销最大的 PR 是哪些,以及成本如何随对话长度增长。各项指标都可以回溯关联到具体的线程和会话,方便你直接打开对应的对话记录,查看智能体在当次会话中具体做了什么。

支持各大主流编程智能体

许多工程团队并不只使用一款编程智能体。有的工程师习惯用 Claude Code,有的偏好 Cursor 或 Copilot,平台工程团队还常常会借助 Deep Agents 等开源框架自研智能体。LangSmith 能够对这些工具进行统一追踪,把所有成本消耗与 PR 产出汇总到同一个仪表盘中,省去了在各个供应商控制台之间来回切换的麻烦。

LangSmith for Coding Agents 目前支持:Claude Code、OpenAI Codex、Cursor、VS Code 中的 GitHub Copilot,以及面向自研编程智能体团队的 Deep Agents。

团队如何用好这些指标

挖掘团队指导与经验分享的契机

按归属成本排序,可以找出制作成本最高的 PR,且每个 PR 都能反查到关联的对话线程、调用的模型以及对应的 GitHub 用户。点开这些线程,就能看清该 PR 为何花销巨大——比如会话轮次不断膨胀,或者只是一个小修复却调用了昂贵的前沿模型。如果某位工程师能以低得多的成本完成同类工作并成功合入代码,你就可以总结出他们的高效做法,并在团队内推广分享。

超长对话线程也是辅导团队改善使用习惯的关键切入点。由于每一轮新对话都需要携带整个历史上下文,超长线程往往消耗了大量成本。开发者很容易习惯性地在一个线程里连续处理多个任务,而“按线程长度统计成本”的视图能清楚展示这些长线程占用了多少预算。及时开启新线程可以避免反复为历史上下文付费;出于同样的原因,Anthropic 的Claude Code 成本指南也建议在切换任务时清理上下文。把这项建议传达给团队后,你还可以通过该视图追踪大家的使用习惯是否真正发生了改变。

评估模型切换的效果

当新模型发布时,你可以对比团队迁移前后“每个成功合入的 PR 的平均成本”,从而判断新模型的效果是否配得上其价格。尝试新的供应商时,你也可以让它与现有方案并行运行,并在同一视图下比对两者的成本与产出。如果把子智能体迁移到比主智能体更轻量的模型上,通常可以压低成本。按模型细分的成本明细能直观展现节省了多少费用,而产出指标则能验证代码是否仍能顺利合入。

了解智能体依赖哪些技能

技能调用也会被追踪,因此你能清楚了解团队的智能体最常使用哪些技能,并能直接打开运行这些技能的会话线程。如果某个技能频繁出现在耗时长、成本高的线程中,可能是其指令导致智能体执行了多余的交互轮次,重写指令也许就能快速解决问题。反之,如果某个技能经常出现在流程简短且最终成功合并 PR 的线程中,就很值得推广给更多团队成员使用。新技能也是同理:先向少数工程师开放,再对比使用和未使用该技能的线程在成本和 PR 合并率上的差异。

让工程与财务团队共享一致的成本视角

“每个合并 PR 的成本”能让财务团队了解每项交付成果的具体开销。LangSmith 会将该指标与“未归因支出”并列展示,后者指的是未产生 PR 的会话所产生的成本。未归因支出包含的可能依然是有价值的工作,比如熟悉代码库或评审改动,因此哪怕某个团队在每个合并 PR 上的成本看似偏高,其工作方式也未必不合理。当成本出现异常波动时,工程团队可以随时调出对应任务的线程,讲清每笔钱具体花在了哪里。

立即上手

面向编程智能体的 LangSmith 现已在 LangSmith Cloud 开启公开测试。编程智能体的追踪调用会计入日常的 LangSmith 追踪用量。

只需三步即可完成配置:

  1. Install the LangSmith plugin for each coding agent your team uses. Plugins are available for the following agents:
  2. 关联 GitHub。
  3. 在 LangSmith 中打开编程智能体概览页面。

以 Claude Code 为例,只需在会话中运行三条命令即可完成插件安装。

/plugin marketplace add langchain-ai/langsmith-claude-code-plugins
/plugin install langsmith-tracing@langsmith-claude-code-plugins
/reload-plugins

你可以先从一个智能体和一个代码仓库入手,一旦首批线程产生,就能按 PR 查看详细的开销明细。前往文档了解更多详情。

后续计划

这只是刚刚开始!请持续关注 LangSmith 为编程智能体量身打造的更多体验。对后续需要追踪的指标有任何疑问或建议?欢迎前往 LangChain 论坛畅所欲言。

来源:LangChain Blog · langchain.com

EVAOO 主站实战落地 · AI Agent 与研发提效

看完情报?回到 EVAOO 主站直接上手工具与完整 SOP

返回 EVAOO 主站