跳到正文
Microsoft Research· Aaron J. Li, Weijia Xu, Chandan Singh, Jeevana Priya Inala, Bin Yu, Ion Stoica, Michel Galley, Jianfeng Gao·· 6 天前精选AI 评分80

微软与 UC Berkeley 开源 TokenEconomizer,降低 AI 编程智能体 18.4% 至 30.9% 调用成本

TokenEconomizer: Learning from Experience to Make AI Coding Agents More Efficient

AI 导读

微软研究院与 UC Berkeley 联合开源插件 TokenEconomizer,利用代码库历史会话日志指导后续任务,在不改动智能体与底层模型的情况下降低 token 消耗。

推荐理由

该插件在无需改动底层模型与智能体的黑盒前提下,验证了跨会话经验沉淀能有效压缩编程智能体的重复开销。

正文 · AI 翻译

速览

  • 开发者日复一日在相同的代码库中使用 AI 编程智能体,但智能体在开启新会话时却往往“一切从零开始”:反复探查已知信息、加载根本用不到的工具,甚至一遍遍踩同样的坑。
  • TokenEconomizer 是一款开源插件,它能从智能体在某个代码库的历史会话中吸取经验,减少后续会话中的资源浪费,而且完全无需修改智能体本身或其底层模型。
  • 在 277 个真实的 Bug 修复任务中,TokenEconomizer 让多款 AI 编程智能体的开销降低了 18.4% 到 30.9%。在所有受测代码库中成本均有所下降,同时任务成功率基本保持稳定。

AI 编程智能体越来越能独立帮开发者修复 Bug 和开发新功能,但与模型的每次交互都会消耗 token。在每次会话中,智能体都需要向模型发送指令、工具描述和会话历史。目前多数降本方案都局限于单个任务本身,但开发者通常是在相同的代码库中反复工作,这本可以让智能体积累经验、越用越聪明。缺乏这种学习能力,智能体就可能会一遍遍摸索怎么跑测试、加载从未用过的工具,或是在同一个错误上反复打转数十轮。 

在我们的论文《TokenEconomizer: Experience-Driven Black-Box Cost Control for Coding Agents》中,我们提出了一个简单的问题:智能体在某个代码库中积累的经验,能否帮它更高效地完成后续任务?由加利福尼亚大学伯克利分校、微软研究院和微软安全团队联合推出的开源插件 TokenEconomizer,能将已完成会话的经验转化为后续任务的指引。它无需改动智能体或底层模型即可减少浪费,开发者可以无缝搭配现有的编程智能体直接使用。

Each finished session teaches TokenEconomizer something about the repository, so later sessions cost less tokens.
图 1:每完成一次会话,TokenEconomizer 都能对该代码库增进一分了解,从而降低后续会话的 token 消耗。 

Token 都消耗在哪里了?

我们首先在开源 Python 项目真实 Bug 修复基准数据集 SWE-Bench 的 60 个任务上,对 Claude Code 进行了性能分析,按顺序运行每个代码库中的任务。结果发现了三类反复出现的浪费现象:

  • 反复探查已知信息。当某个代码库积累了至少 5 个已完成任务后,智能体 30% 的工具调用都在重复该代码库之前任务中做过的操作,而与其它代码库历史操作重合的仅占 7%。
  • 为用不到的工具买单。智能体每轮对话都会收到 23 个工具的描述信息,但其中有 16 个从始至终未被调用过。
  • 卡在失败中反复消耗。最终失败的任务虽然只占 17%,却耗费了 32% 的开销。

我们还测试了三款主流的开源插件,它们各自基于某种固定的降本策略。结果发现,这些插件在部分代码库中确实能降本,但在其它代码库中却不起作用。综合这些发现表明,行之有效的成本控制方案必须能针对不同代码库灵活调整,而不能“一套策略包打天下”。

TokenEconomizer 的工作原理

每次会话结束后,TokenEconomizer 会读取会话日志,更新对该代码库的认知。接着,它完全利用智能体原有的接口,通过三项机制发挥作用(如图 2 所示)。

微技能(Micro-skills):用单行笔记记录特定代码库的知识。TokenEconomizer 会识别跨会话的常见模式并生成相应笔记;只有在多个会话印证了该模式后,才会将其注入智能体的初始上下文中;若后续证据产生矛盾,则会及时弃用该笔记。

工具精简会参考代码库的历史记录,剔除智能体不太可能使用的工具,但始终保留执行命令和编辑文件等核心工具。被移除的工具如有需要仍可随时恢复。

失败循环干预用于监测智能体是否反复陷入同一种错误。裁判模型会判定智能体究竟是彻底卡死,还是其实仍在推进。如果确实卡死,系统就会给智能体发送一条简短提示,建议其换一种思路。在开源插件中,若智能体收到提示后依然无法脱困,TokenEconomizer 会提醒开发者介入,而不会擅自终止任务。

TokenEconomizer works alongside an unchanged coding agent. Micro-skills add learned facts, tool pruning trims the loaded tools, and failure-loop intervention redirects stuck work. Each finished session updates all three.
图 2. TokenEconomizer 与未做任何改动的编程智能体协同工作。微技能负责补充学到的事实,工具精简负责压缩加载的工具集,失败循环干预负责引导陷入僵局的任务重新转向。每次会话结束后,这三项功能都会同步更新。 

控制器会根据新获取的信息动态修正先前的决策。文中所报告的成本节约,均已计入 TokenEconomizer 自身调用模型所产生的开销。

在各类代码库中均实现降本

我们在来自 6 个代码库的 277 项 SWE-Bench 任务上评估了 TokenEconomizer,共测试了 5 种不同的 AI 编程智能体与模型的组合。针对每个代码库,TokenEconomizer 初始时均不包含任何历史会话记录。 

如图 3 所示,TokenEconomizer 将平均成本降低了 18.4% 到 30.9%,并在全部 30 种代码库组合中均实现了最大幅度的成本节约,且没有任何性能损失。相比之下,直接降低模型的推理力度虽然能省下相当甚至更多的成本,却会导致性能大幅下滑。

On SWE-Bench, TokenEconomizer lowered mean cost per task by 18.4–30.9% across five agent–model combinations (left), while Pass@1 rose in four of them (right).
图 3. 在 SWE-Bench 基准测试中,TokenEconomizer 使得 5 组智能体与模型组合的单任务平均成本降低了 18.4% 到 30.9%(左图),其中 4 组的 Pass@1 指标甚至有所提升(右图)。 

随着经验的积累,省下的成本还会进一步增加。在 TokenEconomizer 刚开始摸索的前期任务中,成本可能会偏高;但如图 4 所示,到第六个任务时,所有代码库的累计成本均已低于默认水平。这三种机制各自都能带来成本节省,而三者结合时降幅最大。

Cumulative cost change relative to default over each repository’s tasks, using Claude Code. Starting with no history, every repository becomes cheaper by the sixth task.
图 4. 使用 Claude Code 时,各代码库任务相对于默认配置的累计成本变化。从零历史记录开始,所有代码库在进行到第六个任务时,成本就都变得更低。 

这种成本优势同样延续到了连续的 Web 开发场景中,在 Web-Bench 上的成本降低了 16.0% 到 21.2%。在每个任务都基于全新代码库的安全审计场景中,成本也降低了 6.4% 到 19.6%。

展望未来

TokenEconomizer 为编程智能体指明了一条全新路径:让智能体不仅学会如何解决问题,更懂得如何精打细算地使用算力。其轻量级控制器证明,即便不改动底层的智能体或模型,仅凭经验积累也能有效提升效率。

开源插件让开发者和研究人员都能轻松用上这一技术。它专为搭配现有的 AI 编程智能体运行而设计,无需修改底层模型,无需自带 API 密钥,且会将学到的内容保存在本地设备上。我们欢迎社区以此为起点,共同探索如何让智能体随着经验增长而变得更加足智多谋,在拓展知识面的同时不断优化自身的工作方式。 

阅读论文

获取代码

查看项目

在新标签页中打开

这篇博文 TokenEconomizer: Learning from Experience to Make AI Coding Agents More Efficient 最初发布于 Microsoft Research。

来源:Microsoft Research · microsoft.com

EVAOO 主站实战落地 · AI Agent 与研发提效

看完情报?回到 EVAOO 主站直接上手工具与完整 SOP

返回 EVAOO 主站