跳到正文
Hugging Face Blog·· 3 天前精选AI 评分76

Hugging Face 推出 Harness 适配器方案:强化学习定制智能体提升表现并降低成本

Introducing harness adapters: adapt your favorite model to your harness to improve performance and cost

AI 导读

Hugging Face 提出 Harness 适配器训练方案,直接在目标智能体框架内通过强化学习训练 LoRA 适配器,显著提升模型任务表现并降低调用成本。

推荐理由

文章展示了直接在智能体框架内借助强化学习训练专用适配器的方法,大幅减少了工具调用与消耗并可融合成通用模型。

正文 · AI 翻译

将强化学习应用于自定义任务分布,再配合你常用的智能体框架(agent harness),就能针对目标框架与任务分布训练出更精准、更高效的模型。

现成模型并非针对所有框架以及你的具体任务进行深度优化,它们追求的是通用能力。因此,当直接把模型接入某个框架时,在实际业务场景中往往无法完全释放其性能与效率潜力。通过强化学习,你可以训练一个专属的框架适配器,彻底压榨出该模型在特定框架与任务组合下的全部实力。

以 Qwen3.8-27B 为例:在配合 pi 框架时,它在 Terminal-Bench 2.1 上的得分为 39%,单任务平均消耗 2.9K token。如果冻结原模型权重,并接入一个经过强化学习训练的自定义 LoRA 适配器,pass@1 得分便可提升至 55%,而单任务平均 token 消耗则降至 1.5K。这主要是因为模型减少了不必要的推理与工具调用,而且初次尝试的成功率更高。

我们早期的研究(多框架强化学习、框架适配器)表明,在自有框架内、针对特定任务分布进行强化学习,可以让模型兼顾更高的准确率与效率。当时的相关实验涵盖了数据分析和代码构建任务。本项工作希望进一步拓展:验证该结论在 27B 参数规模、面对更复杂的真实软件工程任务时,能否在 Pi、OpenCode 和 Hermes Agent 这三个框架上同样成立。最重要的是,我们提供了一套完全可复用的方案,方便大家将其复现到自己的任务、框架和模型组合中。

核心要点

  • 我们针对三种智能体框架(pi、Hermes Agent、OpenCode),分别为 Qwen3.8-27B 训练了一个专属的 LoRA 适配器,强化学习过程均在对应的框架内部完成。
  • 数据集处理、模型训练和智能体执行(rollouts)均在 Hugging Face Hub 的 Jobs 上运行,依托 TRL 的 AsyncGRPOTrainer、OpenEnv 以及 harbor 完成。
  • 在各自对应的框架下,每个框架适配器在两大基准测试中的性能和效率均超越了基座模型。
  • 这三个 LoRA 还被融合成了一个“超级适配器”,无需修改即可在 pi、Hermes Agent 和 OpenCode 上直接运行。
  • 所有产出成果(适配器、GGUF 权重、强化学习任务、safeagents 插件)均可在该 Hugging Face 集合中查阅。

目录

在智能体框架内进行训练

我们借助 OpenEnv 的 Harbor 集成与 TRL 的 OpenEnv 指南,在最终训练选定的各个框架内对模型进行训练。我们为所有强化学习任务构建了开箱即用的 Docker 镜像,其中均已预装对应的目标框架。在最终的 Docker 镜像中,我们使用了 Pi 1.5.2、OpenCode 2.2.7 以及 Hermes Agent v0.22.6。下文截自前述博文的图表清晰阐述了整套运行流程:

大多数强化学习框架训练的都是重构后的智能体循环:智能体必须按照框架自带的接口编写,比如 verl 的 AgentLoop、SkyRL-Gym 环境、rLLM 的智能体与环境类、slime 的自定义 rollout 函数,或置于 Python 智能体内部的 ART 客户端。而这里的运行基架完全按原样运行,训练器直接根据其生成的准确 token 进行学习,这些 token 由基架与 vLLM 之间的代理负责记录。近期的工作也朝着同一方向演进:Agent Lightning v1.0 通过代理将部署时的基架保留在循环中(即“受控智能体强化学习”),而 SkyRL 的 Harbor 集成 则基于 Harbor 试验进行训练,将对话历史转化为供训练器使用的 token。

在 Hugging Face 上生成自定义强化学习任务

在本方案中,我们结合 Hub、OpenEnv 和 Repo2RLEnv,构建了一个用于智能体编程的自定义数据集。我们将现有强化学习环境的任务检索、基于 Repo2RLEnv 的任务生成、基于 OpenEnv 的任务验证以及采样流程整合为统一的数据流水线。这为我们提供了最高质量、经过验证且高度相关的任务集,用以提升 Qwen3.8-27B 在编程智能体方面的表现。在本节中,我们将详细介绍其构建流程,方便大家将其应用到自己的领域中。

强化学习训练需要智能体可以尝试的任务、负责为每次尝试打分的验证器,以及证明该验证器判定准确的依据。如果验证器认可了错误答案,就会教给模型错误的行为;而如果任务本来就能轻松完成,模型也学不到任何新东西。

本节将介绍我们如何从三个来源构建该任务集:其中两个来自 Hugging Face Hub,第三个则由 Repo2RLEnv 中的流水线 Tasksmith 生成。每个任务都需通过 openenv validate 的合格性筛查,并接受针对基座模型 Qwen3.8-27B 的统一难度检测。

Task pipeline: Tasksmith, SWE-smith and SWE-Gym sources pass through an eligibility screen, Harbor packaging, openenv validate on Hugging Face Jobs, and a difficulty check with Qwen3.8-27B

三个来源

每个任务均采用 Harbor 格式(Terminal-Bench 2.1 也使用该格式)。在 Hub 上广泛搜索 Harbor 环境共找到了约 59,000 个任务,但其中夹杂着重复项、评估集以及标记为非训练用的任务。我们最终筛选出两个专为训练打造的 Hub 数据源,并自行生成了第三组数据:

  • SWE-smith(Python、Go)通过大语言模型重写或翻转运算符等代码变异手段,向真实的 Python 和 Go 仓库中注入 Bug。能够捕捉到这些 Bug 的测试用例便成了该任务的测试集。这一数据源主要负责扩充数据量。
  • SWE-Gym 在 TaskTrove 中被打包为 Harbor 任务,它将真实的 GitHub Issue 及其已合并的修复方案转化为任务,从而补充了来自真实世界的 Bug。
  • Tasksmith 会根据已合并的 Pull Request 生成任务。由大语言模型智能体负责编写任务指令与测试用例,随后 Tasksmith 负责校验结果:参考实现和有效的替代方案必须通过,而未修复的代码和已知错误解法必须测试失败。

我们利用 Tasksmith 来查漏补缺。我们梳理了目标基准(Terminal-Bench 2.1、SWE-bench Pro 的困难子集以及 DeepSWE)所考核的技能,然后挑选能考察这些能力的 Pull Request,比如 HTTP 流式传输、文件系统操作和序列化等。从 30 个已合并的 Pull Request 中,Tasksmith 在 10 个 Python 仓库里生成了 24 个通过其自身检查的任务,其中 17 个在第二轮运行中通过。不过它自带的检查并不能替代我们的验证,因此这些任务仍需与其他任务一样走完相同的检验流水线。

用 openenv validate 进行验证

首先进行元数据筛选:只保留训练集中采用宽松开源协议的任务;剔除重复项、标记为不可用于训练的任务、目标基准中的 253 个任务,以及来自这些基准所用代码仓库的任何任务。随后,我们在全新的运行环境中,对每个任务执行 openenv validate 中的语义检查:

  • 参考解法获得最高奖励(semantic.oracle_max)。
  • 什么都不做,得分明显更低(semantic.floor_gap)。
  • 没有 Canary 样本的得分会超过“什么都不做”(semantic.canary_floor)。
  • 重新运行参考解法,获得相同的奖励(runtime.episode_determinism)。

每次测试都作为一个独立的 Hugging Face Job 运行,让我们能够同时验证数十个任务。openenv validate 也为任意 Harbor 任务提供了相同的配置选项:

openenv validate path/to/task --sandbox hf-sandbox

Hub 上的 1127 个候选任务中,有 858 个通过了检查。错误答案对照组成功捕获了多项缺陷,包括一个接受残缺实现的 Tasksmith 任务,以及一个会判定已知错误答案为通过的 Terminal-Bench 2.1 验证器(regex-log)。大多数失败源于基础设施问题,例如镜像无法启动。未通过的任务会被归入 rejected 分割区,并记录导致失败的具体检查项。

用基准模型进行难度筛选

通过验证的任务,也可能起不到教学作用。GRPO(群体相对策略优化)通过将同一任务的多次尝试互相比较来评分;如果某项任务每次尝试都能通过,或者每次都失败,模型就无法获得学习信号。正式训练前,Qwen3.8-27B 会对每个任务尝试 4 次;对于每个代码仓库分层抽样出的 6 个任务,则尝试 8 次。

在完成打分的 442 个任务中,Qwen3.8-27B 有 151 个每次都能解出,120 个从未解出。只有有时能解出的 171 个任务进入了合格集合。下图展示了得分在两端的堆积情况,以及不同数据来源之间的差异:该模型几乎每次都能解出大部分 Go 任务;在超过三分之一的 SWE-smith Python 任务上全部尝试失败;而在 73% 的 SWE-Gym 任务上表现居中。

Qwen3.8-27B results on 442 scored tasks, split by attempts solved and by source

Qwen3.8-27B 在 442 个打分任务上的测试结果。绿色代表合格任务,即模型在部分尝试中能解出、但并非全部解出的任务。

这个示例展示了我们如何从 1127 个任务中筛选并验证出 278 个任务,直接纳入最终数据集。随后,流水线接手了剩余的 522 个未通过任务,利用 Tasksmith 进行修复和复杂度提升,并重新进行验证。

通过短期训练测试筛选机制的效果

这条流水线应用了两道筛选:验证环节剔除损坏的任务,难度检查则仅保留基准模型偶尔能解出的任务。本节测试这些筛选是否会改变模型的学习效果。我们进行了四次最多 50 步的短期训练,每次采用流水线不同阶段的任务,并在 Terminal-Bench 2.1 上将它们与基准模型进行对比。

每次训练均使用 TRL 的 AsyncGRPOTrainer,在 32 个任务上借助 LoRA 和 GRPO 微调 Qwen3.8-27B。四次训练采用完全相同的智能体测试架构(基于 OpenCode,最多调用 48 次模型)、相同的配置参数以及单台 8×H200 的 Hugging Face Job,奖励信号直接取自验证器的通过或失败结果。不同之处仅在于任务集的筛选方式:

  • 未经验证(Unvalidated):24 个通过验证的任务,加上 8 个未通过验证的任务。
  • 已验证(Validated):32 个通过验证的任务,不考虑难度筛选。
  • 不合格(Unqualified):32 个通过验证的任务,但基准模型要么总是解出,要么从未解出。
  • 合格(Qualified):32 个通过验证的任务,基准模型在部分尝试中可以解出。

下图展示了这些任务对模型学习效果的影响。表格列出了每次运行的步数以及我们评估的检查点。图表则追踪了不同验证状态的任务子集在训练过程中的奖励变化趋势。

数据集概况

harness-hub/agentic-coding-envs 共包含来自 35 个代码仓库的 871 项任务。为避免单一项目权重过大,每个仓库在 Hub 任务中的上限设为 40 项。下表列出了各数据源的具体贡献。该数据集提供两个视角:一是所有已收录的任务,二是专用于 GRPO 训练的达标子集;未被采纳的任务则单独存放在另一份配置中。

来源 任务类型 任务数 达标数
SWE-smith 向 Python 和 Go 代码中注入 Bug 717 144
SWE-Gym (TaskTrove) GitHub 真实 Issue 130 27
Tasksmith 基于已合并的 PR 生成 24 22
总计 871 171

借助 AsyncGRPOTrainer 提升 GRPO 训练效率

我们使用了 TRL 中稳定版本的 AsyncGRPOTrainer。该训练器的一大优势在于,无需等待所有采样(rollout)全部完成,即可直接进入下一步训练优化。

有关该训练器及其底层组件的更多细节,可参阅 AsyncGRPO 博客文章。

训练配置

为训练出最终的 harness 适配器,我们借助 TRL 的 AsyncGRPOTrainer,在 Qwen/Qwen3.8-27B 基础模型上进行了 LoRA 适配器训练。适配器通过 all-linear 参数挂载至模型。为最大化训练效率,我们在采样阶段关闭了思考模式;而在最终评估该适配器时,我们分别测试了开启和关闭思考模式的表现,以便进行更全面的对比。

最终的奖励函数由验证器准确率加上少量的工具调用效率加分构成(加分项设为 0.1,这是基于上一代 harness 适配器的早期实验得出的最优值)。

我们在 Termgrade 环境中进行了 50 步的小规模学习率搜索(测试了 1e-5、5e-5 和 1e-4)。结果发现:1e-5 几乎没有带动训练准确率的提升(仅从 0.52 变动到 0.50);1e-4 则导致采样过程崩溃而非改善(单次采样的轮数从 18 骤降至 6,且信息熵持续上升);唯有 5e-5 带来了显著提升(在第 40 步时从 0.49 升至 0.60)。不过,使用 5e-5 进行更长时间的训练后也出现了不稳定迹象(采样长度骤降、信息熵上升),因此最终训练我们将学习率定为 2e-5。

训练基础设施

每个 harness 适配器均在一台配备双卡 NVIDIA B200 的机器上训练,其中一张 GPU 分配给 vLLM 推理服务,另一张用于模型训练。我们先进行了压力测试,以最大化单个优化步内能够训练的强化学习任务量。为此,我们在当前硬件配置的承受范围内,将 AsyncGRPOTrainer 中的 --token-budget 参数拉到了极限。下图展示了各个 harness 在每步中容纳的 group 数量变化趋势(蓝色代表 Pi,绿色代表 OpenCode,橙色代表 Hermes)。

随着模型在训练中不断变强,它在每个训练步中能够容纳的 group 数量越来越多,这使得模型在每次优化步中获得的信号更加丰富多元。

最终数据混合方案

最终的数据混合包含来自 harness-adapters 强化学习环境的 750 项任务,以及来自 termgrade 的 300 项任务。为了让训练时采样的任务尽可能多样化,我们微调了数据采样策略,具体逻辑如下:

在训练开始前,所有任务会按固定顺序排列,并按类别交替穿插(在我们自建的强化学习环境中,类别即代表对应的代码仓库;而在 Termgrade 中,由于每项任务都自成一类,我们直接按名称排序)。这样一来,每个训练步都能在遵循既定混合分布的同时,尽可能涵盖更多不同的代码仓库。

在流程中引入 safeagents

我们还接入了 safeagents 工具,防止模型在训练期间出现异常越轨行为。最终构建的安全插件(包含专为 RL 任务及测试路径设计的正则表达式与模式匹配规则)托管在 harness-hub/qwen-safeagents-plugin,配合最新版 safeagents 即可开箱即用,方便复现训练配置。

训练期间,safeagents 拦截工具调用的次数稳步下降,表明随着优化步数的推进,模型变得“越来越安全”。下图展示了各测试框架适配器在不同训练步数下,每千次工具调用中被 safeagents 拦截的次数。

safeagents blocked calls per 1,000 tool calls by training step for the pi, hermes and opencode adapters

超级适配器:将所有适配器合而为一

模型合并通常能在兼顾各自核心能力的同时,把多种特长融为一体。三个测试框架适配器训练完成后,我们提出了两个问题:合并是否会导致精度受损?单个“超级适配器”能否在各个框架下都兼具高准确率与高效率?

我们首先逐层对比了这三个适配器的权重更新量。任意两者之间的余弦相似度仅为 0.01–0.02 左右:训练过程中,每个适配器几乎都在沿着完全正交的方向调整模型。由于权重更新之间几乎互不干扰,这正是模型合并最理想的前提条件。

我们沿着秩维度拼接这三个 LoRA 适配器(即 PEFT 的 combination_type="cat")。合并后的适配器秩为 96(3 × 32),计算公式严格对应 w · (ΔW_pi + ΔW_hermes + ΔW_opencode)。参考以往有关模型合并的研究(task arithmetic、TIES、KnOTS),将各项更新缩放至 1 以下通常效果最好,因此我们在 step-120 适配器上,针对全部 89 项 Terminal-Bench 2.1 任务,在各测试框架下对比了三种权重设置:

  • ⅓(均值):每个测试框架仅保留自身更新的三分之一。
  • ½:各项更新均按一半强度应用。
  • 1(直接相加):完整叠加全部更新。
权重 pi hermes opencode 全部三个测试框架 每任务工具调用数
基座模型 39.1% 46.0% 44.8% 43.3% 49.2
⅓(均值) 49.4% 51.2% 47.1% 49.2% 35.6
½ 48.8% 53.5% 55.2% 52.5% 25.9
1(相加) 40.2% 62.8% 47.1% 50.0% 13.4

直接相加会导致更新过度叠加。此时智能体的操作变得极为局促(每个任务仅调用 13 次工具,而基座模型为 49 次),虽然 Hermes 的准确率冲高到 62.8%,但 pi 却滑落回基座模型的水平。如果直接取平均值,又会稀释各个框架自有的更新权重。综合来看,½ 达到了最佳平衡,因此我们采用最终发布的检查点(pi 为 step 160、hermes 为 step 160、opencode 为 step 150),以 ½ 的权重构建了最终的超级适配器。

适配器合并评估结果

在各个测试框架下,针对每次运行均完成评分的任务(SWE-bench Pro 包含 50–51 个任务,Terminal-Bench 2.1 包含 82–85 个任务),每个任务仅尝试一次(括号内为相对于基座模型的效率提升):

测试框架 基准测试 Qwen3.8-27B Qwen3.8-27B-<harness>-adapted Qwen3.8-27B-super-adapter Qwen3.8-27B(思考模式) Qwen3.8-27B-super-adapter(思考模式)
pi SWE-bench Pro(hard 51) 40.0% 64.0% (−60%) 46.0% (−73%) 74.0% 74.0% (−48%)
hermes SWE-bench Pro(hard 51) 29.4% 43.1% (−56%) 47.1% (−60%) 45.1% 60.8% (−36%)
opencode SWE-bench Pro(hard 51) 35.3% 51.0% (−72%) 45.1% (−63%) 47.1% 66.7% (−31%)
pi Terminal-Bench 2.1 40.0% 56.5% (−56%) 48.2% (−56%) 52.9% 57.6% (−25%)
hermes Terminal-Bench 2.1 44.7% 58.8% (−70%) 55.3% (−53%) 58.8% 63.5% (−19%)
opencode Terminal-Bench 2.1 47.6% 52.4% (−53%) 52.4% (−68%) 54.9% 58.5% (−22%)

“思考模式”指对话模板中开启思考功能并采用默认思考强度(xhigh)。各个专用模型在训练和服务部署时均关闭了思考模式。

在关闭思考模式的情况下,超级适配器在全部 6 组“测试框架–基准测试”组合中均优于基座模型(平均 pass@1 从 39.5% 跃升至 49.0%;新增解决 71 个任务,仅 34 个任务表现退步,p < 0.001)。

虽然训练时完全没有开启思考模式,但它在我们测试的所有开启思考模式的模型中表现最强。在思考预算相同的情况下与基座模型对比,它在六组测试中拿下五胜一平(平均成绩从 55.5% 提升至 63.5%;净增 67 道新解出题目,仅 37 道转为未解,p = 0.004)。提升最明显的是 SWE-bench Pro:在 hermes 测试框架下提升 16 个百分点,在 opencode 下提升 20 个百分点。而在 pi 框架下的 SWE-bench Pro 测试中,仅靠思考模式得分就已达到 74%,此时两者打平。

关闭思考模式时,建议使用针对各测试框架微调的专属适配器。每个框架专属的适配器在六组对比中胜出四组,其中在 pi 下优势最明显(SWE-bench Pro 得分为 64.0% 对 46.0%,Terminal-Bench 为 56.5% 对 48.2%)。如果用一个模型同时兼顾三个框架,pi 的性能损失最为惨重。因此,如果你只使用单一框架且关闭思考模式,直接选用该框架的专属适配器即可。

超级适配器的运行效率也高得多。在基座模型与超级适配器均能解出的任务中,若关闭思考模式,超级适配器调用的工具次数减少了 53% 至 73%,每个任务生成的 token 减少了 44% 至 60%,并在 130 个任务中的 111 个里减少了工具调用。即便开启思考模式,在 SWE-bench Pro 上它仍能减少 31% 至 48% 的工具调用,以及 24% 至 43% 的 token 生成。在 Terminal-Bench 上,工具调用次数下降了 19% 至 25%,token 消耗则基本持平。

由于 ½ 的权重是在 Terminal-Bench 2.1 上配合 120 步的适配器选定的,因此 Terminal-Bench 上的数据略显乐观;该权重选择并未参考 SWE-bench Pro 的表现。完整的配对对比结果详见超级适配器的模型卡片。

最终结果

本节首先介绍训练过程中的表现,随后展示各适配器在专属框架内外的留出基准测试中的得分情况。

训练结果

训练累计进行了 598 步,共训练了 78,114 个样本,实际训练 token 总数恰好为 1.67 亿。

在训练过程中,我们明显看到模型学会用越来越少的步骤去解决任务,且并未出现明显的饱和迹象。尽管训练正确率偶尔有清晰的上升趋势,但整体似乎保持平稳。原因在于模型在训练中会不断遇到新任务,而随着操作轨迹变短,单步 token 预算内能容纳的组数翻了一倍多。实际的准确率提升则反映在下文的留出基准测试中。

另一方面,safeagents 成功拦截了多次可疑尝试。在三次训练运行中,系统共检查了 130 万次工具调用,累计拦截了 647 次。

评估结果

本节涵盖评估设置、同框架测试结果、跨框架迁移表现,以及分布外验证。

评估设置

我们把各个适配器放回各自训练时的评测框架(harness)中,在两项智能体编程基准上进行评估:一是包含全部 89 个任务的 Terminal-Bench 2.1(每项任务限时 1 小时、最多 100 个智能体步数),二是 SWE-bench Pro 中最难的 51 个任务(限时 2 小时、最多 100 个智能体步数)。每个任务的最大 token 数上限设为 131072。我们未对智能体设置做任何微调,所有框架均采用默认配置。比如,Pi 不会保留先前的推理轮次,而 OpenCode 和 Hermes 会保留,由于上下文会迅速被占满,这一差异主要影响了 SWE-bench Pro 的测试成绩。因此,不同框架之间的测试结果无法直接横向对比(用 Pi 跑出的成绩并不一定优于 Hermes 或 OpenCode),但在同一框架内部对比结果并得出结论是完全合理的。

每次采样生成(rollout)都运行在 HF 沙箱环境中,技术栈与训练时完全一致,均基于 Harbor 和 OpenEnv;每个任务仅尝试一次,temperature 设为 0.8,并关闭思考模式。每个 LoRA 检查点都会合入基础模型权重,并在单张 GPU 上通过 vLLM 独立提供推理服务,并发度与基模型评测时保持一致。

对于所有评测基准,我们均汇报 pass@1 指标,以及全部任务和已解决任务对应的工具调用次数与总轮数。

为保证公开透明,最终评测的所有模型运行轨迹均已上传至该公开存储桶:harness-hub/harness-adapters-trajectories。

最终评测结果

在两项基准测试中,三款专用适配器在各自框架下的表现均超越了基模型。在 SWE-bench Pro(最难 51 题)上,pi 从 39.2% 提升至 64.7%(+25.5 个百分点:新解决 15 个任务,仅 2 个任务出现倒退,p = 0.002);hermes 从 29.4% 提升至 43.1%;opencode 则从 35.3% 提升至 51.0%。在完整的 Terminal-Bench 2.1 上,pi 提升了 16.3 个百分点(16 胜 2 负,p = 0.001),hermes 提升了 14.1 个百分点(19 胜 7 负,p = 0.03)。opencode 整体提升 6.0 个百分点,而在完全未参与检查点挑选的 66 个任务上,更是提升了 13.6 个百分点(12 胜 3 负,p = 0.035)。

此外,适配器解决任务的效率也大幅提升:在适配器与基模型均成功解决的任务中,适配器在 SWE-bench Pro 上的单任务工具调用次数减少了 56%–72%,在 Terminal-Bench 2.1 上减少了 53%–70%。融合而成的单体超级适配器(super-adapter)在全部三个框架下的表现同样全面超越基模型(在 SWE-bench Pro 上提升 6 至 18 个百分点,在 Terminal-Bench 2.1 上提升 5 至 10 个百分点),工具调用次数也实现了同样幅度的缩减(53%–73%)。在关闭思考模式时,超级适配器保留各专用适配器性能提升的比例有所下降,其中在 pi 框架下最为明显;但在开启思考模式后,在相同计算预算下,它在六组“框架-基准”组合中的五组均击败了同样开启思考的基模型(详见超级适配器章节)。各模型的模型卡片中均附有完整的成对对比结果。

这种高效率与出色性能能否跨框架迁移?

为了验证这一点,我们还将 pi 框架适配器放到了 Hermes Agent 和 OpenCode 框架下进行评测。

在 OpenCode 框架下,它在 Terminal-Bench 2.1 上的表现媲美 OpenCode 自身的专用适配器(从 44.8% 提升至 54.0%,后者为 46.4% 提升至 52.4%)。在 Hermes 框架下,它保留了专用适配器约三分之二的性能提升幅度(从 46.3% 提升至 56.1%,后者为 44.7% 提升至 58.8%),且在两套框架下的工具调用次数均同样缩减了约 45%。由此可见,新学到的能力确实能够跨框架迁移。

在分布外任务与设置下的评测

如果跳出适配器训练所用的框架,到分布外任务中进行评测,表现又会如何?

我们在包含 300 个业务自动化工作流评估的 AutomationBench 任务上运行了全部五款模型。这次评测使用了 AutomationBench 自带的智能体循环,而非 Pi、Hermes 或 OpenCode。这样一来,我们就能交叉验证两个问题:模型能否解决软件工程(SWE)以外的任务?当模型脱离训练时所用的运行框架时,表现又会如何?

结果表明,适配器的表现与基座模型十分接近。Pi 和 OpenCode 略微领先(pass@1 分别为 27.0% 和 25.3%,基座模型为 23.0%),合并后的适配器持平(23.7%),而 Hermes 则落后几个百分点(17.7%)。除了 Hermes 之外,这些差异基本处于误差范围内。因此,在特定框架内进行的强化学习,既没有明显迁移到这种截然不同的场景中,也没有导致模型在新场景下失效崩溃。

模型 pass@1(满足所有断言) 对比基座 部分得分(满足断言的比例) 对比基座
基座 23.0% 62.2%
pi 160 27.0% +4.0 66.2% +4.0
opencode 150 25.3% +2.3 65.2% +3.0
合并版 23.7% +0.7 60.6% −1.6
hermes 160 17.7% −5.3 56.6% −5.6

开放性问题:模型究竟学会了做什么?

我们非常感谢用户和社区的反馈。来自社区的初步测试和结果总体上非常积极,我们未来也希望沿着这个方向继续探索。此外,我们还看到了一些意料之外的好成果,例如有用户反馈称,harness 适配器在 Swift-1.5 等 Qwen3.8 衍生模型上的表现非常出色。

这是我们在模型发布后一直在思考的一个开放性问题。在仔细检查评估基准中生成的运行轨迹后,我们发现模型在“非思考模式”下,往往会在发起工具调用前先生成一段简短的文本;而基座模型在调用工具之前,几乎不会生成任何前置文本。

这种现象可以看作是一种“推理泄漏”(reasoning leakage):模型通过生成有时类似于推理轨迹的文本(例如“等等……”、“让我看看……”等),学会了从非思考状态“逃逸”到思考状态。最近的一篇论文也很好地描述了大语言模型在强化学习阶段的这一行为。

这是否意味着我们的模型失效了?我们并不这么认为,因为最终的评估结果依然有效;在完全相同的条件(固定的 Token 预算)下,我们的适配器确实大幅超越了非思考模式的基座模型,并且在 Token 效率高得多的前提下,追平了思考模式版本的表现。社区的积极反馈也进一步印证了这一点。

不过,这也凸显出开展后续研究的必要性。接下来,我们计划将同一套训练流程重新应用到纯思考模型上,并探索思考与非思考混合训练,从而更深入地理解混合思考模型在强化学习训练下的表现。一旦取得确定性成果,我们将第一时间与社区分享最新的研究发现(以及 harness 适配器)。

结语与未来方向

在这项工作中,我们证明了在目标 harness 内对模型进行强化学习训练,在同等评测条件下能带来效率更高、因而也更精准的最终模型。这一发现与 Hugging Face 团队此前开展的几项工作(例如 multi-harness-RL 或 harness 适配器的早期迭代)一脉相承。

未来,我们将探索把这一方案推广到更多模型上,同时更深入地研究思考与非思考混合模型的训练策略。

与此同时,我们向社区完整公开了全部复现步骤与流程,诚邀大家基于各自的代码库或相关资料构建专属的强化学习任务,并将相同的训练配方与思路应用到自己青睐的模型与测试框架(harness)中,打造出更高效的智能体模型。我们希望这篇博文能成为一个起点,启发开发者们在未来构建并分享各自的 harness 适配器。

来源:Hugging Face Blog · huggingface.co

EVAOO 主站实战落地 · AI Agent 与研发提效

看完情报?回到 EVAOO 主站直接上手工具与完整 SOP

返回 EVAOO 主站