Eugene Yan 剖析公开 AI 评测基准的运作机制、缺陷与改进方向
How Public Evals Work and Fail, and What Should Change
Eugene Yan 发文深入分析十二个主流 AI 智能体公开评测基准,指出其中八个基准存在评分器误判正确解答的缺陷。文章指出,现有基准普遍存在未声明约束导致的假阴性、关键词匹配导致的假阳性,且多数单轮静态任务未能反映真实多轮协作;同时仅看平均胜率或 Token 成本易掩盖模型放弃带来的高额人工审查开销。
文章通过剖析十二个主流智能体基准揭示评分器缺陷,建议团队在自建运行环境中优先评估任务的稳定达标率。
随着大模型迭代节奏越来越快,评测分数往往成了外界了解一款新模型的第一眼印象。但这些分数究竟有多大参考价值?在我们研究的 12 个公开评测基准中,有 8 个都存在评分器误判的情况,把本该通过的成果判定为失败。退一步讲,即便评分完全准确,很多基准也只是在挑容易量化的指标测,反而忽略了真正关键的能力——它们本应更多关注可靠性、工作执行速度以及多轮协作等等。
在本文中,我们将梳理评测任务的常见设计模式与原则、模型常犯的错误,以及现有基准的不足之处。我还会指出业内目前的认知误区和亟待改变的地方,比如为什么单看平均通过率还不够、为什么用美元来衡量成本并不合理。最后,我们会逐一解析 12 个评测基准:其中 4 个侧重编程与科学,6 个针对知识型工作,还有 2 个面向网页浏览与计算机操作。读完本文,你就会清楚基准测试中哪些指标靠谱、哪些需要打个问号。
模式:评测任务是如何构建与维护的 #
绝大多数评测任务都包含四大组件:
- 提示要求(Instruction):类似于真实用户需求的提示词。智能体在任务开始时接收一次,通常无法中途发起追问或澄清。
- 运行环境(Environment):供智能体操作的工作空间,通常内置了所需的各种文件、软件和服务。对于编程任务,这通常是一个处于特定 git commit 状态的代码库容器;对于知识型工作,则可能是一台预装了软件的虚拟机、模拟的企业级应用,或一个装有相关文档的文件夹。
- 评分器(Grader):用于判定任务是否达标。它可以是确定性的代码逻辑(针对最终输出或环境状态执行的测试与断言),也可以是由大模型担任评委根据“是/否”细则打分,或是两者的结合。
- 参考答案(Reference,可选):人类专家给出的解决方案。评测引入它是为了证明任务确实可解、在两两对比时提供基准,或是确立人类表现的基准线。

此外,评测基准也越来越像软件工程一样进行迭代和维护。它们会发布带版本号的更新,并通过 Issue 和 Pull Request 接收修复。例如,Agents’ Last Exam v1.1 下架了 30 个任务并修订了另外 57 个;Harvey LAB 的公开数据集自 2026 年 5 月上线以来,任务规模已从约 1,250 个扩充到 2,010 个。正如软件一样,这类版本更新也可能引入破坏性变更——比如 Terminal Bench 每次发版都会剔除已经饱和的任务,导致跨版本的分数很难直接对比。
原则:评分设计与任务遴选的核心考量 #
在我们研究的各类基准中,有四项设计原则反复出现:
优先使用确定性检查,而非大模型评委。基于代码的检查具备高复现性,不会因评判模型的升级而导致榜单排名波动。DeepSWE 和 AutomationBench 完全弃用了大模型评委,Agents’ Last Exam 也竭力减少其使用。即便评测确实需要大模型来裁定——例如审核法律备忘录或临床诊疗建议——也会将模型评委的职责严格限制在“是/否”二选一的细项打分上,而不是给出笼统的主观综合分。
评分器只看结果,不看过程。这样设计的目的,是允许智能体采用任何可行的途径,只要能跑出正确结果就算过。比如,Terminal Bench 只检查容器的最终状态,完全忽略智能体的中间命令或控制台输出。AutomationBench、OSWorld 2.0 和 DeepSWE 也是同样的思路。
“全通才给分”(All-pass)模式非常普遍,因为只做完一部分的工作往往毫无实用价值。在全通评分机制下,一项任务必须通过全部测试或达到所有标准才算合格。DeepSWE、Terminal Bench、Terminal Bench Science、AutomationBench 以及 Harvey LAB 都采用了这种计分方式。正如 Harvey 所言,“仅发现大部分问题是拿不到步骤分的”——一份只标出十个风险中八个的报告属于未完成,而不是有 80% 的可用性。不过,全通机制也相当脆弱:哪怕只有一个断言或评估标准存在缺陷,就会让原本正确的解决方案直接被判不及格。
另一种替代方案是“按比例给分”(Partial credit),即为每项测试或评估标准赋予一定权重,任务得分在 0.0 到 1.0 之间。FrontierSWE 和 HealthBench Professional 便采用了按比例给分,而 Agents’ Last Exam、Finance Agent 以及 OSWorld 2.0 则同时公布两种评分结果。
为了延缓基准测试被“刷爆”,设计者刻意挖掘并提高了任务难度。AutomationBench 通过加入无关数据和相互冲突的策略规则,增加了简单任务的难度。HealthBench Professional 将高难度任务的比例提高到基础数据集的约 3.5 倍。BrowseComp 只有在当时最强的模型都无法解决某一问题时,才会将其收录;而 Terminal Bench 则会在任务饱和(被多数模型攻克)后直接将其作废淘汰。
失败原因:跳过核查与遗漏需求 #
综合各项错误归因分析,有两个失败模式频繁出现:
跳过核查或过早收工。在 OSWorld 2.0 中,智能体在提交工作前根本不检查最终状态;在 Harvey LAB 中,只顾起草而不做审查的智能体得分更低;而在 AutomationBench 上,模型往往只处理了列表中间的一部分,却假装已经完成并生成总结,直接误报任务成功。
遗漏明确提出的要求。未能完全遵循指令是 GDPval 中最常见的失败原因;而在 OSWorld 2.0 上,智能体经常把提示词中明确写出的限制条件抛在脑后。这些失误大多属于“低级非受迫性失误”,只要做一次最基础的检查就能轻易纠正。
评测缺陷:误杀正确结果与放过错误输出 #
但并不是所有的失败都要归咎于模型本身。许多评估基准都反复出现以下两类评分缺陷:
假阴性(误判正确结果为失败)。这是最普遍的问题,通常是因为测试检查的标准比提示词要求的更严苛,或是强加了未曾明说的隐性要求。审查人员发现,Terminal Bench 4.0 的 65 项任务中有 41 项是基于未说明的要求进行评分的;而 DeepSWE 的 113 项任务中有 23 项将正确的解决方案判为了失败。在 OSWorld 2.0 上,一位外部审查者针对 108 项任务中的 23 项提交了误判 issue,例如软件加载失败导致的误判。在“全通才给分”的机制下,只要某一个测试检查有瑕疵,就会导致整项任务全盘皆输,让这一问题被进一步放大。
假阴性也可能由错误或模棱两可的参考答案引发,比如参考答案或评估标准本身就是错的,或者答案并不唯一。在 BrowseComp 上,独立解题的人类训练员在 367 道题中,有 50 道(占比 14%)与参考答案不一致。随后的一篇论文在抽样检查 BrowseComp-Plus(复用了 BrowseComp 的题目)的 200 道题时,确认其中有 10 道存在错误。Harvey LAB 从保留测试集中剔除了 17 项(无法解决的)标准,并且有贡献者反映,他们在任何源文件中都根本找不到题目所要求的损失赔偿预估数额。
假阳性(错误结果蒙混过关)。断言与评分细则往往只检查是否包含某个预期要点,却不去核验其余内容是否正确。在 Harvey LAB 上,Artificial Analysis 利用 LLM 裁判对照原始文档检查交付成果,发现在通过全部评估标准的结果中,有超过 60% 存在实质性幻觉。在 AutomationBench 上,55% 的断言仅仅检查某条消息或记录是否包含或排除了某个字符串,这就让智能体有机可乘:关键词匹配对了,其他内容却全错了。例如,有一项任务要求发送一封邮件汇报已就绪和未就绪的审计项目数量,评估却只检查邮件中是否包含“3”和“4”——哪怕把这两个数字颠倒过来,邮件也能照样通过。
犀利观点:我们对评估基准的认知偏差出在哪里 #
展望未来,我认为当前对评估的思考存在以下盲区,并亟需转变。其中部分观点基于前文研究的基准测试,另一部分则来自直觉与体感。
除了平均通过率,我们还应该衡量可靠性(passk)。大多数评估只汇报平均通过率,但这掩盖了生产环境中的巨大鸿沟。设想有两个得分都是 70% 的智能体:第一个在 70% 的任务上每次都能成功,而第二个在所有任务上的成功率都只有 70%。对于第一个,我们可以在它擅长的 70% 任务中完全信任它;但对第二个,我们必须逐一审核它的每一条输出。passk(因 τ-bench 而普及)能把两者区分开来——它规定只有当智能体连续通过全部 k 次测试时,才算真正解决了该任务。在 5 次测试中,第一个智能体的得分依然是 70%,而第二个则暴跌至 17%。
在实际生产流程中,可靠性至关重要,智能体必须在无人监管的情况下稳定完成任务。我宁愿花两倍价格买一个每次都能把活干完的模型,也不愿花一倍价格去用一个成功率 80%、剩下 20% 还要我亲自去 debug 的模型。上述错误分析表明,真正的差距正在于可靠性。在 OSWorld 2.0 上,智能体很少因为基础 GUI 操作或编写代码而失败,其失败根源在于跳过验证环节和 遗漏 需求。
“单任务成本”是个极具误导性的指标;真正的稀缺资源是人力关注,而非 Token 成本。评估往往会将所有尝试过的任务(无论成功还是失败)的成本拉平计算,而模型通过跳过验证或提前放弃,就能用极低的成本“迅速失败”。在 Agents’ Last Exam 中,有 17% 的失败属于过早放弃,即智能体早早停下或根本没有生成所需的交付物。在 FrontierSWE 上,某个模型在 170 次测试中有 169 次都在 20 小时的时间预算内,耗时不足 8 小时就草草提交收工。频繁失败或轻言放弃的智能体在排行榜上看似极具性价比,但在实际工作中却会彻底拖垮 实际 工作。
我们绝不能把单纯的金钱成本低廉误当成效率高。如果工程师不得不花上数天时间去审核输出、排查隐蔽性故障并完成最后收尾工作,那么省下的 Token 成本就是“捡了芝麻丢了西瓜”。在 AutomationBench 上,模型分析出的失败任务中,有 72% 至 91% 被模型自己标记为“成功”。当我们无法判断哪些任务失败时,就只能全盘复核。从 GDPval 的分析中就能清楚看到这种取舍:GPT-4o 单任务成本仅为 GPT-5 的十分之一左右,但只要算上专家审核和重做不合格产出所花费的时间,GPT-4o 的整体耗时反而比专家单打独斗还要慢,而 GPT-5 却能更快完成。
为了让任务可验证,我们过度关注具体实现,却牺牲了对技术判断力的考察。确定性断言和二元评分标准确实比模糊的李克特量表更可靠,我也乐见基准测试倾向于这种做法。但不可否认,这些检查项终究是由出题人主观决定的“合格标准”。为了保证公平,提示词必须明确写出考察内容——DeepSWE 就会审查每项任务是否做到这点(提示词与验证器的一一对应),因为验证器一旦测试未说明的需求,就会导致误判。因此,部分基准测试衡量的更多是指令遵循能力以及“如何构建”(具体实现),却忽略了“该做或不该做什么”(技术判断)。
有些评测甚至走得更远,把开放式任务重新包装成可检验的具体目标。例如,Agents’ Last Exam 要求智能体复刻一款现成游戏,而不是设计新游戏,以便直接与参考答案比对。FrontierSWE 则为智能体提供了自检工具,能实时追踪评分器的分数,免去了智能体自己权衡衡量指标的麻烦。这种设计不再需要智能体去界定模糊问题、厘清轻重缓急并作出判断——而这些往往才是实际工作中最艰难的部分。
目前的评测指令大多是单轮的,而真实业务场景却全是多轮交互。用户很少一开始就把所有需求交代清楚,通常是先抛出一个粗略的想法,经过讨论、审阅草稿、追加约束,在多轮来回中不断修正方向。单轮基准测试无法考核模型面对模糊需求时会不会主动追问澄清,也无法检验它们如何应对动态变化的需求——比如化解冲突、牢记前文指令,以及统揽全局重构设计,而不是生硬地给后来的改动打补丁。
两者之间的差距相当惊人。Laban 等人发现,在模拟的多轮对话中,模型的平均得分比单轮低了 39%。然而,极少有评测会测试多轮交互,因为模拟真实用户难度很大,还会引入噪声。OSWorld 2.0 是个例外:它在部分任务中加入了模拟用户,供智能体追问澄清;其他任务则会在执行中途插入消息以改变需求。其错误分析显示,智能体往往倾向于自行猜测而非主动提问,还会直接忽略中途发来的新消息。
我们应该在评分器上投入更多精力,而不仅是死磕更难的任务。基准测试的设计者花费巨大精力设计更难的题目,评分器的水平却没跟上。在调研的 12 项评测中,有 8 项的审查或 issue 报告都发现评分器误判了有效成果,甚至在某些评测中还放过了错误或胡言乱语的内容。随着模型能力的提升,这一问题愈发凸显:模型犯错越来越少,评分器的固有缺陷却纹丝未动,导致剩下的失败用例中,评分器本身的 Bug 占比越来越高。在 DeepSWE v1.1 上,一项审查发现,至少 20% 的任务中正确解法被判定为失败,主要原因大多是智能体编写或修改的测试与评分器的隐藏测试产生了冲突。
要解决假阴性问题,首先要排查多个前沿模型在同一项检查中集体翻车的任务。而抓假阳性就难得多了,因为很少有团队会去仔细审查那些通过的运行记录。评测需要设置反向测试,以确认系统确实能把已知的错误输出拦截下来。Terminal Bench 就用了一个“空操作智能体”(do-nothing agent)和一个“对抗智能体”来做这件事(尽管评审人员依然发现,在版本 4 中,65 项任务里有 44 项可以通过作弊蒙混过关)。此外,对通过的执行轨迹进行自动化审查以防奖励破解也很有帮助,例如 FrontierSWE 就采用了一套裁判团方案来逐一审阅每条轨迹。
基准测试的分数体现的是“模型+运行环境”(harness)的综合表现,而非模型本身的单兵能力。在评测中,模型必须依托一套运行环境才能跑起来,系统提示词、可用工具、上下文压缩方案、重试预算等规则全由它来决定。同一个模型换一套运行环境,得分很可能大不相同,而且模型厂商自家的环境也未必是最优解。在 Terminal Bench 2.0 上,有一款模型在第三方的中立环境 Terminus 2 中跑出了 57.8% 的成绩,而在厂商自家的环境中只拿到 52.1%;另一款模型更是跑出了 32.6% 对 19.6% 的差距。在 FrontierSWE 跨六项任务的对比中,有两款模型在 Proximal 自研的 Proximus 环境下,运行时间都更长、得分也高于在 Claude Code 和 Codex 下的表现。对开发者来说,结论很直接:评测模型时,一定要放在你自家的生产环境中测。
深入解析十二个基准测试 #
接下来,我们将逐一剖析十二个评测基准:包含 4 个代码与科学类、6 个知识工作类,以及 2 个网页浏览与电脑操作类。针对每个基准,我们都会探讨任务的构建与评分机制、模型的短板所在,以及笔者认为仍有欠缺的地方。
Terminal Bench 专门评估智能体通过命令行完成工作的能力。这篇论文介绍的是 Terminal Bench(简称 TBench)2.0。最新的 4.1 版本(2026 年 11 月发布)共包含 66 项任务,涵盖软件、科学、机器学习、运维、安全、硬件以及多媒体等多个领域。
TBench 2.0 采取众包模式构建,93 位贡献者共编写了 229 项任务,最终筛选出 89 项纳入数据集。据作者估算,领域专家用不到一小时就能搞定约半数任务,其余绝大部分也能在一天内完成;而初级工程师完成大多数任务需要一小时到一天不等,少数几项甚至要耗费一周以上。每项任务都经过了大约三小时的人工审核,并通过了自动化质检流程的针对性审查,主要核验三项指标(详见附录 B2 至 B4):
- 针对性(Specificity):只有当容器最终处于合规状态时单元测试才能通过,同时还会由大语言模型审查提示词与测试用例之间是否存在脱节。
- 可解性(Solvability):参考方案不仅要通过全部单元测试,还需符合真实的工作流程;与此同时,“空操作智能体”必须无法通过。
- 完整性(Integrity):引入对抗智能体尝试通过作弊方式通关,以确保不存在读取后续 Git 提交记录等投机取巧的漏洞。
评测任务在支持联网的容器中运行,底座采用该团队开源的运行环境 Harbor。他们还打造了一套中立的运行环境 Terminus 2,其中智能体唯一可用的工具就是终端。智能体停止运行后,评分测试代码会被复制到工作容器中执行。评分采用一票否决制,必须全数通过才算合格。

论文于 2026 年 1 月发表时,TBench 2.0 的最高分为 63%,相比八个月前的最高分几乎翻了一番。这也让作者们预计该基准在一年内就会出现分数饱和。他们的归因分析总结出了三类典型的失效模式:
- 执行层面:无视指令、重复执行步骤,或在完成后不知道停止。
- 连贯性层面:行为偏离推理逻辑、遗失上下文,或跑题偏离任务。
- 验证层面:还没检查工作成果就草草收尾。
可能存在的不足:首先,TBench 4.0 中有大量任务是按未明说的隐性要求来评分的。Epoch AI 发现其 66 项任务中有 30 项存在评分缺陷,其中 11 项会把正确的解法判为错误。而在 Preference Model 重构的 65 项任务中,他们发现有 41 项都依据未明说的要求来评分——一旦把这些要求写明(并封堵投机取巧的捷径),某个模型的得分就直接从 63% 跃升到了 89%。
其次,这套评分标准在设计上就是一个“动态目标”。TBench 目前已转为持续演进的基准测试,每次发版都会剔除已经饱和的任务。这种机制固然有助于拉开前沿模型之间的差距,但也让跨版本的成绩对比变得极其困难。如果能同步公布一组固定任务子集的参考得分,或许能更方便读者跟踪不同时间与基准版本下的技术进展。
DeepSWE 专门评估编程智能体在长周期软件工程任务中的表现。为杜绝数据污染,测试中的所有任务均由软件工程师从零编写,而非从已有的 PR 改编而来,且这些代码绝不会合入上游代码库。1.0 版本包含来自 91 个开源代码库的 113 项任务,涵盖 TypeScript、Go、Python、JavaScript 和 Rust。2026 年 6 月推出的 1.1 版本保留了相同的任务,但改为在一个全新独立的容器中对智能体提交的代码进行评分,不仅提高了测试的可复现性,也让投机作弊更加困难。
工程师负责构思问题、搭建环境、编写测试,并围绕以下四个维度对彼此的任务进行交叉评审:
- 提示词与验证器双射(明确性):评分器严格且仅针对指令明确提出的要求进行核查,既不允许提示词表述含糊,也不允许测试用例过于严苛。
- 容纳广度:只要是合理的实现方案都应该通过,而非仅仅认准参考答案这一种解法。
- 真实性:提示词必须贴近真实的工程需求,最终代码要达到项目维护者愿意合入的水平。
- 环境洁净度:不存在依赖项错误、偶现失败的不稳定测试或基础设施故障。
每项任务还会经过大语言模型辅助分析与人工双重审核。评分脚本会反复运行三次以排查不稳定性;多个前沿智能体也会逐一跑通全部任务,以便评审人员确认通过的结果切实有效、失败的原因确实出自模型本身而非测试环境。
为防止测试框架对评测结果造成干扰,DeepSWE 统一采用了 SWE-Bench 团队开发的 mini-swe-agent 框架。这样一来,每个模型都拥有相同的 bash 工具和系统提示词。评分器不仅会通过 API 和运行输出来验证结果,还会结合代码库原有的测试套件来排查是否引入退化。评分采用“全对才算通过”的原则,完全不依赖大模型作为裁判,最终以 pass@1 指标呈现。(从 1.1 版本起,每次运行还会记录各单项测试的进展,但这部分不计入最终总分)。
在 2026 年 5 月刚推出时,1.0 版本的最高分为 81%。不同模型在单次试验中消耗的输出 token 数、运行时间以及成本之间存在着数量级的差距,而且这些指标与通过率并没有明显的正相关性。(最新得分可查阅官方排行榜。)
潜在缺陷:尽管在针对性与方案包容度上做过仔细审查,DeepSWE 依然会误判正确的方案。首先,隐藏测试可能会破坏有效的解法。Epoch AI 对 v1.1 版本的审查发现,在 113 项任务中有 18 项出现了此类失败,并将该基准评为“存在缺陷”(Flawed)。之所以会这样,是因为评分系统替换进的隐藏测试文件与智能体自己编写的测试发生冲突,导致了编译报错——讽刺的是,这反而惩罚了那些主动自查工作的智能体。
其次,评分标准往往比任务说明本身更严苛。在我查阅的数十条失败轨迹中,仅仅由于某处合情合理的实现选择——比如数据结构的嵌套方式,或是新建了类而非继承已有类——就导致本该正确的方案被直接判错。
FrontierSWE 专注于在超长周期工程与科研任务上评估智能体,单次运行时间上限高达 20 小时。2026 年 9 月推出的第二版包含 34 项任务,涵盖五大类别:功能实现、性能优化、科学计算、视觉推理以及 AI 研究。
该基准由 Proximal 携手外部合作者共同打造,任务均在容器化 Linux 环境中运行,并且通常配备 GPU(用于机器学习和科学计算任务)。第二版遵循三大设计原则:
- 公平性:每个工作区都内置了自检工具,其输出与评分系统的得分直接挂钩。这样一来,即便提示词没有讲透,智能体也能获取拿满分所需的一切信息。
- 性能任务的可靠评分:第一版是按实际耗时打分的。由于宿主机配置不同,这导致性能评测和模型排名极不稳定。到了第二版,智能体优化的目标改为了加权指令计数,该指标具备确定性,且不受硬件机器差异的影响。
- 防作弊机制:评分系统运行在全新的独立容器中,而智能体则以非 root 用户身份运行,无法窥探评分内容。此外,评分系统还会运行公开测试的变异版本以防止硬编码答案蒙混过关,且有专门的质检评审组审查每条轨迹中的可疑行为。
所有模型均在 Proximal 自研的测试框架 Proximus 上以最大推理力度运行,每个任务测试五次。Proximus 是基于 mini-swe-agent 改进而来,补充了三项功能:看图能力、提交工具和上下文压缩。在六个任务的测试中,模型在 Proximus 上的运行时间更长、得分也高于在 Claude Code 或 Codex 上的表现,因此不同测试框架之间的模型得分并不具备可比性。
评分采用部分得分制。第一版允许性能分数在 0 到无穷大之间浮动,这容易让人困惑,也很难做跨模型对比。第二版则将每项任务规范化到基准分(0.0)与满分目标(1.0)之间——这是一个非常可喜的改进。不过评测开销极其高昂:多数模型单次测试消耗 1 亿到 5 亿 tokens,即便是在得分超过 30% 的模型中最便宜的一款,单次测试的平均成本也达到了 97 美元。
截至上线时(2026 年 9 月),v2 的最高得分为 56%,第二名为 32%。(最新得分见官方排行榜。)Proximal 的错误分析指出了拉低分数的三个行为:
- 局部狭隘优化:只针对特定工作负载修修补补,却牺牲了系统层面的整体改进。
- 时间利用不当:在 8 小时内过早提交停工,或是一直忙活直到耗尽整整 20 小时上限却自始至终没有提交。
- 走捷径:直接硬编码公开答案或篡改测试脚本,但都被评分器抓了个正着,得分接近于零。
潜在短板:这项评测的两项设计各有利弊。首先,评测提供了现成的自检工具,直接配齐了验证、性能和基准比对脚本,但这并不符合真实的开发场景。在实际工作中,厘清“测什么”和“怎么测”往往就占了一半的工作量;如果直接把这些喂给智能体,评测考查的就变成了它在 20 小时内能写出多少代码,而非其自身的判断力。
其次,在性能任务上设置固定的满分上限,可能会埋没格外优秀的方案。远超满分标准的智能体,拿到的分数和刚刚达标的完全一样。改用相比基线节省成本的比例(例如 1 - 1/加速比)来评分或许可以解决这个问题。比如,若交付方案将基线的指令数砍半,得 0.5 分;若能砍掉 99%,则能得 0.99 分。
Terminal Bench Science 旨在评估智能体处理科研实验室真实计算工作流的能力。0.1 版本共包含 70 项任务,涵盖五大领域:生命科学(19 项)、物理科学(17 项)、数理科学(17 项)、工程科学(9 项)以及地球科学(8 项)。
该项目由斯坦福大学研究人员与 Terminal Bench 团队牵头。贡献者最初在 GitHub 上提交了 920 项任务提案,v0.1 最终入选 70 项。据任务作者估算,领域专家平均每项任务需要花费 12 个小时(中位数)。评审人员主要依据三项标准进行筛选:
- 具备科学依据:源自真实的科研工作流且需要专业领域知识,而非玩具级小问题或教科书习题。
- 具备客观可验证性:输出结果可通过程序化检查,排除了提出假设、文献综述等开放性工作。
- 具有真正的难度:前沿模型目前仍无法稳定解决。
任务采用 Terminal Bench 的标准环境:智能体拥有开放的网络访问权限,每项任务限时八小时,需输出分析报告、模拟结果、数学证明、代码或数据产品等文件。运行结束后,这些文件会被复制到一个全新的验证容器中运行测试(例如在设定容差范围内与参考数值比对)。发布时的评测中,各模型均在其专属的编程测试框架(如 Claude Code、Codex)下运行三次试验。评分采用全通过机制。
低分本就是有意为之。团队预期的目标是:前沿模型在发布时只能完成 10% 到 20% 的任务。在 2026 年 8 月发布时,v0.1 的最高得分仅为 30%,第二名只有 22%;参与评测的 9 个模型中有 5 个的完成率不足 10%。(最新排名请查看官方排行榜。)
潜在缺陷:分数偏低并不完全是模型的问题。首先,许多任务似乎会误判有效方案。自上线以来,70 项任务中有 55 项收到了共计 106 个任务修复 issue,其中 79 个反映了验证器或指令说明中的 Bug。例如,某个验证器仅仅因为数据行顺序不一致就判定正确预测无效,还有一处标准答案误将两个未发炎样本标成了发炎。
其次,“全通过才计分”(all-pass scoring)会掩盖模型运行结果到底有多接近目标。即使任务计算的是准确率或误差这类连续指标,最终也必须输出 0 或 1 的二元奖励。有一项任务只有在全部 100 颗恒星的分类与周期都正确时才算通过——在一次有记录的测试中,模型答对了 99 颗,得分却依然是 0。如果同时公布部分得分与全通率,这项任务的得分原本应是 0.99。
GDPval 用于评估模型在具有经济价值的知识工作上的表现。该基准涵盖美国 GDP 前九大行业的 44 种职业,共包含 1,320 项任务(每个职业 30 项),并设有一个包含 220 项任务的公开黄金子集(每个职业 5 项)。完成这些任务,专家平均需要 7 小时,部分任务甚至耗时 数周。
OpenAI 招募了至少拥有 4 年经验(平均 14 年)的行业专业人士,根据他们自己的实际工作来设计任务。每个任务都包含指令提示词、参考文件(如电子表格、文档、图像),以及该专业人士自己制作的交付物作为人类基准。OpenAI 的模型先对每个任务进行初筛,随后进行至少三轮人工审查(平均五轮)。评审人员主要核查 三项标准:
- 代表性(Representative):反映该职业的真实工作内容。
- 可行性(Feasible):其他同行在已有背景信息的前提下能够独立完成。
- 明确性(Clear):任务说明足够清晰,便于评估交付成果。
模型会拿到提示词和参考文件,可以使用网络搜索和代码解释器,每个任务运行三次。评分采用双盲成对比较法:由三位同行专家评审去标识化的交付物,将模型的成果评为优于、等同或劣于人类基准。核心指标是胜率——即模型胜出或打平的 比例。
由于常规知识型工作存在主观性,评分难免存在波动。人类专家评分员之间的一致率为 71%,而训练来执行同样成对比较的评分模型,与人类专家的一致率为 66%。

模型胜率在专家耗时两小时以内的短任务上达到峰值,并随着任务耗时延长而下滑。对专家的反馈进行聚类分析后,发现了三种 失效模式:
- 指令遵循:遗漏部分要求、忽略参考数据或使用错误格式。这是各模型中最普遍出现的 问题。
- 排版格式:布局和渲染出错。例如,在进行提示词调优之前,GPT-5 生成的 PDF 中有超过半数会出现黑块 瑕疵。
- 准确性:所有模型普遍存在数据幻觉或计算 错误。
潜在局限:公开的评分标准中,对指令遵循的侧重可能不亚于专业判断。在我抽样的十几个任务中,约有一半的评分标准检查的是指令遵循情况,例如特定的命名章节、特定字段或页数限制。其余标准则检查正确性或专业判断,比如在退款前核对退货单与仓库报告。这与论文的研究发现一致,即模型丢分最多的地方正是指令遵循。
Agents’ Last Exam (ALE) 专门评估智能体在长周期、具备经济价值且结果可验证的任务上的表现。1.0 版涵盖 13 个行业大类、55 个细分领域的 1,490 项任务,其中 152 项公开。1.1 版废弃了 30 项任务,并对剩余 122 项中的 57 项进行了修订。(有趣的是,其中一位作者对这个名字感到后悔,认为它应该叫“智能体首考(Agents’ First Exam)”,因为这是对真实专家工作流的初步尝试,绝不是终点。)
团队通过顾问委员会招募了 250 多位行业专家,由他们提交过去耗时数天乃至数周完成的实际项目。随后,工程团队将这些项目转化为可运行的任务。每项任务都必须经过三项标准的筛选:
- 代表性:符合真实的专业工作流程,使用专家实际会用到的软件。
- 复杂度:完成一项端到端的交付成果需要专家投入相当多的时间。
- 可验证性:输出结果可以进行确定性校验。对于开放式工作,则围绕可校验的目标重新设计(例如,把“设计一款游戏”改成“复刻这款游戏”)。
智能体在预装了专业软件和输入文件的 Ubuntu 或 Windows 虚拟机中运行。它们通过 Shell 终端和桌面环境开展工作,直到完成任务或达到 5 小时的上限时间。ALE 不限制测试框架,无论是 Claude Code 还是 Codex 等任何智能体框架,都可以自带工具集、记忆系统和子智能体运行。此外,ALE 还提供了一个桥接层,将截图、点击等桌面操作暴露给偏好命令行(CLI-first)的框架。
评分采用对照隐藏参考答案的梯级给分制(0 到 1 分),其中 93% 的评分是确定性的。ALE 默认避免使用大语言模型充当裁判,因为裁判模型的更新可能会暗中改变智能体的排名。任务设计者会根据交付物选择匹配的对比方式:flag 标志采用精确匹配或哈希匹配,工作簿采用逐字段容差比对,3D 模型采用与参考网格的表面距离,代码采用保留测试集,或者采用专家定义的验收区间。只有在无法通过代码参考进行判定的创意或感知类输出(如渲染场景或动画预览)中,才会动用大语言模型裁判,且判定范围被严格限定在类似“纹理贴图的位置和方向是否准确到可以通过?”这样的封闭式“是/否”问题。
ALE 会公布平均分和满分通过率(获得满分的任务比例)。在发布初期(2026 年 6 月,v1 版),表现最好的配置在公开任务中实现了 24% 的满分通过率。计算数学与农业/环境领域的平均分最高(55% 至 85%),商业与法律紧随其后(50% 至 55%),教育领域最低(不足 25%)。(最新得分参见官方排行榜。)作者归纳了三类失败模式:
- 策略错误(47%):理解领域需求但选错了策略(30%),或是过早放弃(17%)。
- 理解错误(31%):缺乏领域知识(25%),或是伪造数据(6%)。
- 执行错误(22%):输出格式有误(10%)、具体实现存在 Bug(8%),或是 GUI 交互失败(4%)。
潜在不足:首先,过于追求可验证性导致任务要求过于具体琐碎。在 122 条 v1.1 公开指令中,有 83 条在文件名、路径或标签中用了“exact”(精确)或“exactly”(完全一致)。某项骨骼动画任务甚至直接列出了输出必须包含的全部 19 个骨骼名称。这与其说是在考察界定真实交付成果的能力,不如说是在考查对详尽规格说明的执行力。
其次,v1.1 的许多公开任务更偏向学术练习,而非工业界实际工作,偏离了代表性这一目标。任务中约有一半属于科学或科研计算,通常基于公开科研数据集或已发表论文,比如复现表格或对心电图(ECG)记录进行分类。这在很大程度上衡量的是学术科研风格的计算,而非基准原本旨在评估的专业工作。
AutomationBench 旨在评估智能体通过 REST API 编排跨应用工作流的能力。该基准包含 600 个公开任务,覆盖销售、营销、运营、客服支持、财务和人力资源六大领域,每个领域各 100 个任务。此外还保留了 600 多个私有任务用于排行榜测评。这些任务共涉及 47 个模拟应用。
Zapier 使用大语言模型(Opus 4.6、GPT 5.3 和 Gemini 3)合成了这些任务,其种子数据源自 Zapier Agents 服务中收到过负面反馈的真实客户工作流(即难例挖掘)。为了增加难度,开发团队给简单任务掺入了无关数据,为错误记录起相似的名称,并加入了相互冲突的业务策略。私有测试集还经过了额外的难度强化,以减少过拟合。每个任务都必须满足以下标准:
- 结果可观察:产生至少一处具体的状态变更,比如创建一条记录或更新某个字段。
- 确定性验证:通过对最终状态进行结构化检查来打分,不使用自由形式的评判标准。
- 推理必须落到实处:任何主观判断都必须体现在最终状态中,例如记录在状态字段里。
智能体在模拟的企业环境中工作,其中的各项应用(CRM、收件箱、电子表格等)均已预先填入数据记录。评测没有提供专门的智能体运行框架(harness),模型直接在工具调用循环中运行,仅有两个工具可用:Search(对 API 模式进行关键词搜索)和 Execute(类似 curl 的端点调用),这意味着智能体必须自行找到适用的端点。智能体主动停止或达到 50 步上限时运行即告结束,每个任务仅运行一次。

评分采用全通(all-pass)制,因为企业无法接受只完成一半的工作流。评分逻辑同样是确定性的,以保证可复现。断言会对最终状态执行精确字符串匹配和结构化检查,其中还包括反向断言——如果智能体操作越界(例如给全公司发邮件,而不是发给指定的收件人),就会被判定为不合格。
发布之初(2026 年 4 月),表现最好的模型在私有任务中的通过率也只有 9.9%。由于排行榜分数来自难度更高的私有集,公开集得分无法与排行榜直接比较(最新成绩请参见官方排行榜)。在抽样分析的失败案例中,有 72% 到 91% 的情况下模型都误报了成功。论文指出了三种常见的失败模式:
- 找不到数据:常规搜索无果后便直接放弃,或者想当然地臆测数据应该存在哪里(比如认定在 CRM 里,而实际却在电子表格中)。
- 遗漏内容:仅处理了清单中的一部分(例如 12 封邮件里只挑了几封),却在总结时当成已经完成了整项任务。
- 丢失精确细节:提示词明明要求逐字照搬,智能体却擅自意译或直接漏掉了这些数值。
评测漏洞:断言测试框架主要存在两类误判风险。首先,许多公开评测任务都会按未写明的要求来评分。一项评测复盘在 600 个公开任务中指出了 108 个问题:其中 43 个属于任务信息缺失或互相冲突,65 个属于评分机制缺陷。另一项覆盖约 2600 次智能体运行的复盘发现,有 115 个任务的校验逻辑误毙了合格的结果,比如把“150,000”和“150000.0”视作两个不同的值。由于非公开榜单沿用了同样的断言框架,很可能也存在类似的缺陷。
其次,用子字符串匹配很难准确判断一段内容的意思是否正确。在公开任务约 9600 条断言中,有 55% 只是简单检查邮件、Slack 消息或记录里是否包含或排除了某个特定字符串。这不仅会把符合原意的合法表述判错,还会带来误报:有 94 个任务只是去核验消息里有没有出现一位或两位数的数字(比如“4”),只要日期或 ID 里恰好包含该数字就能通过。这样一来,任务通过与否往往取决于智能体的措辞习惯,而非工作流逻辑本身是否正确。
Harvey 推出的 Legal Agent Benchmark(LAB)专门用于评估智能体处理长周期法律业务的能力。该评测集的公开版本(v1.3.0,2026 年 10 月)包含 2010 个任务和约 11.4 万项评分标准,相比 2026 年 5 月上线时的约 1250 个任务有了明显扩充。榜单跑分则采用一套未公开的保留测试集,涵盖 24 个精选业务领域,每个领域下设 5 个任务,共计 120 个。
Harvey 以执业律师处理过的真实客户业务为基础,将其拆解为合伙人分派给初级律师的具体独立任务。涉及的案卷文件——包括合同、电子邮件、律所模板等——均为合成数据,由虚构的人物、公司和事实生成。每个任务都具备以下三个特征:
- 指令宽松:任务提示词平均仅 50 词,只说明诉求,并不硬性规定格式与风格。
- 材料杂乱:核心文件与边缘材料混杂在一起,需要关注的法律问题分散埋在多份文件中。
- 原子化评分标准:由专业律师编写的二元判定细则,逐条拆解合伙人或客户会严格审查的要点,例如事实细节、法律引用或具体金额。

智能体会置身于一个包含只读案件文件的离线沙箱环境中,借助 Harvey 的测试套件 lab-core 运行;所有模型都在相同的工具调用循环中执行。智能体可使用六种通用工具(bash、read、write、edit、glob 和 grep),以及生成 Word、Excel 和 PowerPoint 文件的三项专属技能。一旦智能体调用 finish 工具、主动停止调用工具,或是达到了 200 轮的上限,单次运行即告结束。
评分环节由 LLM 裁判逐条打出 pass(通过)或 fail(未通过)。裁判模型只能看到任务标题、交付的文件以及评分标准本身,无权查看参考答案和案件原始材料。评分机制采用“全过才算过(all-pass)”,契合了 Harvey 的理念:“全过评分机制反映了现实中高风险法律业务的真实审查标准——仅仅找出绝大部分问题是拿不到任何感情分的。”
基准发布时(2026 年 5 月),表现最好的模型在保留测试集任务中的通过率也仅有 7.1%。第三方榜单之间无法直接对比:Vals AI 在运行 Harvey 的测试框架和大模型裁判时做了一些调整,而 Artificial Analysis 则使用自研的测试框架、裁判和评估指标。(最新得分参见 Vals AI 与 Artificial Analysis 的榜单。)Harvey 的分析发现,以下三种行为与得分高低直接挂钩:
- 草拟后不作复核:跳过验证或修改环节,平均会导致得分下降 1.2 分;而在检查后进行修改,则能让得分提升 1.5 分。
- 滥用工具调用:单轮对话中调用工具达到 5 次或以上,会导致得分降低 0.5 分。
- 动笔前充分研读:在起草前通读 90% 以上的文件,能让得分提升 0.4 分。
潜在缺陷:评分标准可能出现双向误判。一方面,如果评分标准要求的某些信息在案卷材料中根本找不到,LAB 就会误判忠实于原文的输出;而在“全对才算通过”的计分规则下,只要有一个这种标准未满足,整个任务就算失败。Vals AI 指出,Harvey 已从包含 120 个任务的保留测试集中删除了 17 项无法满足的标准。在公开数据集中,某项标准要求提供一个仅出现在评分标准里的会议日期,因此永远无法通过;另一项标准则要求给出文件中根本不存在的损害赔偿估算值。遗憾的是,这类错误的评分标准惩罚的恰恰是恪守原文的智能体。
另一方面,LAB 还可能放过存在幻觉的输出,因为评分标准只检查是否出现了预期要点,而裁判大模型根本不会查阅案卷文件。Artificial Analysis 发现,在通过了全部评估标准的工作成果中,有超过 60% 存在实质性幻觉——例如当事人、金额或日期出错。
Finance Agent 旨在评估智能体对上市公司财报进行复杂分析的能力。2.1 版本(2026 年 10 月)包含 926 项任务,涵盖可比公司分析、先例交易分析、财报分析、财务建模等 9 大类分析师日常工作。其中,27 项任务公开开放,450 项构成需授权的私有验证集,其余 449 项则作为私有测试集。
这些任务由 Vals AI 与金融专家联合打造,要求达到两到三年资历的投行分析师应有的分析深度。2.0 版本将 1.0 版本偏重检索的 537 项任务扩充至 927 项工作流导向型任务;2.1 版本则在专家评审后对提示词和打分器进行了进一步优化。每项任务均围绕四大核心维度设计:
- 确定性:存在唯一且明确的正确答案。
- 多源整合:需要串联多份财报或数据源的信息,而非单次查询即可解决。
- 行业特异性:依赖内隐的行业常识与惯例,而非直接明确的指令。
- 审计级精度:关键细节往往深藏在脚注、警示说明或会计政策披露中。
每个模型都在同一套工具调用循环中运行,可用工具共六种:SEC EDGAR 检索、网页搜索、网页解析器、解析后页面检索(以避免长篇文件挤占上下文)、计算器以及历史股价查询。测试框架将时间基准锚定在 2026 年 3 月 1 日,且搜索范围严格限制在此日期之前。一旦智能体提交最终答案,测试即告结束;若运行时间超过两小时上限,则直接计零分。

评审团由三个大语言模型组成,依据一套按严重程度加权的评分标准对答案进行打分。关键事实或核心数据被设为“一票否决项”,只要触犯任何一项,该任务得分即直接归零。评分机制支持按项给分,核心评估指标是在扣除一票否决项后计算的严重程度加权平均分;所有检查项全部通过的“全通率”(All-pass)则作为次要指标报告。
在发布时(2026 年 10 月,v2.1),表现最好的模型在私有测试集上(运行于 Vals AI 的测试框架;排行榜)拿到了 68% 的部分得分和 59% 的全通率。模型在先例分析(49%)、财务建模(57%)和可比公司分析(64%)任务上得分最低。Vals AI 对 v2 和 v2.1 的错误分析指出了三种主要的失效模式:
- 细节缺失:极少能给出完整的回答,往往会遗漏专业分析师通常会包含的核心细节。
- 计算不够精确:在多轮交互中一步步推算,最终结果虽然接近评分标准的目标值,但误差依然超出及格线。
- 检索多而无果:过度依赖探索性的网络搜索和信息检索调用,却未能由此得出正确答案。
潜在缺陷:部分评分标准会根据未明说的隐含要求打分。例如,某道公开测试题询问三家公司中哪一家杠杆率最高,但在最近一次标准更新前,其一票否决项竟包含了三项财务指标的行业同业平均值。即便回答找准了公司,只要没写出这些平均值就会被判不及格。因此,最终得分既反映了智能体是否解答了问题,在很大程度上也反映了它是否契合了出题人的预设习惯。
HealthBench Professional(简称 HealthBench Pro;2026 年 4 月)用于评估模型处理临床任务的能力。它涵盖三大应用场景:诊疗咨询(45%)、文书与病历撰写(27%)以及医学研究(28%)。该基准共包含 525 项任务,其中约三分之一来自红队测试——即由医生特意诱导模型出错的对抗性测试。
这些任务是由来自 50 个国家、26 个临床专科的 190 名医生在测试 ChatGPT for Clinicians 时构建的。医生们采用了两种测试模式:常规善意使用模式与红队对抗模式。每项任务都由一段医生与模型的对话(以用户提问轮次结尾)、医生撰写的基准参考答案,以及一份按分值加权的评分标准(每项标准在 -10 到 +10 分之间)组成。任务构建包含三个阶段:
- 创制:由一名医生发起对话、拟定初步评分标准,并对模型在最后一轮的表现给出 1 到 7 分的评价。
- 审核:其他医生审核评分标准的质量与任务的真实性;针对评分为 1 或 2 分的回答(此类任务被标记为高难度),需由两名医生共同确认回答确实存在缺陷。
- 仲裁:医生团队剔除主观评价标准,仅保留业内广泛公认的临床实践规范。

OpenAI 从 15,079 个候选任务中通过分层抽样选出了最终的 525 项任务。为了给未来模型留出足够的评测提升空间,高难度任务在最终入选集中的占比约为候选池的 3.5 倍。
评估过程中,模型(或像 ChatGPT for Clinicians 这类带证据检索功能的系统)会阅读对话内容并给出一段回复。测试时模型均采用默认系统提示词并在最高推理力度下运行,每个任务生成 8 个样本取平均值。
评分采用部分给分制。由大语言模型裁判(低推理力度下的 GPT-5.4)独立判断每项标准是否达标。满足正面标准加分,触发负面标准扣分。任务得分由实得分数除以满分正面得分得出,因此可能出现负分。得分随后会乘以 100。由于回复越长越容易命中正面标准,主评分引入了长度惩罚:字数在 2000 字以上时,每多 500 字扣 1.47 分;2000 字以下则按同样幅度加分。最终总分为各项调整后任务得分的均值。
潜在缺陷:两项评分机制的选择影响了结果的说服力。首先,评分细则过于单薄。全部 525 项任务仅包含 1135 条评判标准,平均每个任务约两条;相比之下,原版 HealthBench 平均每项任务约有 11 条。独立分析显示,47% 的任务只有一条正面评判标准。因此,得分反映的可能只是回复是否碰巧命中了医生随手挑选的一两项检查点,而非整体回复质量。
其次,长度调整机制对所有任务搞“一刀切”,无论是简短问诊还是完整的临床病历,统一按 2000 字基准衡量。然而,医生自己的基线回复字数分布在 600 到 3800 字之间(第 10 到第 90 百分位)。以医生的实际回复长度作为基准来进行调整,或许才是更合理的做法。
BrowseComp 旨在评估智能体通过网页浏览解答复杂多跳问题的能力。该基准(2025 年 4 月发布)包含 1266 个问题,涵盖十大主题,包括影视(16%)、科技(14%)、艺术(10%)和历史(10%)等。
这些问题由人工标注人员按照 OpenAI 早期的 SimpleQA 指南编写。每个问题融合了多重限制条件(例如日期范围、人物背景及事件细节),最终指向一个简短、确切且不会随时间变化的答案(如人名、作品名或数字)。入选问题必须满足三项标准:
- 解答难度高:当时的顶尖模型(如具备联网搜索功能的 GPT-4o)无法解答,通过五次简单的谷歌搜索也无法在首页找到答案。此外,换其他人来解答,十分钟内也做不出来(此项为软性要求)。
- 求解难,验证易:标注人员采用“逆向构思”来设计问题。他们先选定一个目标(例如某个人物、事件或文物),再叠加若干宏观特征。这样一来,想要找出答案可能要翻阅数千个网页,但要核实答案却只需搜几次即可。
- 答案大概率唯一,但并非绝对:由于逆向设计的问题容易意外对应到多个实体,标注人员会不断追加限制条件,直到相当笃定只存在唯一答案为止。

评测时,智能体会收到问题,并被要求按三部分作答:解释、确切答案,以及 0% 到 100% 之间的置信度评分。OpenAI 的 simple-evals 代码库会将每个问题发送给模型并评估回答。具体的搜索和浏览工具则由评测运行者自行提供。
评分机制采用二元准确率(即非对即错)。大语言模型评审员会提取最终答案,并将其与参考答案进行比对(允许数值存在小范围误差)。选用简短答案是为了降低判分难度和成本。该基准发布时(2025 年 4 月),OpenAI 的 Deep Research 答对率为 51.5%,而具备浏览能力的 GPT-4o 仅有 1.9%。不借助 AI 的人类标注员答对了 29% 的问题(其余题目均在两小时后放弃)。
潜在不足:基于单一参考答案的二元评分默认该答案既准确又唯一,但实际情况并非总是如此。在 OpenAI 的人类研究中,成功答题的标注员在 367 个问题中有 50 个(14%)与参考答案存在分歧。随后的一项独立审查在抽样的 200 个问题中发现了 10 处错误,其中 6 个问题其实有多个合理答案。因此,随着得分不断提高,顶尖模型之间的差距可能更多反映的是参考答案本身的噪声,而非智能体能力的真实差异。
OSWorld 2.0 旨在评估智能体处理长流程计算机操作任务的能力。它涵盖了科研与教育、创意制作、工程与计算等 7 个专业领域的 108 项任务。熟练的人类操作者完成单个任务的中位数耗时约为 1.6 小时。

作者分三个阶段构建了该基准:
- 任务收集:约 90% 的任务来自一个受过训练的小规模标注团队。他们结合 Reddit 讨论、在线教程以及自身工作中的实际工作流来设计任务。其余任务则来自从业者访谈(难以大规模推广,成本高昂)、问卷调查(质量较低)以及大语言模型生成的方案(流于表面且不切实际)。
- 环境搭建:任务在 Ubuntu 虚拟机中运行,机内预装了特定虚拟身份的文件、应用程序与记录。该虚拟机还包含自建网站(如电子邮件、网银、团队聊天),以避免真实网站的界面变动和反爬虫限制。部分任务设置了模拟用户,智能体可向其询问以澄清需求;还有一些任务会在执行过程中插入电子邮件和聊天消息,临时变更需求(这一点非常棒)。
- 标注与质量保证:先由代码智能体生成单元测试,两名标注员完整跑通每项任务,随后交由前沿智能体运行,以排查作弊投机(reward hacking)和误判未通过(false negatives)的情况。
智能体通过屏幕截图以及鼠标、键盘操作与桌面进行交互。该代码库提供了测试环境、运行器以及针对各模型家族的参考智能体。当智能体声明任务完成或达到 500 步的上限时,单次运行即告结束。
每次运行结束后,评估器会根据平均包含 27 条标准的评估细则检查最终状态。大部分标准通过代码进行校验;在代码无法判断的环节(例如编辑后的图片看起来是否自然),则由 LLM 评审员依据“是/否”标准进行判定,这部分占总分的 11.5%。该基准公布两项指标:二元完成度(全通率,为主指标)和部分得分(达成标准的加权比例)。
在发布之初(2026年6月),表现最好的智能体任务完成率为 20.6%,部分完成度得分(partial score)为 54.8%(最新得分请见官方排行榜)。论文发现,智能体极少在基础 GUI 控制或写代码上翻车,而是主要在以下几方面出错:
- 遗漏关键信息:忽视提示词中明确提出的约束条件、漏掉任务执行过程中发来的新消息,或者在缺少依据时凭空推测,而不是向用户提问求证。
- 跳过核验步骤:不检查最终状态就直接提交任务,而且用于排查和修复错误的开销还不到总预算的 7%。
- 长程任务中遗忘细节:只在早期的推理上下文中保留前期细节,到了产出最终成果时,这些细节已经被丢掉了。
评测本身可能存在的漏洞:任务判定失败并不一定意味着智能体真的做错了。首先,部分自动检查逻辑会误判正确的结果。针对 v2.1 版本的外部审查发现,在 108 个任务中有 23 个存在这种情况。例如,在某项检查中,系统要求某个自由文本表单字段必须与一个缩写完全一致,但任务配套网站上显示的却是全称;智能体按网页展示内容直接复制反而会被扣分,而在“全对才给分”的规则下,这会导致整项任务直接被判失败。
其次,测试环境本身可能不稳定。论文的行为分析(表 20)显示,在 108 条运行轨迹中,有 31% 到 43% 被标记为智能体达到的实际状态与环境或评分程序记录的状态可能存在偏差。导致这种情况的原因包括环境重置、会话失效或文件不可访问等。因此,最终得分既反映了智能体的能力,也在很大程度上反映了环境本身的稳定性。
不知不觉写了这么多,非常感谢你读到这里!如今的公开评测集在真实度和工程严谨性上已经今非昔比,但依然有很长的路要走。在审视评测结果时,我们不能只盯着榜单上的醒目数字,更要深入了解任务的具体评分机制、评估指标能否反映稳定性,以及错误分析揭示了哪些问题。对待公开基准的得分不妨持保留态度:可以把它们当作筛选候选模型的参考,但最终一定要放在你自己的业务测试框架中去实测。
你最常关注哪些基准测试?对此有什么不同见解或独到看法?欢迎随时交流!
参考文献 #
Bigeard, Antoine, Langston Nashold, Rayan Krishnan, and Shirley Wu. “Finance Agent Benchmark: Benchmarking LLMs on Real-World Financial Research Tasks.” arXiv:2508.00828. Preprint, arXiv, May 20, 2025. https://doi.org/10.48550/arXiv.2508.00828.
DeepSWE. “DeepSWE.” 访问于 2026年11月19日。 https://deepswe.datacurve.ai.
“FrontierSWE.” 访问于 2026年11月19日。 https://www.frontierswe.com/blog/v2.
Harvey. “Introducing Harvey’s Legal Agent Benchmark.” 访问于 2026年11月19日。 https://www.harvey.ai/blog/introducing-harveys-legal-agent-benchmark.
Hicks, Rebecca Soskin, Mikhail Trofimov, Dominick Lim, et al. “HealthBench Professional: Evaluating Large Language Models on Real Clinician Chats.” arXiv:2604.27470. Preprint, arXiv, April 30, 2026. https://doi.org/10.48550/arXiv.2604.27470.
Merrill, Mike A., Alexander G. Shaw, Nicholas Carlini, et al. “Terminal-Bench: Benchmarking Agents on Hard, Realistic Tasks in Command Line Interfaces.” arXiv:2601.11868. Preprint, arXiv, January 17, 2026. https://doi.org/10.48550/arXiv.2601.11868.
Patwardhan, Tejal, Rachel Dias, Elizabeth Proehl 等,“GDPval:评估 AI 模型在现实世界具有经济价值任务中的表现”,arXiv:2510.04374,arXiv 预印本,2025年10月5日。https://doi.org/10.48550/arXiv.2510.04374。
Shepard, Daniel 与 Robin Salimans,“AutomationBench”,arXiv:2604.18934,arXiv 预印本,2026年4月21日。https://doi.org/10.48550/arXiv.2604.18934。
Sun, Yiyou, Xinyang Han, Weichen Zhang 等,“智能体的终极大考”,arXiv:2606.05405,arXiv 预印本,2026年10月25日。https://doi.org/10.48550/arXiv.2606.05405。
TERMINAL-BENCH,“TERMINAL-BENCH”,访问于 2026年11月19日。https://www.tbench.ai。
Wei, Jason, Zhiqing Sun, Spencer Papay 等,“BrowseComp:面向网页浏览智能体的轻量且具挑战性的基准测试”,arXiv:2504.12516,arXiv 预印本,2025年4月16日。https://doi.org/10.48550/arXiv.2504.12516。
Yuan, Mengqi, Zilong Zhou, Xinzhuang Xiong 等,“OSWorld 2.0:在长流程真实世界任务中评测计算机使用智能体”,arXiv:2606.29537,arXiv 预印本,2026年7月13日。https://doi.org/10.48550/arXiv.2606.29537。
来源:Eugene Yan · eugeneyan.com