OpenAI 评估 AI 智能体如何处理日常湿实验科学
OpenAI 推出基准测试 BioBasicsBench,包含 100 项任务,用于评估 AI 智能体解读原始实验数据以及处理日常湿实验科学的能力。
OpenAI 推出基准测试 BioBasicsBench,包含 100 项任务,用于评估 AI 智能体解读原始实验数据以及处理日常湿实验科学的能力。
Hugging Face 宣布与 Liva AI 合作,在 Open ASR Leaderboard 中引入埃及和尼日利亚两种英语口音的私有测试集。新增数据包含 1.34 小时埃及口音和 1.55 小时尼日利亚口音的自发对话语音。该榜单还根据卡克鲁三圈模型在 Private 标签页提供更细致的口音维度评估。
NVIDIA 公布 Vera CPU 在 AI 智能体工作负载下的测试表现,在单个 CPU 上同时兼顾高执行速度与高能效容量。在 100 兆瓦数据中心对比测试中,Vera 相比最快的 x86 CPU 每瓦支持智能体数量提升 1.6 倍,相比能效最高的 x86 CPU 智能体速度提升 2 倍。
推荐理由:文章通过多项基准测试展示了该处理器在智能体编排与沙箱执行中的吞吐表现,有助于评估数据中心的算力配置。
Collinear AI 开源网络安全基准 CWE-bench v2,提供涵盖 91 类 CWE 漏洞的 100 个公开任务,评估智能体修复真实代码漏洞的能力。
AllenAI 推出长文本状态追踪基准 StateBench,按变量赋值复杂度分为四个层级,用于评估模型在长文档中跟踪实体状态演变的能力。评测显示,Gemini 3.8 Flash、Claude Opus 5.5 以及 GPT-6 Sol 和 Luna 在较难的自引用与引用传递任务中,准确率随长度增加急剧下降至 13% 以下。
IBM Research 在 AppWorld 基准的 90 项任务中测试了不同智能体框架(Harness)的影响,在均使用 GLM-5.3-flash 开源模型的情况下,CUGA 取得了 81.1% 的任务通过率,高于 Hermes 的 46.7% 和 Deep Agents 的 30.0%。
推荐理由:原文通过同模型在多框架下的对照基准测试,具体展示了框架策略对跨应用智能体完成率的影响。
OpenAI 推出全新评估基准 LifeVal,用于衡量 AI 协助人类完成日常生活任务的实际表现。该基准覆盖寻找托儿服务、管理个人财务以及处理政府文书等具体现实场景。
微软构建了行业评测数据生成平台,基于 O*NET、招聘信息和 SEC 财报等公开数据生成全规模合成企业环境,在不接触真实客户数据的前提下评测 Microsoft Copilot。
Ai2 发布科研创新度评估基准研究,测试显示主流大语言模型在判断研究点子是否具备创新性时表现极不稳定。在 GPT-5 系列与 Claude 系列等六款模型的测试中,仅修改提示词细节就导致准确率波动超 50 个百分点,且增加实时检索与推理算力并未显著改善判断。专用创新评估系统的表现甚至落后于简单的 Claude Opus 4.6 提示词基线,同时带来了更高的 API 成本。
推荐理由:研究通过对比多款前沿模型揭示了模型评估创新度时的脆弱性,为自动化科研中的点子筛选提供了实证参考。