NaiveAI 号称每秒 2,100 Token,其实际编程能力评测
Latent Space 对 NaiveAI 推出的开源代码模型 Naive-N0.5-Flash 进行了实测,对比了 DeepSeek V4.1 Flash 1017 和 GLM 5.3 Flash 的推理速度与应用构建能力。
推荐理由:实测对比了高吞吐模型在代码生成与推理延迟上的实际取舍,可为追求快速迭代的工作流选型提供参考。
Latent Space 对 NaiveAI 推出的开源代码模型 Naive-N0.5-Flash 进行了实测,对比了 DeepSeek V4.1 Flash 1017 和 GLM 5.3 Flash 的推理速度与应用构建能力。
推荐理由:实测对比了高吞吐模型在代码生成与推理延迟上的实际取舍,可为追求快速迭代的工作流选型提供参考。
OpenAI 推出基准测试 BioBasicsBench,包含 100 项任务,用于评估 AI 智能体解读原始实验数据以及处理日常湿实验科学的能力。
Hugging Face 宣布与 Liva AI 合作,在 Open ASR Leaderboard 中引入埃及和尼日利亚两种英语口音的私有测试集。新增数据包含 1.34 小时埃及口音和 1.55 小时尼日利亚口音的自发对话语音。该榜单还根据卡克鲁三圈模型在 Private 标签页提供更细致的口音维度评估。
Collinear AI 开源网络安全基准 CWE-bench v2,提供涵盖 91 类 CWE 漏洞的 100 个公开任务,评估智能体修复真实代码漏洞的能力。
AllenAI 推出长文本状态追踪基准 StateBench,按变量赋值复杂度分为四个层级,用于评估模型在长文档中跟踪实体状态演变的能力。评测显示,Gemini 3.8 Flash、Claude Opus 5.5 以及 GPT-6 Sol 和 Luna 在较难的自引用与引用传递任务中,准确率随长度增加急剧下降至 13% 以下。
Simon Willison 实测发现,在笔记本本地通过 LM Studio 运行的开源模型 Qwen 3.8 27B 无需执行代码或调用工具,仅凭浮点数形式的原始模型权重即可推断其训练任务。
OpenAI 推出全新评估基准 LifeVal,用于衡量 AI 协助人类完成日常生活任务的实际表现。该基准覆盖寻找托儿服务、管理个人财务以及处理政府文书等具体现实场景。
微软构建了行业评测数据生成平台,基于 O*NET、招聘信息和 SEC 财报等公开数据生成全规模合成企业环境,在不接触真实客户数据的前提下评测 Microsoft Copilot。
Elorian 与 AI 数据公司 Mercor 联合推出 DecoyCount 基准,用于测试模型究竟能真实计数物体还是依赖视觉捷径。评测论文显示参测的前沿模型准确率均低于 50%,其中最高的 GPT-6 Astra 为 43.17%,而 Elorian 旗下视觉推理模型 Glimpse 在内部单次运行测试中得分 50.48%。
测试显示,当被问及谁赢得 2020 年美国总统大选时,Google 的 AI Mode 给出回避性回答,建议用户查阅联邦选举委员会(FEC)的官方报告而非直接作答。测试中针对 2024 年大选的提问同样被引导至 FEC,询问 2012 年大选也仅返回外部数据链接。不过,AI Mode 对 2000 年以来的其余各届总统大选胜选者均能给出详细且正确的回复。
Ai2 发布科研创新度评估基准研究,测试显示主流大语言模型在判断研究点子是否具备创新性时表现极不稳定。在 GPT-5 系列与 Claude 系列等六款模型的测试中,仅修改提示词细节就导致准确率波动超 50 个百分点,且增加实时检索与推理算力并未显著改善判断。专用创新评估系统的表现甚至落后于简单的 Claude Opus 4.6 提示词基线,同时带来了更高的 API 成本。
推荐理由:研究通过对比多款前沿模型揭示了模型评估创新度时的脆弱性,为自动化科研中的点子筛选提供了实证参考。