NaiveAI 号称每秒 2,100 Token,其实际编程能力评测
Latent Space 对 NaiveAI 推出的开源代码模型 Naive-N0.5-Flash 进行了实测,对比了 DeepSeek V4.1 Flash 1017 和 GLM 5.3 Flash 的推理速度与应用构建能力。
推荐理由:实测对比了高吞吐模型在代码生成与推理延迟上的实际取舍,可为追求快速迭代的工作流选型提供参考。
Latent Space 对 NaiveAI 推出的开源代码模型 Naive-N0.5-Flash 进行了实测,对比了 DeepSeek V4.1 Flash 1017 和 GLM 5.3 Flash 的推理速度与应用构建能力。
推荐理由:实测对比了高吞吐模型在代码生成与推理延迟上的实际取舍,可为追求快速迭代的工作流选型提供参考。
NYT Cooking 面向 iOS 订阅用户推出 AI 助手,可在不修改原食谱的前提下根据现有食材和份量快速定制新版本。该功能基于读者评论训练,能调整烹饪步骤并在“Your Version”下高亮改动,同时被设定为拒绝不合理请求。实测显示其日常食材替换表现实用,但在蛋糕黄油用量等烘焙细节上仍有失误风险。
OpenAI 推出基准测试 BioBasicsBench,包含 100 项任务,用于评估 AI 智能体解读原始实验数据以及处理日常湿实验科学的能力。
综合四份行业数据集分析显示,ChatGPT 输送的流量仅占 Google 自然搜索的 0.62%,且现有数据未能证实 AI 可见性与后续直接访问或品牌搜索存在直接因果。
推荐理由:汇总多份数据集指出 AI 带来的流量远低于传统搜索且缺乏行为相关性,为评估 GEO 与品牌曝光提供了可复用的校验思路。
Hugging Face 宣布与 Liva AI 合作,在 Open ASR Leaderboard 中引入埃及和尼日利亚两种英语口音的私有测试集。新增数据包含 1.34 小时埃及口音和 1.55 小时尼日利亚口音的自发对话语音。该榜单还根据卡克鲁三圈模型在 Private 标签页提供更细致的口音维度评估。
NVIDIA 公布 Vera CPU 在 AI 智能体工作负载下的测试表现,在单个 CPU 上同时兼顾高执行速度与高能效容量。在 100 兆瓦数据中心对比测试中,Vera 相比最快的 x86 CPU 每瓦支持智能体数量提升 1.6 倍,相比能效最高的 x86 CPU 智能体速度提升 2 倍。
推荐理由:文章通过多项基准测试展示了该处理器在智能体编排与沙箱执行中的吞吐表现,有助于评估数据中心的算力配置。
The Verge 评测全天录音 AI 穿戴设备 Amazon Bee Frontier 时发现,该设备常误判对话事实并歪曲情绪总结,导致用户对自身记忆产生怀疑与解离感。该设备虽具备 List 待办建议、Grow 自我提升分析及聊天功能,但在记录心理治疗等严肃场景时频出偏差,其心理咨询师甚至建议将其直接扔掉。
Collinear AI 开源网络安全基准 CWE-bench v2,提供涵盖 91 类 CWE 漏洞的 100 个公开任务,评估智能体修复真实代码漏洞的能力。
AllenAI 推出长文本状态追踪基准 StateBench,按变量赋值复杂度分为四个层级,用于评估模型在长文档中跟踪实体状态演变的能力。评测显示,Gemini 3.8 Flash、Claude Opus 5.5 以及 GPT-6 Sol 和 Luna 在较难的自引用与引用传递任务中,准确率随长度增加急剧下降至 13% 以下。
Simon Willison 实测发现,在笔记本本地通过 LM Studio 运行的开源模型 Qwen 3.8 27B 无需执行代码或调用工具,仅凭浮点数形式的原始模型权重即可推断其训练任务。
IBM Research 在 AppWorld 基准的 90 项任务中测试了不同智能体框架(Harness)的影响,在均使用 GLM-5.3-flash 开源模型的情况下,CUGA 取得了 81.1% 的任务通过率,高于 Hermes 的 46.7% 和 Deep Agents 的 30.0%。
推荐理由:原文通过同模型在多框架下的对照基准测试,具体展示了框架策略对跨应用智能体完成率的影响。
Ahrefs 博客发布 10 款 Clearscope 替代工具的横向评测,重点从价格、单篇成本、API 与 MCP 支持以及关键词数据整合能力进行对比。文章指出在 AI 智能体辅助创作的趋势下,工具能否通过 MCP 或 API 供 Claude Code 等智能体调用并形成自动评分与修改闭环成为关键。
推荐理由:横向对比了十款主流内容优化工具在 MCP 服务、API 接入和单篇成本上的支持程度,为搭建智能体写作管线提供参考。
OpenAI 推出全新评估基准 LifeVal,用于衡量 AI 协助人类完成日常生活任务的实际表现。该基准覆盖寻找托儿服务、管理个人财务以及处理政府文书等具体现实场景。
实测显示,让 Claude Haiku 4.5、Sonnet 5 与 Opus 5 在 Shopify 目录中推荐商品时,相同商品列表与提示词下三个模型从未在 6 项搜索中达成一致。
推荐理由:测试揭示了不同底层大语言模型在无约束购物推荐中存在固有偏好,为理解智能体电商选品逻辑提供了参考。
微软构建了行业评测数据生成平台,基于 O*NET、招聘信息和 SEC 财报等公开数据生成全规模合成企业环境,在不接触真实客户数据的前提下评测 Microsoft Copilot。
Elorian 与 AI 数据公司 Mercor 联合推出 DecoyCount 基准,用于测试模型究竟能真实计数物体还是依赖视觉捷径。评测论文显示参测的前沿模型准确率均低于 50%,其中最高的 GPT-6 Astra 为 43.17%,而 Elorian 旗下视觉推理模型 Glimpse 在内部单次运行测试中得分 50.48%。
测试显示,当被问及谁赢得 2020 年美国总统大选时,Google 的 AI Mode 给出回避性回答,建议用户查阅联邦选举委员会(FEC)的官方报告而非直接作答。测试中针对 2024 年大选的提问同样被引导至 FEC,询问 2012 年大选也仅返回外部数据链接。不过,AI Mode 对 2000 年以来的其余各届总统大选胜选者均能给出详细且正确的回复。
Ai2 发布科研创新度评估基准研究,测试显示主流大语言模型在判断研究点子是否具备创新性时表现极不稳定。在 GPT-5 系列与 Claude 系列等六款模型的测试中,仅修改提示词细节就导致准确率波动超 50 个百分点,且增加实时检索与推理算力并未显著改善判断。专用创新评估系统的表现甚至落后于简单的 Claude Opus 4.6 提示词基线,同时带来了更高的 API 成本。
推荐理由:研究通过对比多款前沿模型揭示了模型评估创新度时的脆弱性,为自动化科研中的点子筛选提供了实证参考。
webframe 是一款利用系统原生 WebView 执行页面代码的轻量浏览器 JavaScript 运行工具,支持在无头环境中运行网页并将控制台日志输出至标准输出。