跳到正文
今天11月11日周三1 条
11月7日周六
11月6日周五
11月4日周三
  1. Hugging Face Blog51

    StateBench 长文本状态追踪基准发布

    AllenAI 推出长文本状态追踪基准 StateBench,按变量赋值复杂度分为四个层级,用于评估模型在长文档中跟踪实体状态演变的能力。评测显示,Gemini 3.8 Flash、Claude Opus 5.5 以及 GPT-6 Sol 和 Luna 在较难的自引用与引用传递任务中,准确率随长度增加急剧下降至 13% 以下。

11月3日周二
10月30日周五
10月29日周四
  1. Ars Technica AI30

    Google AI 在被问及谁赢得 2020 年大选时回避作答

    测试显示,当被问及谁赢得 2020 年美国总统大选时,Google 的 AI Mode 给出回避性回答,建议用户查阅联邦选举委员会(FEC)的官方报告而非直接作答。测试中针对 2024 年大选的提问同样被引导至 FEC,询问 2012 年大选也仅返回外部数据链接。不过,AI Mode 对 2000 年以来的其余各届总统大选胜选者均能给出详细且正确的回复。

10月28日周三
  1. Hugging Face Blog61

    大语言模型评审科研点子创新度是否可靠?Ai2 发布评测基准研究

    Ai2 发布科研创新度评估基准研究,测试显示主流大语言模型在判断研究点子是否具备创新性时表现极不稳定。在 GPT-5 系列与 Claude 系列等六款模型的测试中,仅修改提示词细节就导致准确率波动超 50 个百分点,且增加实时检索与推理算力并未显著改善判断。专用创新评估系统的表现甚至落后于简单的 Claude Opus 4.6 提示词基线,同时带来了更高的 API 成本。

    推荐理由:研究通过对比多款前沿模型揭示了模型评估创新度时的脆弱性,为自动化科研中的点子筛选提供了实证参考。