Ai2发布科研创新度评测研究，主流大模型判断表现极不稳定
热点事件历史事件
Ai2发布科研创新度评测研究，主流大模型判断表现极不稳定
1 篇报道1 个报道来源15 天前更新
先了解这件事
AI 综述
Ai2 发布了关于大语言模型评审科研点子新颖性可靠性的研究《Old Ideas, Novel Problems》，并同步公开了评测基准、数据与代码。测试显示，GPT-5 系列与 Claude 系列等主流大语言模型在判断研究点子是否具备创新性时表现极不稳定。 在对六款模型的测试中，仅修改提示词细节就导致准确率波动超过 50 个百分点，且增加实时检索与推理算力并未显著改善判断结果。此外，专用创新评估系统的表现甚至落后于简单的 Claude Opus 4.6 提示词基线，同时带来了更高的 API 成本。
AI 根据报道生成 · 15 天前更新
最新进展10月28日 00:12
大语言模型评审科研点子创新度是否可靠？Ai2 发布评测基准研究报道时间线
沿着报道，了解事件的不同侧面。
10月28日
- Hugging Face Blog精选大语言模型评审科研点子创新度是否可靠？Ai2 发布评测基准研究
Ai2 发布科研创新度评估基准研究，测试显示主流大语言模型在判断研究点子是否具备创新性时表现极不稳定。在 GPT-5 系列与 Claude 系列等六款模型的测试中，仅修改提示词细节就导致准确率波动超 50 个百分点，且增加实时检索与推理算力并未显著改善判断。专用创新评估系统的表现甚至落后于简单的 Claude Opus 4.6 提示词基线，同时带来了更高的 API 成本。