大语言模型评审科研点子创新度是否可靠？Ai2 发布评测基准研究

Ai2 发布科研创新度评估基准研究，测试显示主流大语言模型在判断研究点子是否具备创新性时表现极不稳定。在 GPT-5 系列与 Claude 系列等六款模型的测试中，仅修改提示词细节就导致准确率波动超 50 个百分点，且增加实时检索与推理算力并未显著改善判断。专用创新评估系统的表现甚至落后于简单的 Claude Opus 4.6 提示词基线，同时带来了更高的 API 成本。