Latent Space· Richard MacManus·· 13 天前AI 评分50
Elorian 联合推出 DecoyCount 基准测试前沿模型视觉推理能力
Can Frontier Models See Past a Decoy? Elorian Tests Visual Reasoning
AI 导读
Elorian 与 AI 数据公司 Mercor 联合推出 DecoyCount 基准,用于测试模型究竟能真实计数物体还是依赖视觉捷径。评测论文显示参测的前沿模型准确率均低于 50%,其中最高的 GPT-6 Astra 为 43.17%,而 Elorian 旗下视觉推理模型 Glimpse 在内部单次运行测试中得分 50.48%。
来源:Latent Space · latent.space