Hugging Face Blog·· 8 天前AI 评分51
StateBench 长文本状态追踪基准发布
StateBench: Testing how language models track state changes over long documents
AI 导读
AllenAI 推出长文本状态追踪基准 StateBench，按变量赋值复杂度分为四个层级，用于评估模型在长文档中跟踪实体状态演变的能力。评测显示，Gemini 3.8 Flash、Claude Opus 5.5 以及 GPT-6 Sol 和 Luna 在较难的自引用与引用传递任务中，准确率随长度增加急剧下降至 13% 以下。
来源：Hugging Face Blog · huggingface.co