XYBench 基准发布：评估大模型识别用户错误假设与引导真实意图的能力

📄 论文 | 🤗 数据 | 💻 代码

真正好用的 AI 助手，不仅要能回答提问精准、细节详尽的问题，还要能帮到那些提问方向走偏的用户。我们正式发布了 XYBench，这是一个包含 8000 多个问题的基准测试集，专门评估 AI 助手如何应对基于认知误区提出的问题。例如，用户询问如何让纸杯蛋糕上的糖霜变稠以防滑落，但真正的问题其实在于蛋糕还没凉透就急着涂糖霜。XYBench 荣获了 EMNLP 2026 最佳资源论文奖。

用户想请教的解决手段与其真正想达成的目标脱节，这种现象被称为“XY 问题”：某人想达成目标 X，自以为方案 Y 可行，于是便就方案 Y 求助。在纸杯蛋糕的例子中，提问者一门心思琢磨怎么让糖霜粘住，却完全没意识到蛋糕本身的温度才是真正亟待解决的问题。

XYBench 由我们联合卡耐基梅隆大学、NVIDIA 和约翰斯·霍普金斯大学的研究人员共同打造，揭示了大语言模型在排障与解决问题能力上的关键短板：能否识别出用户的提问建立在隐性误解之上，并适时将他们引导至真正能解决实际目标的方案。该基准测试涵盖了编程以及烹饪、家电维修改造等日常生活场景的 8115 个真实问题，旨在评估模型能否识别这些误区，并在回复中优先给出真正有效的解决方案。

我们在 XYBench 上评估了 Claude Sonnet 4.6、GPT-5、Gemini 3.1 Pro、Qwen3.5-9B 和 DeepSeek-V4 Pro。这些模型往往能针对提问给出某种对策，但回答重心依然围着提问者原本错误的思路打转。与人类的参考答案相比，这五款模型都不太会主动劝导用户跳出既定方案，转向真正契合其最终目标的有效途径。

用户的认知水平参差不齐，在面对具体问题时并不总能找准最佳方向。我们希望 XYBench 能帮助研究人员衡量模型能力的提升：看 AI 助手是否能更好地识别错误假设、阐明既定方案为何行不通，并在用户不知道如何正确提问时，主动给出更有效的替代方案。

构建 XYBench

XYBench 的题库来自四大渠道：Stack Overflow 的 1557 道问题、Stack Exchange 的 184 道问题、102 个精选人工样本，以及基于 WikiHow 操作指南生成的 6272 道问题。针对每个问题，我们都明确了其表层请求（Y，即提问者字面上想要的内容）以及深层意图（X，即结合上下文推断出的底层目标）。

针对公开论坛上的问题，我们参考点赞数最高的三个人类回答及被采纳的答案（如有），以此梳理出提问者的深层意图和可能的解决方案，并剔除了只要回答表层问题就足以解决实际诉求的样本。对于 WikiHow 部分，我们利用 Sonnet 4.5 围绕操作指南中常见的误解生成提问，随后进一步润色，使上下文足以让专家在未明说的情况下推断出底层目标；同时，我们也去掉了单靠解答字面问题就能大体搞定情况的样本。

评估回答的实际帮助效果

模型可能会长篇大论地推荐吸力更强的新吸尘器，最后才顺带提一句检查软管是否堵塞。但如果吸力变弱本就是堵塞造成的，其实只要疏通软管就能解决问题。

更具参考价值的回答，应当意识到用户的核心诉求是恢复吸力，并把重点放在排查原因上。这涉及语用学——一门研究语境和交际意图如何塑造意义的语言学分支。为了测试模型在回答中是否运用了这种理解能力，XYBench 从三个维度评估了每条回答：

• 语用解决方案——分别记录模型的回答中是否包含了针对表层诉求（Y）与真实意图（X）的解决方案。
• 语用侧重点——评估模型的回答是侧重于表层诉求（Y）、真实意图（X），还是兼顾二者。
• 误区识别——评估模型是否会在劝阻或避免错误思路（Y）的同时，引导用户走向潜在目标（X）。

在 XYBench 中，Claude Sonnet 4.5 担任自动裁判，负责对各模型回答中的具体建议进行归类，并评估回答的语用侧重点。

为验证 Sonnet 4.5 评判的可靠性，两位人类评审员独立评估了 XYBench 测试题中的 500 条模型回答。评审员与自动裁判的平均一致率表现如下：在是否提出解决方案上达到 97.5%–100%，在误区识别上达到 84.6%–93.3%，在语用侧重点上达到 74.2%–79.8%。

实验揭示了什么

我们在单轮对话设置下，基于 XYBench 对 Sonnet 4.6、GPT-5、Gemini 3.1 Pro、Qwen3.5-9B 和 DeepSeek-V4 Pro 进行了评估，每个问题生成一条回答。同时，我们也采用相同的指标单独评估了人类给出的参考答案。

在全部四类数据来源中，所有模型给出针对表层诉求（Y）方案的概率，均高于针对潜在目标（X）的方案。以 Stack Overflow 为例，针对表层诉求的方案出现在 75%–86% 的回答中，而针对潜在目标的方案仅出现在 59%–71% 的回答中。

顺带提及某种方案，并不代表它就是回答的核心。在吸尘器的例子中，模型可能会轻描淡写地提一句疏通软管，但整篇回答的大部分篇幅仍在推荐买个吸力更强的新机器。尽管模型明显偏向表层诉求，我们仍会判定该回答包含针对潜在目标的方案。因此，我们单独评估了整体侧重点：在 Stack Overflow 上，模型主要侧重潜在目标的回答仅占 35%–41%，主要侧重表层诉求的占 47%–57%；在其余回答中，模型对两者给予了相近的关注。

我们还测试了直接指明用户真实目标是否有助于改善表现。在一项 oracle 实验中，我们在每个问题旁同时提供了表层诉求（Y）与真实意图（X）。在 Stack Overflow 数据集上，Sonnet 4.6 给出潜在目标解决方案的比例从 59% 提升至 67%，但其误区识别率却从 47% 跌至 34%。在拥有人类参考答案的数据源中，所有模型在该实验中的误区识别表现依然落后于人类。直接提供意图虽有帮助，却无法稳定弥合与人类回答之间的差距。这表明，识别意图只是挑战的一部分：当真实意图与表层诉求产生分歧时，模型还必须学会依此前行。

另一项独立实验测试了模型在“评判”而非“撰写”回答时，能否识别出更有用的建议。我们给上述五款模型以及 GPT-4.1 提供了相同的问题，并附带两个备选回答：一个只针对字面提问作答，另一个则指出认知误区并着手解决背后的根本目标。在 Stack Overflow 的测试集上，六款模型在 71% 至 84% 的情况下都选择了以目标为重心的回答。相比之下，在我们的主评估中，五款模型自己撰写的回答里，主要聚焦根本目标的比例仅为 35% 至 41%。这一结果表明，模型在“识别有用建议”与“自主生成有用建议”之间存在脱节，而单纯的选择题测试往往会漏掉这种差距。

这对评估意味着什么

研究人员可以利用 XYBench 测试调整提示词或改进训练能否帮助模型识别认知误区，为用户的根本问题提供解决方案，并把这些方案作为回答的核心重点。分别衡量各项行为，还能让研究人员观察在某一维度的提升是否会带动其他能力的进步。

未来的研究可以进一步检验哪些训练方法能帮助模型依据推断出的意图采取行动——也就是满足用户的真正需求，而不仅局限于表面提问。目前 XYBench 仅涵盖英文查询，且主要针对操作流程类问题；未来将其拓展到其他语言、文化背景及更多对话场景，仍是一个有待探索的方向。

我们希望 XYBench 能助力研究人员打造出更强大的模型，即便用户最初的提问建立在错误假设之上，模型也能提供切实有用的建议。