跳到正文
Nielsen Norman Group (NN/g)· Megan Chan, Rachel Banawa·· 2 天前精选AI 评分72

NN/g 研究:AI 仅凭原始用户数据能生成优质界面设计吗?

Can AI Generate Good Designs from Raw User Data?

AI 导读

NN/g 最新实证研究显示,相较于直接输入原始用户评论,向 AI 模型提供经过提炼的研究发现与设计建议时,其生成的界面设计表现明显更优。在航班改签与电商多步结账任务中,基于提炼信息生成的界面在预设标准上的达标率为 77.9%,比直接使用原始评论的 69.5% 高出 8.4 个百分点。研究指出,原始反馈仅呈现问题而缺少决策权衡,团队仍需通过提炼洞察与上下文设计来引导 AI 产出合理方案。

推荐理由

试验用定量数据说明了单纯给 AI 喂原始反馈的局限,为团队在 AI 辅助设计流程中保留人工提炼环节提供了实操参考。

正文 · AI 翻译

核心摘要:  我们的研究发现,相比仅输入未经整理的原始用户反馈,给 AI 提供提炼后的调研结论与建议时,其生成的界面设计质量明显更高。

如今,AI 已经能够一气呵成地分析用户数据、提供设计建议并生成界面。那么,团队还有必要先提炼调研结论并制定建议吗?还是可以直接把原始数据扔给 AI,让它自行判断哪些用户痛点更关键、该怎么解决?随着 AI 原型设计日益融入日常工作,弄清这个问题的答案变得越发关键。

为了找到答案,我们在输入不同类型调研背景信息的情况下,让 AI 模型生成界面。两项设计任务的结果均表明,基于提炼出的调研结论与建议所生成的界面,表现优于直接基于原始用户反馈生成的方案。

关于本项研究

我们为 AI 模型布置了两项设计任务:一是设计用于改签取消航班的单页表单,二是为电商网站设计多步骤结账流程。在这两项任务中,提示词和设计系统信息保持一致,仅改变输入给模型的调研背景信息类型。

实际研究方案更为复杂,但本文重点探讨 AI 模型接收的两种背景信息:

  1. 原始用户反馈:每个设计任务包含大约 100 条评论;
  2. 提炼后的结论与建议:基于同一批原始用户反馈提炼而成(研究人员借助 AI 工具对评论进行分析,并最终把关决定纳入哪些发现以及提出何种建议)。 

鉴于AI 工具具有非确定性,我们在每种任务和背景信息组合下分别生成了 8 套设计方案。随后,人类评分员和 LLM 裁判根据预设的评分标准对每个方案进行双盲打分。设计方案的最终得分为符合评分标准的百分比(例如“结账的每一步均显示所购商品”)。

我们在最终结果中采用了人类评分员的打分。LLM 裁判则对每套设计独立评分以做校验;经过校准后,两者在两项任务中的评分一致率达到了约 96%。

关于研究方法的详细信息,请参阅侧边栏附文。 

提炼出的结论与建议带来了更出色的设计

在两项设计任务中,基于提炼出的结论与建议生成的 AI 设计方案,符合评分标准的比例明显高于直接基于原始用户反馈生成的方案。两者的平均差距为 8.4 个百分点,且具有统计学显著性(p < 0.001)。

在两项设计任务中,基于提炼出的结论与建议生成的方案平均符合 77.9% 的评分标准,而基于原始用户反馈生成的方案平均符合率为 69.5%,相差 8.4 个百分点(p < 0.001)。误差线表示 95% 置信区间。​​

在机票改签任务中,这种提升更为明显(改签任务提升了 11.4 个百分点,而结账流程为 5.5 个百分点),不过两项任务都从中受益。这一发现表明,在利用 AI 生成设计时,将研究数据提炼为发现与建议能够带来显著助益。

机票改签任务直观展现了这种差异在实际中的体现。原始评论中有几条抱怨了会员里程问题,但直接根据原始评论生成的设计,没有一款包含改签是否会影响乘客里程的信息;相比之下,基于提炼后的研究生成的设计,每一款都包含了这一信息。

在线结账任务中,提炼后的研究所带来的提升幅度较小,但呈现出完全相同的规律。有数条用户评论抱怨结账时商品会从购物车中消失,然而直接基于原始数据生成的方案中,只有不到一半在每个结账步骤中都展示了商品明细和总价;而基于提炼后的研究生成的方案中,几乎全都做到了这一点。提升幅度偏小可能是由于任务提示词所致——两个条件下的任务提示词完全相同,而且已经提及了评论中的部分痛点:它设定了一位手持优惠券、需要在 2 天内收到礼物的初次购物者。由于提示词本身就已经指出了使用优惠券和按时收货等关注点,即使只依据原始评论生成的设计也往往能兼顾到,从而给提炼后的研究留下的发挥空间就变小了。

提炼后的发现与建议所展现出的 8.4 个百分点优势,在更复杂的实际场景中可能还被低估了。首先,我们使用的数据很可能比一般的用户反馈更干净。尽管数据整洁度很难量化,但每项任务中超过半数的评论都能印证某项研究结论,而针对应用商店评价的研究发现,仅有约三分之一的评价包含对产品团队有用的信息。其次,本次测试的数据集较小,每个任务只有约 100 条简短评论。第三,这两项任务(设计表单和结账流程)都是非常普遍的界面模式,AI 模型可能已经学习过无数次。我们预计,随着数据集规模更大、更杂乱,以及面对更陌生的设计难题时,提炼研究数据的优势还会进一步扩大, 我们也计划在未来对这一假设展开深入研究。

为什么提炼后的研究能够改善 AI 生成的设计?

原始数据仅包含观察事实

用户原始数据往往只描述问题,比如哪些地方让他们感到困扰、他们希望做出哪些改变,但极少指明具体应该怎样设计来应对。例如,“购物车里的商品不见了”这条评论指出了问题,却未提及任何解决方案。 即便用户给出了改进建议,这些建议往往也靠不住。用户擅长描述他们遇到的痛点,却很不擅长预判自己真正会用什么,而且他们说的话往往与实际行为不一致。 此外,原始数据往往噪音很多,不仅可能包含与设计无关的评论,不同用户的反馈之间甚至还会相互矛盾。

提炼后的发现与建议增加了一层解读

只接触原始数据时,AI 必须自行判断哪些数据点重要、需要做出哪些改动。但这并非易事,因为用户反馈只是考量因素之一。在实际工作中,设计师需要权衡用户反馈与业务需求、技术限制、产品目标以及团队已有的尝试;若没有人为指导,AI 工具很难做好这些权衡。

研究人员通过提出发现与建议,运用专业判断将原始数据转化为设计决策。 他们加入了一层解读,有助于 AI 生成正确的设计方案。缺少了这些,你就是在把决策完全甩给 AI。

如果只提供原始数据,AI 工具只能靠猜来做设计;而有了经过综合提炼的发现与建议,它就能建立在团队既有决策的基础之上。​​​​

不过,研究发现与建议的作用并不相同:发现负责解读数据,而建议则将解读转化为设计决策。由于我们本次分析对比的是原始用户评论与综合后的发现及建议,目前还无法断定质量提升究竟源于发现还是建议。我们正通过另一项独立研究来厘清各自的作用。

对产品团队的启示

用研产出物现在有了双重受众:一是团队成员,二是设计流程中使用的 AI 工具。在为人类受众撰写产出物的同时,我们也必须制作能指导 AI 工具的内容。

切勿默认原始研究数据能提供充分的上下文

AI 工具虽然能处理海量的用研数据,但这并不意味着它能自动辨别出最重要的信息并在设计中恰当运用。与其假设给到底层数据就万事大吉,不如认真思考 AI 工具究竟需要哪些解读和指导。

UX 上下文设计:思考 AI 需要哪些 UX 知识

随着 AI 越来越多地参与界面生成,我们愈发需要明确该向这些工具提供何种指引与知识。你给 AI 工具投喂的上下文,决定了它会生成怎样的结果。UX 上下文设计正是指筛选、组织和维护用于指导 AI 生成设计的 UX 知识。本研究表明,上下文的内容质量会直接影响最终的设计水准。

后续研究

本次研究引出了几个我们仍在探索的问题:

  • 经过提炼的研究发现与建议,是仅能提升其所针对的具体问题的设计质量,还是在其他维度也能带来改善?
  • 面对简短用户评论之外的其他类型及更大量的原始数据(例如访谈逐字稿、可用性测试记录或问卷回复),这一结论是否依然成立?
  • 换用其他 AI 模型是否会得出相同的结果?
  • 收益中究竟有多少来自对发现的提炼整合,又有多少来自包含的明确设计建议?
  • 提供上下文所使用的文件格式(如 Markdown、PNG、PDF)是否会对结果产生影响?

我们将继续探究团队如何为 AI 提供更优质的 UX 上下文,敬请关注后续相关文章。如果想立即实践这些理念,可以了解我们的《上下文工程:引导 AI 生成设计》课程。

结语

随着 AI 承担的设计工作越来越多,如何把控它的输出方向也变得更加关键。我们的研究表明,并非所有上下文信息都同样有效。相比只给 AI 提供原始用户评论,向它输入经过综合归纳的研究结论和设计建议,能带来更出色的设计效果。在 AI 引发人们对 UX(用户体验)未来走向讨论的当下,这一发现至关重要。生成界面只是设计的一部分;搞清楚哪些用户痛点对产品真正重要,并将这些洞察转化为设计建议,依然是 UX 专业人员不可替代的核心价值——无论最终的设计是由人类还是 AI 完成。

参考文献

Ning Chen, Jialiu Lin, Steven C. H. Hoi, Xiaokui Xiao, and Boshen Zhang. 2014. AR-miner: Mining informative reviews for developers from mobile app marketplace. In Proceedings of the 36th International Conference on Software Engineering (ICSE 2014), 767–778. https://doi.org/10.1145/2568225.2568263

来源:Nielsen Norman Group (NN/g) · nngroup.com

EVAOO 主站实战落地 · AI 实战方法论与团队 SOP

看完情报?回到 EVAOO 主站直接上手工具与完整 SOP

返回 EVAOO 主站