多家AI厂商开发决策模型以避免幻觉并降低延迟
AI Companies Develop Decision Models to Avoid Hallucinations
受初创公司 TypeSafe AI 旗下模型 Jev 启发,Cloudflare、Amazon、OpenAI 及微软等厂商相继推出决策模型,用于替代部分传统大语言模型任务。
文章拆解了决策模型通过单次前向传播限制输出结构的机制,有助于评估高并发判断场景下替代传统大语言模型的成本与可行性。
9月15日,初创公司 TypeSafe AI 发布了一款名为 Jev 的全新 AI 模型。该公司对 Jev 极具颠覆性的宣传迅速引发关注:他们声称,这款被其称为“系统一模型”(System One model)的新产品不仅成本更低、速度更快,而且绝不会产生幻觉。
TypeSafe AI 的宣传显然是在向其他 AI 公司及其大语言模型(LLM)叫板——主流 LLM 虽然擅长数学和编程,但高昂的成本以及容易生成虚假信息的“幻觉”倾向一直为人诟病。这家初创公司也确实成功赢得了关注与资本的青睐,最近刚以 75 亿美元估值完成了 8.7 亿美元融资。
不过,衡量 Jev 是否成功最亮眼的指标,或许在于它已经引来大批效仿者。Cloudflare、Amazon、OpenAI 和 Microsoft 迅速推出了复刻 Jev 能力的“决策模型”,各类初创团队、学术研究人员和独立开发者也相继推出了数十款同类模型。
“Jev 确实功不可没,”独立开发者 Matt Mastracci 表示。他曾训练并发布过多款决策模型,其中包括 Djev,而 Cloudflare 后来也表示其自研决策模型受到了 Djev 的启发。“它真正把决策模型推向了聚光灯下。短短六七周里,我们就见证了数十款模型的诞生。”
Jev 的延迟与算力优势
大多数 AI 研究人员会把 Jev 归类为决策模型(decision model 或 decider model)。TypeSafe AI 将其称为“系统一模型”,灵感来自心理学家 Daniel Kahneman 在其著作《Thinking, Fast and Slow》中普及的认知理论。Kahneman 在书中将人类思维划分为快速、本能的“系统一”,以及较慢、深思熟虑的“系统二”。
TypeSafe AI 认为,现代 LLM 具备系统二的能力,但反应太慢,无法提供系统一的功能。该公司声称,Jev 的端到端响应延迟仅在 70 到 500 毫秒之间;相比之下,LLM 通常至少需要数秒才能给出回复,若处理从零编写软件等复杂任务,耗时甚至可达数小时。
第三方独立测试也证实了 TypeSafe AI 的说法。Carnegie Mellon University 信息系统学教授 Ramayya Krishnan 与多位同事合著的一篇预印本论文指出,在包括 RewardBench 和 JudgeBench 等用于衡量决策准确率的基准测试中,Jev 的中位延迟仅为 150 毫秒。而当时 OpenAI 旗下能力最强的模型 GPT-6 Astra,其中位延迟为 1.89 秒。
响应速度更快往往意味着成本更低,因为所需的计算时间更少,这一点也直接反映在 TypeSafe AI 的定价上。这家初创公司的收费标准为每 100 万输入 token 仅收 0.042 美元,输出 token 则完全免费。相比之下,ChatGPT 上的 GPT-6 Astra 每 100 万输入 token 收费 10 美元、输出 token 收费 50 美元;即便是专为低成本快速推理设计的变体 GPT-6 Luna,价格也达到每 100 万输入 token 0.10 美元、输出 token 0.50 美元。
Mastracci 表示,更低的延迟和成本带来了处理 LLM 目前无法胜任的任务的新机会。“比如内容审核,像是应对如潮水般涌来的社交媒体帖子,或是极其活跃的聊天室。”
Cloudflare 群组产品经理 Michelle Chen 也十分看好决策模型的能力(Cloudflare 自身也发布了包括 Clef 和 Claric 在内的决策模型)。“你大概可以把 80% 的日常 LLM 任务卸载给‘系统一’模型,后者的运行速度会快得多,成本也低得多。”
关于 Jev 究竟如何做到如此高速,TypeSafe AI 几乎没有披露细节,但借鉴 Jev 的开源权重复刻模型则更加透明。
以 Cloudflare 的 Clef 为例,这是一款可在 Hugging Face 上免费下载的开源权重决策模型。“对于 LLM 来说,每生成一个输出 token,都需要回看前面所有的 token,再预测下一个输出 token,”Chen 解释道。这一过程逐个 token 按序进行,直到遇到结束标记。“但我们的决策模型不是这样。它只做一次前向传播,一次性读入所有输入,随即生成一个输出。这就是它快得多的原因。”
决策模型如何实现任务泛化
基于 LLM 的决策模型(如基于阿里 Qwen LLM 的 Clef)仍然包含大语言模型的神经元和 Transformer 架构,同样通过 token 进行输入和输出。
不过,模型中将这些 token 转化为文本的部分经过了修改,从而对输出进行了约束。“Jev 只能使用预先定义好的结构化回答格式来回答问题,”复旦大学教授 Zhongyu Wei 表示,他也是一项对决策模型进行基准测试并推出开源权重替代方案 SII-Decision 的研究合著者。“我们给它一个问题和 A、B、C 等选项,它必须从中做出选择,并同时返回各选项的概率。”
从某种意义上说,决策模型是对分类器的回归——顾名思义,这种模型通过学习将数据归入不同类别,广泛应用于垃圾邮件过滤、人脸检测等场景。“这类模型并不新鲜,”Chen 表示,“倒更像是一种概念重塑。”
但相比以往的分类器,决策模型带来了一项关键升级:泛化能力。
Mastracci 解释道,传统的分类器往往需要针对特定领域进行专门训练;而决策模型保留了 LLM 的通用智能,因此能适用于多种场景。“你可以直接开箱即用,把它对准你的问题,它就能起效,”Mastracci 表示。
Cloudflare 正在将这一优势付诸实践。Chen 表示,在决策模型出现之前,团队如果想使用分类器模型,必须“收集大量数据,组建机器学习团队,并专门针对特定任务微调”模型。决策模型消除了这一需求,使得单个决策模型可以复用于多个领域。例如:在 Cloudflare 的 GitHub 文档仓库中标记垃圾 Pull Request、拦截垃圾邮件和钓鱼邮件、识别钓鱼域名、检测针对 LLM 的提示词注入攻击,以及阅读有关互联网骨干网中断的邮件以研判是否会影响 Cloudflare 的服务。

决策模型真能彻底消除幻觉吗?
在编程领域,“类型安全”语言的设计初衷,就是在程序运行前拦截不兼容数据类型的混合操作(例如将数字与字符串相加),从而避免后续产生错误结果。决策模型的逻辑与此类似:防止模型生成意料之外的回答。TypeSafe AI 将“类型安全编程”与“决策模型”挂钩作为营销策略,并在此基础上抛出了一个惊人的断言:Jev 绝不会产生幻觉。
严格说来,这句话确实没错。LLM 之所以会产生幻觉,是因为它们需要在庞大的候选词表中反复计算 token 的概率,并连续输出大量 token。这就留下了漏洞:低概率 token 可能会把整个回答带偏,模型也可能输出某些从训练数据来看概率很高、但在具体语境下却并不正确的 token。相比之下,决策模型只在预设好的几个选项之间计算概率,并直接选出概率最高的一项。这便杜绝了幻觉的产生。
不过,卡内基梅隆大学的 Krishnan 提醒道:“消除了输出内容中的幻觉,并不代表消除了决策中的错误。”他和论文合著者对 Jev 进行了测试,要求它判断问答中的答案是否正确。只要单看提示词就能轻松判断,Jev 的表现就相当出色;但一旦判断需要用到数学运算或涉及逻辑谜题,它的表现就会大幅下滑。
Wei 及其合著者在研究中也得出了类似的结论。他们发现,在文档理解类问题上,最优秀的决策模型在准确率上能够略微胜过 LLM;在工具调用相关问题(比如选择调用哪个正确的软件工具来完成用户任务)上,得分也与 LLM 不相上下。但在面对需要深厚专业领域知识的问题时(例如医学、金融和法律),决策模型明显落于下风。
“我认为推理能力是关键因素,”Wei 表示。推理能力让 LLM 在向用户给出最终答案之前,能够先在内部梳理回答。不过 Wei 也补充说,仅凭推理能力无法完全解释不同专业领域表现出的差距,因为有些 LLM 即使不进行显式推理也能表现优异。Wei 认为,训练决策模型所采用的方法也可能是影响因素之一,他们针对 SII-Decision 就采用了专门的决策导向训练方法。
不过,决策模型与 LLM 之间并非只能是非此即彼的竞争关系。Krishnan 及其团队还测试了一种方案:将 Jev 置信度较低的答案转交给 GPT-6 作进一步研判。这种组合方案的准确率略高于单用 GPT-6,而成本仅有后者的 41%。
Wei 认为这种“混合架构”未来将变得十分普遍。“决策模型可以调用 LLM 来给出更详细的解释,LLM 也可以调用决策模型进行快速判断。我认为这种搭配非常灵活。”
来源:IEEE Spectrum AI · spectrum.ieee.org