跳到正文
Google Research·· 2 天前精选AI 评分76

Google Duplex 如何演进为在 Gemini 中代用户致电商家

How Google Duplex evolved to also call businesses for you in Gemini

AI 导读

Google 详解了 Duplex 电话技术的十年架构演进,该系统现已整合至 Gemini App 的 Tasks 功能中代用户致电商家。Duplex 历经早期的专用循环神经网络和 LaMDA 混合管线,最终发展为基于 Gemini 统一多模态理解、规划与对话生成。为应对现实通话挑战,系统结合历史对话数据理解语用规范,并通过自定义声学模型实现嘈杂环境下的亚秒级低延迟流式推理。

推荐理由

文章梳理了电话智能体从专用模型演进到大模型体系的技术路径,读者可借此了解真实通话场景的延迟与降噪工程方案。

正文 · AI 翻译

预订餐厅或预约理发等日常琐事往往相当耗时。真实的电话交谈节奏飞快,且极少按套路出牌。电话那头的人什么话都可能说,还经常话说到一半又改口;人们也往往依靠语气语调的微妙变化来判断何时该轮到谁说话。停顿多上半秒,对方就可能以为电话断了线;接话稍快一点,又难免互相抢话打断。要让 AI 在电话中得体礼貌地替用户搞定这些琐碎,就必须将高质量的语音理解、上下文推理和语音合成能力融为一体,置于同一套低延迟系统之下运作。

近十年前,我们推出了 Google Duplex 来应对这一挑战。随着基座模型技术的突破,Duplex 架构一路演进,如今已能在 Google Search 和 Google Maps 等多款核心产品中支持自主任务执行。本周,我们在 Tasks in Gemini App 中正式上线了 Duplex。它扮演着个人 AI 协作者的角色,能帮用户分担现实生活中的繁杂琐事,比如替用户致电商家或代办现实中的各类需求。在本文中,我们将回顾促成这一切的十年架构演进之路——从早期的封闭域模型,跨越至完全由 Gemini 构建的统一技术栈。

从封闭域通话到 Tasks in Gemini

它起初只是一个针对特定垂直任务的狭域系统,但在与 Google 各团队的通力合作下,很快便扩展成为一套通用的对话基础设施。

在 COVID-19 疫情期间,商家营业时间和所供服务变动频繁,Duplex 全力投入自动核实商户信息,确保展示的数据准确无误。它至今仍是一个极其重要的数据源;正如我们在 2023 年公布的数据,源自 Duplex 电话核实的企业信息在 Google Search 和 Google Maps 中展示已超过一万亿次。

与此同时,我们与 Android 及硬件团队展开合作,将这些对话模型直接搬上了端侧设备。自 2019 年起,我们在连续五代 Pixel 机型上相继推出了多项 Pixel Call Assist 功能。这些模型持续为 Call Screen 和 Hold for Me 等功能提供技术支撑,既能帮用户过滤骚扰电话,也能在客服电话排队等待时替用户守候、直到真人客服接入。到了 2025 与 2026 年,基座模型进一步拓展了 Google Search 和 Ask Maps 中更广泛的智能体通话能力,不论是宠物美容还是汽车维修,都能帮用户电话咨询报价、确认商品现货及预约空闲档期。

对话架构的三代演进

在过去的十年里,支撑这些通话的技术栈经历了三个鲜明的发展阶段,从早期的定制化神经网络流水线,逐步演化为基于 Gemini 的统一架构。

1. 大语言模型时代之前的封闭域模型

在现代语言模型乃至 Transformer 架构诞生之前,我们就已经启动了 Google Duplex 的研发。早些年为了保证商家和用户的体验,我们将 Duplex 严格限制在特定垂直领域内,并利用脱敏后的专用电话通话数据来训练定制的循环神经网络(RNN)模型。由于缺少预训练带来的通用常识,我们只能针对每类特定任务,手把手教会模型如何高效应对。在实际操作中,这意味着每种任务类型都需要大量训练数据——比如解析餐厅预订的固定流程,与查询节假日营业时间的逻辑就大相径庭——只有这样,系统才能稳定处理不同垂直场景下的业务逻辑。

2. 早期生成式模型与混合架构

随着通用基础模型逐步成熟,Google Duplex 开始将其引入生产环境。例如在 2022 年,Duplex 就已经在实际通话中用上了 LaMDA。这类预训练模型简化了语言理解和常识推理,让系统在不脱离餐厅预订等核心上下文的前提下,能够应对对话中突如其来的话题转折或插话。

不过,早期的生成式模型可控性较差,响应有时也不如现在的模型快。因此我们搭建了混合技术架构,将负责灵活组织语言的生成式模型,与确定性状态追踪和严格的策略护栏结合起来,从而保证用户和商家双方都能获得良好的体验。

3. 开放式任务与 Gemini 集成

随着基础模型进一步演进,我们全面取消了固定垂直领域的限制,转而直接用自由文本任务描述向系统发送提示词。这样一来,模型只需通过提示词就能明确任务内容,系统也无需从零构建独立的对话模型,就能泛化支持全新的任务类型、各种细微要求(例如靠窗座位或婴儿车预留空间)以及全新的商户类别。

我们的外呼架构利用 Gemini 将多模态理解、规划和对话生成整合在一起,让系统能够处理带有多重限制条件的复杂诉求(比如避开日历冲突预约汽车保养),并在接待人员提出改约其他时段时随机应变。

实时电话场景的技术挑战

即便用上前沿模型,实时电话交互依然面临着网页等标准预训练数据集无法解决的难题:

  • 通话前后的语用落地上 packing、对话上下文衔接与真实意图理解:网络数据远不足以还原与忙碌商家真实沟通时的各种状况。依托近十年来在目标导向型通话中积累的经验,我们的技术架构不仅能在通话中遵守语用规范,甚至在拨通之前就已开始发挥作用。在实际运行中,系统会结合历史对话背景,将自由文本描述的任务与商户进行匹配,提前预判任务的可行性(例如了解某些商家周末不接受大桌预订)。而在通话过程中,这套机制能帮助模型判断在当前节点提问是否合理、如何听懂对方礼貌委婉的拒绝,并确保整个通话言简意赅、直奔主题。
  • 嘈杂环境下的亚秒级低延迟响应:通话往往通过压缩过的电话线路传输,背景中充斥着厨房的碰撞声、意式咖啡机的轰鸣、街头噪音以及旁人的杂谈。我们的技术栈专为低延迟流式推理进行了优化,让回复节奏自然流畅。定制的声音与对话节奏模型还能辅助核心 AI 系统滤除背景杂音、理解停顿,并在对方开口时及时收声。

兼顾通话双方的设计

Duplex 不仅要对发起通话的用户好用,也必须对接电话的商家同样友好。这一原则体现在诸多设计细节中:

  • 明确告知身份。每次通话一开始,系统都会明确表明自己是 AI 智能体——具体来说,是来自 Google 的自动化系统。
  • 商家拥有掌控权。商家可以在 Google 商家资料设置中选择停用自动通话功能,也可以直接在电话里说“请不要再给我的店铺打电话了”。
  • 零配置、零学习成本。Duplex 直接接入商家现有的接听电话:无需安装软件、无需维护预约系统,也无需培训员工。接听人员就像对待普通顾客一样正常沟通即可,即便正赶上柜台排长队的客流高峰也没问题。
  • 一次通话,多次受益。一次通话中收集到的信息可以回答后续的很多疑问,避免反复向商家询问同一问题。例如,Google 地图可以展示 Duplex 了解到的店铺细节,像是欢乐时光特惠、是否有露天座位、能否携带宠物、停车建议,甚至是每周的问答之夜活动等。

结语

在日常琐事、本地服务和紧急事务中,很多事情依然需要直接与人沟通,才能靠谱地核对好各种细节。通过将 Duplex 的能力整合到 Gemini App 的 Tasks 中,我们在打通这一服务闭环上又迈出了坚实的一步。在缺乏线上 API 或预约表单等结构化数字渠道时,自然语音交互就成了智能体可以无缝调用的全新交互模态。依托我们最新的 Gemini 4 系列模型(包括 Gemini 4 Hydrogen 和 Gemini 4 Neon),Gemini 中的 Tasks 如今能够支持更加综合的工作流,例如分析水电煤气账单、通过智能体支付协议(Agent Payments Protocol)安全处理交易,以及通过电子邮件和 RCS 富媒体通信与用户协同沟通。借助这些能力,我们正推动这一研究成果迈入下一代 AI 助理时代。

致谢

我们由衷感谢 Duplex 团队,以及 Google 内部所有在这段长达十年的历程中牵头和参与付出的同仁。特别感谢 Yoav Tzur、Sasha Goldshtein、Rafael Goldfarb、Liran Peretz、Ritika Pathak、Sen Li、Ran Manor、Dekel Auster 以及团队中的众多成员,正是他们的努力推动了向 Gemini 驱动通话的转型,并让 Tasks in Gemini 的顺利上线成为现实。

来源:Google Research · research.google

EVAOO 主站实战落地 · AI Agent 与研发提效

看完情报?回到 EVAOO 主站直接上手工具与完整 SOP

返回 EVAOO 主站