💡 站外导读:为什么大多数语音大模型在安静测试间里对答如流,一打进热闹餐厅或汽修店电话就频频“抢话”或卡顿冷场?在真实电话线上,停顿半秒像断线、抢答半拍就撞车。近日,Google Research 联合团队首次全面复盘了 Google Duplex 自 2018 年诞生以来的十年技术演进,揭秘它如何从早期的封闭领域循环神经网络和 LaMDA 混合状态机,蜕变为如今整合进 Tasks in Gemini 的统一多模态通话底座。

一、 从封闭垂直助手到 Tasks in Gemini:跨越十年的真实世界通话基础设施
实时电话沟通是 AI 智能体面临的最严苛物理场景之一。它从不按预设脚本推进——电话那头的店员可能随时改口、临时插入询问,或者仅仅依靠微妙的语调起伏来暗示“该你说话了”。要在嘈杂电话网里体面地替用户订餐或预约理发,系统必须在一个极低延迟的闭环内同时打通高精度语音理解、上下文推理与自然语音合成。
Google 副总裁兼 Google Research 总经理 Yossi Matias、Google Fellow Yaniv Leviathan 与 Google Maps 群组产品经理 Janet Zhou 联合回顾了这条长达近十年的落地路径:Duplex 早期首先在商家信息核验上展现规模效应,疫情期间自动拨打核实营业时间与服务变更,截至 2023 年,Duplex 核验回来的商家信息已在 Search 和 Maps 中累计展示超过 1 万亿(1 trillion)次。
在消费端与硬件侧,这套对话模型自 2019 年起连续五代下沉至 Pixel 手机本地,支撑了 Call Screen(来电过滤)与 Hold for Me(代排队接听)等高频特性;2025 至 2026 年间,基础模型的突破进一步解锁了 Google Search 与 Ask Maps 中的通用智能体致电能力,涵盖宠物美容报价、汽修档期及门店现货查询。如今,这一能力正式并入 Gemini App 的 Tasks in Gemini,成为用户处理现实杂务的个人协同枢纽。
二、 三代技术栈跃迁:从 Transformer 诞生前的 RNN 到 Gemini 4 统一多模态
在架构演化层面,Google 明确将 Duplex 的技术堆栈划分为三个截然不同的历史代际。最令工程团队记忆犹新的是第一代系统甚至起步于现代大语言模型与 Transformer 架构发明之前,团队只能依靠大量人工标注的垂直通话数据“硬啃”状态转移;而当 2022 年引入 LaMDA 时,又因早期生成模型响应较慢且不可控,不得不设计严密的混合防护栏。直到如今迈入 Gemini 4 时代,单靠自由文本提示(free-text prompt)即可泛化出全新业务流程。
| 架构代际 | 核心模型与技术栈 | 任务泛化能力与控制机制 | 典型应用场景与工程局限 |
|---|---|---|---|
| 第一代:前 LLM 封闭领域模型 (2018 起步阶段) |
定制循环神经网络(RNN),基于脱敏垂直通话录音从零监督训练 | 强约束于固定垂直域,需针对餐厅订座、节日营业核对分别构建独立对话逻辑 | 在窄域内可靠性高,但缺乏预训练世界知识,跨行业扩展边际成本极高 |
| 第二代:早期生成式混合栈 (2022 LaMDA 接入期) |
LaMDA 等预训练基础模型 + 确定性状态追踪(State Tracking)+ 严格策略护栏 | 生成模型负责灵活应对离题与突发插话,确定性状态机兜底业务规则边界 | 大幅缓解死板话术问题,但早期大模型推理延迟偏高且输出稳定性仍需外部约束 |
| 第三代:无边界统一多模态栈 (2025–2026 Gemini 4 时代) |
Gemini 4 Hydrogen / Neon 统一语音理解、任务规划与对话生成 | 直接通过自由文本任务描述泛化新行业与多重约束(如带婴儿车加座/避开日程冲突) | 原生打通 Tasks in Gemini、AP2 协议支付、账单解析及 Email/RCS 双向协调 |
三、 电话网上的两道硬骨头:十年语用接地与嘈杂信道亚秒级流式推理
即便拥有当今最前沿的多模态大模型,单纯靠互联网公开文本预训练仍无法搞定真实通话。Google 研究团队在博文中点破了仅靠通用 LLM 难以跨越的两大工程深水区:
首先是“通话前与通话中的语用接地(Pragmatic Grounding)”。公开网页里几乎找不到“忙碌店主在高峰期如何委婉拒接电话”的真实交互语料。近十年累计的导向性通话经验,让 Duplex 学会了在拨号前就结合过往上下文做可行性预判——例如提前知晓某家特定商户周末不接大桌预订,避免无效拨号;而在通话进行中,它能精准识别店员礼貌但间接的拒绝措辞,在恰当时机追问关键槽位并保持通话简短高效。
其次是“极度嘈杂声学环境下的亚秒级(Sub-second)流式推理”。商用电话信道本身存在强有损压缩,背景里还常常夹杂着后厨锅碗瓢盆撞击声、意式咖啡机蒸汽啸叫、街头车流噪音与旁人闲聊。为此,Google 对整个流式推理栈进行了低延迟调优,并专门叠加了定制声学模型与对话节奏(Cadence)模型辅助主模型工作——精准分辨什么是环境底噪、什么是对方的思考停顿,从而在恰当的毫秒窗口接话或主动闭嘴退让。
四、 双端共赢哲学与商业闭环:零改造接入商家与 AP2 支付生态协同
对于代打电话型 Agent 而言,如果商家不愿接听甚至直接拉黑,再强的模型也毫无用武之地。Google 将“对电话两端同样友好”设为系统级设计铁律,具体落地为四项不可逾越的准则:第一,身份透明披露,每通电话开场必明确告知对方这是来自 Google 的自动化 AI 系统;第二,商家绝对控制权,商户不仅能在 Google Business Profile 后台一键退订,更可在通话中直接说出一句“请不要再给我的店铺打电话”即时触发退避;第三,零接入改造成本,完全复用门店现有座机与前台人员日常接听习惯,无需安装任何软件或培训员工;第四,一次通话、多方复用,单次通话问清的快乐时光特惠、露天座位、宠物友好政策或停车贴士可反哺 Google Maps,避免不同用户的 Agent 反复拨打同一家店骚扰商家。
站在 2026 年末的节点回望,Duplex 已经不再是一段惊艳但孤立的语音 Demo,而是作为“自然语音模态执行层”,填补了大量线下中小商户没有开放预约 API 或在线表单的最后一公里空白。结合最新的 Gemini 4 Hydrogen 与 Gemini 4 Neon 模型,Tasks in Gemini 现已能够把分析水电账单、通过 Agent Payments Protocol (AP2) 安全完成交易授权,以及利用邮件和 RCS 富媒体短信向用户汇报闭环串联成一条完整的工作流。
📝 站长洞察 (Editor’s Insight)
Google Research 这篇十年复盘揭示了一个常被“大模型万能论”掩盖的工程真相:从专用 RNN 到 Gemini 4,模型变强并未消灭专有模块,反而让定制声学/节奏模型与历史语用接地记忆的协同变得更关键。国内不少语音 Agent 团队试图靠单一 Realtime API 硬刚电话场景,往往在噪声误打断和礼貌拒接识别上折戟。Google 另一壁垒在于反骚扰飞轮:把单通电话问到的店铺特征反哺 Maps 复用,既省算力又保住商家容忍度。语音代理下半场拼的不是音色拟真,而是零骚扰复用率与 AP2 闭环交付率。
Google Duplex 现在升级到什么架构了?
文章显示,Duplex 已从早期定制 RNN 和 LaMDA 混合状态机,演进到 Gemini 4 时代的统一多模态栈,可通过自由文本任务描述泛化新业务流程,并并入 Tasks in Gemini。
Duplex 为什么能在嘈杂电话里更稳?
关键在于低延迟流式推理、定制声学模型和对话节奏模型协同工作,能区分环境噪音、停顿和真实说话时机,从而减少抢话、卡顿和误判。
Tasks in Gemini 能做哪些代打电话任务?
文章提到它可用于宠物美容报价、汽修档期、门店现货查询等现实杂务,并与 Google Search、Ask Maps、Email/RCS 协调及 AP2 支付生态联动。
电话代理最难的工程瓶颈是什么?
最难的不是“会说话”,而是低时延、抗噪、打断处理、状态保持与业务约束同时成立。真实电话链路里,ASR/TTS、回声、静音、转接和人工插话都会放大错误,必须靠端到端状态机与容错策略兜底。
Gemini 统一多模态对落地意味着什么?
它把语音、文本、上下文和工具调用放进同一决策框架,减少模块间语义损耗。落地上更适合做“感知-决策-执行”闭环,但仍要保留规则护栏、超时回退和人工接管,才能在商家电话场景稳定可用。
