Prompt 语宙Prompt 语宙
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
阅读: 告别被动应答NPC!蚂蚁联合西湖心辰开源全双工音视频模型Duo v1:双向世界模型与4步蒸馏实时架构全拆解
Share
通知 阅读更多
Font Resizer字体
Font Resizer字体
Prompt 语宙Prompt 语宙
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
已有帐户? 登陆
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
蚂蚁技术研究院联合西湖心辰开源的 Duo v1 全双工音视频交互双向世界模型项目主页
Prompt 语宙 > 最新趋势 > 告别被动应答NPC!蚂蚁联合西湖心辰开源全双工音视频模型Duo v1:双向世界模型与4步蒸馏实时架构全拆解
最新趋势

告别被动应答NPC!蚂蚁联合西湖心辰开源全双工音视频模型Duo v1:双向世界模型与4步蒸馏实时架构全拆解

Prompt 语宙研究院
最近更新: 2026年11月18日 下午2:07
Duo v1 全双工交互 双向世界模型 蚂蚁集团 西湖心辰
SHARE
⚡ Prompt 语宙 AI 导读 · 30 秒核心看点
  • Duo v1 用 RWM 重构交互范式,让虚拟主体共享连续时间轴并自主判断/。
  • 双模块架构将 Intent 决策与 Realization 渲染解耦,靠严格因果掩码保证训练与推理一致。
  • 三阶段训练+4步蒸馏解决过度沉默、分布偏移与实时生成难题,支持本地低延迟部署。

💡 站外导读:传统多模态对话系统本质上仍是“听完提问再逐帧生成”的被动脚本 NPC,而现有物理世界模型也往往把智能体排除在交互主体之外。蚂蚁技术研究院与西湖心辰联合开源的 Duo v1(arXiv:2611.15131),首次提出“双向世界模型”(RWM)范式,让虚拟主体每 0.7 秒自主判断开口或倾听,借助 4 步蒸馏与严格因果掩码实现真正自然打断的全双工音视频交互。

蚂蚁技术研究院联合西湖心辰开源的 Duo v1 全双工音视频交互双向世界模型项目主页

一、 范式重构:什么是“双向世界模型”(Reciprocal World Model)?

长期以来,行业内的世界模型(World Model)大多聚焦于“给定外部动作条件推演物理环境变化”,虚拟角色往往只是被外部 Prompt 操纵的傀儡;而传统数字人或语音助手则高度依赖轮次切分(Turn-taking),一旦用户中途插话就容易出现卡顿、口型错位或强制读完脚本的机械感。

阅读目录
  • 一、 范式重构:什么是“双向世界模型”(Reciprocal World Model)?
  • 二、 双模块耦合架构:0.7 秒 Intent 大脑与因果 Realization 表达器
  • 三、 三阶段训练与 Dual Rollout:破解“过度沉默”与自回归偏移
  • 四、 本地部署实战指南:双虚拟环境隔离与 Duo v2 演进路线
      • 📝 站长洞察 (Editor’s Insight)

Duo v1 的核心理论突破在于提出并开源了首个 Reciprocal World Model(RWM,双向世界模型)。在该范式下,虚拟智能主体不再游离于世界之外,而是被内化为交互时空的一部分——与人类用户共享同一条连续时间轴,具备独立的感知、参与决策、情感表达与即时打断响应能力。

二、 双模块耦合架构:0.7 秒 Intent 大脑与因果 Realization 表达器

在系统工程实现上,Duo v1 将认知决策与视听渲染解耦为两个深度耦合的模块,通过统一时间轴上的严格因果注意力掩码(Module-Specific Causal Attention Mask)确保任何时刻都无法偷看未来输入帧,从而保证离线训练与在线流式推理的行为完全一致:

1. Intent 模块(认知主体):以约 0.7 秒 为一个时间块(Chunk),结合 `Qwen3-ASR` 与强制对齐后的用户输入视频/文本块及历史交互状态进行连续自回归推理。每一步不仅原生输出 <speak>(发言)或 <wait>(倾听)的参与决策,还将语义与交互隐状态(Intent States)直接作为条件信号下发给渲染层。

2. Realization 模块(视听表达):接收 Intent 隐状态与自身已生成的媒体历史,在统一步调下联合生成同步的音频与视频潜在表示(Assistant Media Latents),从底层架构上锁死口型、微表情、肢体动作与语音情绪的时空一致性。

Duo v1 官方技术架构图:Intent 认知决策模块与 Realization 因果音视频联合生成流式管线

三、 三阶段训练与 Dual Rollout:破解“过度沉默”与自回归偏移

全双工音视频联合生成在工程训练中面临两大顽疾:一是真实对话数据里倾听占比偏高导致模型学会“过度等待”(不愿主动插话);二是训练时看的是真实录制视频历史,上线推理时却要基于自己上一刻合成的视频帧继续推演,极易产生误差累积与画面崩坏。

为此,研发团队设计了严密的三阶段训练与开源权重体系:

阶段 / 开源版本 核心机制与权重仓库 解决的工程痛点与关键指标
阶段一:Intent 训练 动作感知重平衡(Action-Aware Rebalancing) 消除真实数据偏态引起的“过度等待”偏差,精准校准 0.7s 级 <speak>/<wait> 切换灵敏度
阶段二:Dual Rollout 冻结 Intent 自回归输出,Realization 在自生成历史上训练 弥合“录制历史 vs 合成历史”分布偏移,并以固定开场参考帧(Opening Video)抑制长程画质漂移
阶段三:实时蒸馏 inclusionAI/Duo-1.0-distill & distill-quant 通过分布匹配蒸馏将多步扩散压缩为 4 步实时生成,并提供量化版本降低显存门槛
在线流式加速分支 Duo-1.2-causal-base + vLLM-Omni / SGLang-Omni v1.2 提升基础生成质量;官方推荐通过 vllm-omni-duo 与 sglang-omni-duo 分支跑通低延迟在线交互

四、 本地部署实战指南:双虚拟环境隔离与 Duo v2 演进路线

根据 GitHub 仓库(github.com/inclusionAI/Duo)披露的参考部署规范,由于语音识别组件 `qwen-asr` 对 `transformers` 版本存在特定依赖锁定,离线研发环境建议在 Linux + Python 3.10+ + FFmpeg + 2 张 CUDA GPU 硬件下分别构建 `.venv-model`(Realization 管线)与 `.venv-speech`(ASR 与对齐模块)双隔离虚拟环境,并通过 `configs/inference.json` 映射各模块可执行路径与 HuggingFace/ModelScope 权重目录(官方默认将 Intent/编解码器与 Realization 分置双卡)。

团队同时明确了清晰的演进路线:当前 v1.0/v1.2 预览版在 Realization 层主要接收 Intent 隐状态引导,而即将发布的 Duo v2.0 将进一步把用户的实时音视频流直接接入 Realization 条件端,实现面向陪伴、互动教学、数字人客服与远程协作的更高阶视觉响应式交互。

📝 站长洞察 (Editor’s Insight)

Duo v1 在开源社区中把“全双工多模态交互”从语音 VAD 抢话推进到音视频同步因果推演的深水区。最值得工程团队细读的设计有三点:其一是 0.7 秒粗粒度 Intent 状态机与 Realization 生成器解耦,避免了对高维视频像素做端到端高频自回归引发的算力爆炸;其二是用 Dual Rollout 在自身合成历史上训练,直面世界模型长程漂移痛点;其三是直接放出 vLLM-Omni 与 SGLang-Omni 流式分支而非仅留离线研究脚本。虽当前双卡部署门槛偏研究向,但伴随 v1.2 蒸馏与 v2.0 视觉直通落地,“活人感”数字人底座已现雏形。

❓ 常见问题解答(FAQ)
Duo v1 的双向世界模型是什么?

Duo v1 提出的 Reciprocal World Model(RWM)把虚拟主体纳入交互时空本身,不再只是被 Prompt 驱动的旁观者。模型可在连续时间轴上自主决定开口或倾听,实现更自然的全双工音视频对话。

Duo v1 为什么能自然打断对话?

它在 0.7 秒级 chunk 上做 Intent 推理,原生输出或决策,并通过严格因果注意力掩码避免偷看未来输入。这样在线流式推理与离线训练行为一致,能更稳地处理插话与打断。

Duo v1 本地部署需要注意什么?

文章给出的参考方案建议 Linux、Python 3.10+、FFmpeg 和 2 张 CUDA GPU,并将 Realization 与 ASR/对齐模块拆成两个虚拟环境隔离部署,同时通过 configs/inference.json 映射权重与可执行路径。

🕸️ 语宙向量知识图谱 · 语义强关联深度内链
🌐 所属权威专题:Gemini 全模态与空间智能 →
🏛️ Prompt 语宙研究院 · Prompt 语宙研究院(paooo.com Research)专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示词工程(Prompt Engineering)与全球高增长 AI 生产力工具实测追踪,致力于为中文开发者与创作者提供一手、可复现的深度技术洞察。
📄 Markdown 纯净版
💡 这篇内容对您有启发吗?
📡 RSS 订阅✨ 提交 AI 工具 / 合作
🚀 Prompt 语宙 AI 创作者生态:探索 2,800+ 全球实用 AI 工具与高精度生图提示词咒语库
🧭 语宙 AI 导航 (ai.paooo.com)🎨 AI 生图 Prompt 库📚 核心专题导航⚡ AIGC 早报生成器
告别云端玩具!CopilotKit 开源本地可自托管 AI 同事工作区 OpenDots:独立 OpenBot 容器电脑、MCP 工具插槽与人机审批流深度剖析
Token周调用量连续27周超越美国!乌镇峰会解码中国开源AI全球突围:DeepSeek登顶、全球中小企业用脚投票与破除小院高墙全景拆解
iOS 27 AI 革新:本地模型蒸馏 + 谷歌 Gemini 引擎,Siri 隐私与智能兼得
弗里蒙特汽车产线爆改具身基地!特斯拉加州工厂正式量产 Optimus 人形机器人:周产两万台爬坡路线、Q3净利腰斩 43% 与 FSD 车队商业化暗战深度剖析
腾讯混元Hy-Memory发布:AI Agent长期记忆难题终结者,记忆密度飙升45%、Token消耗锐减35%
TAGGED:Duo v1全双工交互双向世界模型蚂蚁集团西湖心辰
分享
Email 复制链接 打印
Share
Prompt 语宙研究院 头像
ByPrompt 语宙研究院
Follow:
Prompt 语宙研究院(paooo.com Research)专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示词工程(Prompt Engineering)与全球高增长 AI 生产力工具实测追踪,致力于为中文开发者与创作者提供一手、可复现的深度技术洞察。
上一篇 快手可灵 Kling Image 4.0 官方主界面:支持原生 8K 输出、长文本排版与连贯组图创作 原生8K直出且单图精排2000字!快手发布Kling Image 4.0:理解生成统一架构与GPT Image 2.6对比全拆解
下一篇 微软发布企业级决策模型 Microsoft-Decision-1.1:主打高速路由、置信度校准与输出免费定价 输出免费且比上代快两倍!微软发布决策模型Decision-1.1:Decision Index夺得68分并接管Copilot请求路由
Ad image
Ad image

最近更新

花旗银行、摩根大通与美国银行等多家大型商业银行收紧服务条款,明确用户授权第三方 AI 智能体受损需自行担责
哪怕被黑客盗刷也不赔!花旗、摩根大通与美银等五大银行集体改写条款:使用第三方AI智能体风险由客户全权自担,生态入口博弈全面打响
AIGC 资讯
LangSmith for Coding Agents 代码智能体按 PR 结果核算成本与 ROI 官方封面图
340亿美元编码AI开销如何算清账?LangSmith上线代码智能体ROI追踪:按PR结果归因成本、五大工具全统一与线程上下文通胀治理指南
最新趋势
Axiom Math 利用 AI 多智能体集群完成 1.5 万页有限单群分类定理(CFSG)与 7500 页 Stacks 项目数学形式化验证的可视化点阵图
4300万行代码堪比Linux内核!Axiom Math用AI智能体攻克1.5万页“庞大定理”与Stacks项目形式化验证:百个里程碑与分层多智能体架构全拆解
最新趋势
印度具身智能数据初创公司 Humyn Labs 联合创始人 Ishank Gupta(左)与 Manish Agarwal(右)
半年营收破千万且90%来自美国!印度物理AI数据创企Humyn Labs获4700万美元A轮:双摄硬件、2100万债权垫资与20国采集网全拆解
AIGC 资讯

相关推荐

Anthropic 深耕韩国:前 Snowflake 高管挂帅首尔办公室,Claude 成全球最活跃 AI 市场核心引擎
AIGC 资讯最新趋势

Anthropic 深耕韩国:前 Snowflake 高管挂帅首尔办公室,Claude 成全球最活跃 AI 市场核心引擎

Prompt 语宙研究院
AI企业落地 Anthropic Claude KiYoung Choi 韩国市场
DeepSeek V4-Pro API永久降价75%:全球大模型价格新纪录,企业AI应用成本骤降
AI 工具AIGC 资讯最新趋势

DeepSeek V4-Pro API永久降价75%:全球大模型价格新纪录,企业AI应用成本骤降

Prompt 语宙研究院
AI商业化 DeepSeek V4-Pro 价格战 大模型API
AI声纹侵权第一案:日本声优起诉TikTok盗用声音,灰色产业链引发版权危机
AIGC 资讯最新趋势

AI声纹侵权第一案:日本声优起诉TikTok盗用声音,灰色产业链引发版权危机

Prompt 语宙研究院
AIGC TikTok 声纹版权 声音侵权 生成式AI
Optimizely 谈营销智能体落地:企业需将审核从输出转向输入
最新趋势

告别Vibe Coding虚火!Optimizely解密企业级营销智能体落地法则:从“输出审核”走向“输入约束”、专用Harness架构与800落地页规模化实战

Prompt 语宙研究院
Agent Harness Optimizely 企业级AI 流程工程化 营销智能体
/ Prompt 语宙 /

探索生成式 AI 的无限创作潜能,一站式获取前沿 AIGC 资讯、高阶 Prompt 咒语与全球实用 AI 工具。

核心专栏

  • 语宙 AI 工具导航
  • EVA 视觉抠图工坊Hot
  • 出海数字营销宝典
  • AI 生图咒语灵感库
  • 24H 硅谷 AI 情报流

生态与服务

  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作

标签

开源大模型 AI智能体 AI办公效率 AI绘画提示词 OpenAI 大模型微调 Midjourney AI编程 stable diffusion AI视频生成 ChatGPT 3D与空间智能 HuggingFace AI音频与语音 RAG检索增强 Claude Flux AIGC Gemini 通义千问 Anthropic Llama Cursor DeepSeek Prompt AI Agent Kimi 智谱AI 具身智能 YouTube
Prompt 语宙Prompt 语宙
Follow US
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.