# 英伟达开源PersonaPlex全双工语音AI模型：同时听和说，角色可定制，重新定义人机交互

- Link: https://paooo.com/aigc-news/11892/
- Published: 2026-06-13T05:42:22+08:00
- Author: Prompt 语宙研究院

⚡ [Prompt](https://paooo.com/ai-image-prompts/) 语宙 AI 导读 · 30 秒核心看点

 * 全双工架构让AI边听边说，能自然处理打断、停顿与即时回应。
 * 支持语音+文本混合提示，可自定义角色、声音风格与任务表现。
 * PersonaPlex-7B-v1已开源，适合教育、客服、娱乐和应急等场景落地。

> **💡 站外导读：**在当前的AI语音交互领域，多数系统仍受限于“一问一答”的延迟模式，
> 难以模拟人类对话的流畅与自然。这种割裂感在客服、教育等实时场景中尤为突出，用户
> 体验不佳。英伟达推出的PersonaPlex模型，正是为了破解这一核心痛点。它不仅实现了全
> 双工通信——让AI能像人一样同时倾听和回应，更赋予了AI独特的“角色扮演”能力，预示着
> AI助手正从功能工具向具有个性和情境感知的交互伙伴进化。

## PersonaPlex是什么

NVIDIA PersonaPlex 是英伟达推出的全双工对话AI模型，具备同时听和说的能力，能处理自然
对话中的打断、停顿和回应。用户可通过语音和文本提示自定义角色和声音，让 AI 扮演从
智慧助手到客服人员的多种角色。模型结合真实对话数据和合成数据进行训练，展现出色的
对话自然性和任务遵循能力。PersonaPlex 在多种场景中表现出色，如教育、客服和紧急情况
处理，为用户提供真正自然和人性化的交互体验。其中PersonaPlex-7B-v1模型现已开源，供
开发者使用。

阅读目录

 * [PersonaPlex是什么](https://paooo.com/aigc-news/11892/#personaplex%e6%98%af%e4%bb%80%e4%b9%88)
 * [PersonaPlex的主要功能](https://paooo.com/aigc-news/11892/#personaplex%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd)
 * [PersonaPlex的技术原理](https://paooo.com/aigc-news/11892/#personaplex%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86)
 * [PersonaPlex的项目地址](https://paooo.com/aigc-news/11892/#personaplex%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80)
 * [PersonaPlex的应用场景](https://paooo.com/aigc-news/11892/#personaplex%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af)
       * [📝 站长洞察 (Editor’s Insight)](https://paooo.com/aigc-news/11892/#%f0%9f%93%9d-%e7%ab%99%e9%95%bf%e6%b4%9e%e5%af%9f-editor8217s-insight)

![PersonaPlex](https://paooo.com/wp-content/uploads/2026/05/PersonaPlex-website-
1.avif)

## PersonaPlex的主要功能

 * **全双工对话能力**：PersonaPlex能同时听和说，支持实时交互，自然处理对话中的打
   断、停顿和回应，使对话更加流畅和自然。
 * **角色和声音定制**：用户可通过文本提示定义角色（如智慧助手、客服人员、虚构角色
   等），并通过语音提示选择不同的声音风格和语调，实现高度个性化的交互。
 * **自然对话行为**：支持自然的对话节奏，包括打断、回应（如“嗯哼”、“好的”等）和适当的
   停顿，让对话感觉更像人类之间的交流。
 * **任务遵循能力**：支持根据文本提示执行特定任务，如提供客户服务、解答问题或进行
   技术讨论，在对话中保持一致的角色表现。

## PersonaPlex的技术原理

 * **全双工架构**：PersonaPlex基于全双工模型，能同时处理用户的语音输入和生成语音
   输出，避免传统级联系统（ASR→LLM→TTS）的延迟。模型在用户说话的同时更新内部状态，
   能立即流式传输响应，实现低延迟交互。
 * **混合提示架构**：
    - **语音提示**：用音频嵌入（audio embedding）捕捉声音特征、说话风格和韵律。
    - **文本提示**：通过自然语言描述角色、背景信息和对话上下文。
    - **联合处理**：语音提示和文本提示联合处理，生成连贯的角色表现。
 * **Transformer架构**：Mimi语音编码器将音频转换为文本标记（tokens）。Temporal和
   Depth Transformer能处理对话内容和行为，如何时停顿、何时打断。Mimi语音解码器将
   文本标记转换为输出语音，支持24kHz的采样率。
 * **训练数据**：模型用Fisher English语料库中的7303段真实对话（1217小时），通过GPT-
   OSS-120B生成角色描述。模型用语言模型生成对话脚本，通过Chatterbox TTS合成语音，
   覆盖多种场景和角色。将真实对话和合成对话结合训练，使模型能学习自然的语音模式和
   遵循任务要求。

## PersonaPlex的项目地址

 * **项目官网**：https://research.nvidia.com/labs/adlr/personaplex/
 * **GitHub仓库**：https://github.com/NVIDIA/personaplex
 * **HuggingFace模型库**：https://huggingface.co/nvidia/personaplex-7b-v1

## PersonaPlex的应用场景

 * **教育领域**：作为智慧教师，提供清晰且引人入胜的解答和建议，帮助学生更好地理解
   知识。
 * **客户服务**：模型能扮演银行客服或医疗前台角色，根据文本提示处理客户问题，提供
   专业且富有同理心的服务。
 * **娱乐和社交**：模拟各种虚构角色或进行开放式的闲聊，为用户提供有趣且个性化的社交
   体验。
 * **紧急情况应对**：在模拟的太空任务等紧急场景中，用专业角色提供技术支持和紧急应对
   建议。
 * **医疗咨询**：在医疗场景中协助记录患者信息，提供专业建议，支持医疗人员的日常工作。

#### 📝 站长洞察 (Editor’s Insight)

PersonaPlex的发布，标志着AI语音交互从“功能响应”迈向“情境对话”的关键一跃。其全双工
架构解决了长期存在的交互延迟问题，而基于混合提示的角色定制能力，则将AI应用推向了
深度个性化的新高度。这不仅是技术的迭代，更是交互范式的革新。它预示着未来的AI界面
将不再是冰冷的问答框，而是能够理解上下文、具备特定性格和专业背景的“数字生命体”。
在[AIGC](https://paooo.com/aigc-news/)应用日益追求沉浸感和拟人化的今天，PersonaPlex
为虚拟助手、数字人乃至元宇宙社交奠定了关键的基础架构。英伟达此举，无疑是在抢占下一代
人机交互标准的制高点。

🧭 文中关联 [AI 工具](https://ai.paooo.com/)官网与参数卡（语宙 AI 导航）

**HuggingFace ↗**

HuggingFace：AI模型开发社区，面向大语言模型场景提供便捷实用的在线功能支持，涵盖大
模型等实用方向。

**音频转换 ↗**

音频转换：任何格式音频文件，面向通用效率工具场景提供便捷实用的在线功能支持，涵盖
在线工具、文件格式、跨平台等实用

❓ 常见问题解答（FAQ）

PersonaPlex是什么模型？

PersonaPlex 是英伟达推出的全双工对话语音AI模型，核心能力是同时听和说，并能通过语音
与文本提示定制角色和声音。它面向更自然的人机对话场景，PersonaPlex-7B-v1 已开源。

PersonaPlex和传统语音助手有什么区别？

传统语音助手多采用 ASR→LLM→TTS 级联流程，容易产生延迟和割裂感；PersonaPlex 采用全
双工架构，可在用户说话时同步更新状态并流式输出回应，更接近真人对话节奏。

PersonaPlex适合哪些应用场景？

文章提到它适用于教育、客户服务、娱乐社交、紧急情况应对和医疗咨询等场景。尤其适合
需要实时互动、角色一致性和自然打断回应的语音交互任务。

🔬 语宙深潜追问 · 进阶实操拆解

全双工语音落地最怕什么问题？

最怕打断控制、回声串扰和角色切换失真，尤其在嘈杂环境里更明显。部署时要结合 VAD、
回声消除和对话状态机，确保“边听边说”不会互相干扰。

客服场景如何用好角色可定制？

先把角色拆成语气、响应速度、权限边界和升级规则，再按业务线配置不同 persona。这样
既能统一品牌口径，也能在高压场景下保持稳定、可控的交互体验。

🗳️ 读者观点微投票 · 您的实战立场是？

全双工语音助手会取代传统语音链路吗？

🕸️ 语宙向量知识图谱 · 语义强关联深度内链

 * [Step-Audio-AQAA：突破ASR/TTS瓶颈！StepFun推出端到端音频语言模型，重塑人机语音交互](https://paooo.com/aigc-news/14554/)
 * [智源研究院开源FLM-Audio：全双工音频对话模型，边听边说、低延迟、支持中英双语](https://paooo.com/aigc-news/13526/)
 * [Realtime TTS-2：Inworld AI 实时语音合成模型革新，多轮感知与跨语言控制引领下一代对话AI](https://paooo.com/aigc-news/10679/)
 * [Qwen-Audio-3.0-Realtime – 阿里推出的实时语音交互模型](https://paooo.com/aigc-news/30777/)

[🏛️ Prompt 语宙研究院](https://paooo.com/author/paooo-research/) · Prompt 语宙研究院（
paooo.com Research）专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示
词工程（Prompt Engineering）与全球高增长 AI 生产力工具实测追踪，致力于为中文开发
者与创作者提供一手、可复现的深度技术洞察。

[📄 Markdown 纯净版](https://paooo.com/aigc-news/11892/?format=md)

💡 这篇内容对您有启发吗？

[📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/)

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)
