# Step-Audio-AQAA：突破ASR/TTS瓶颈！StepFun推出端到端音频语言模型，重塑人机语音交互

- Link: https://paooo.com/aigc-news/14554/
- Published: 2026-06-26T19:12:22+08:00
- Author: Prompt 语宙研究院

⚡ [Prompt](https://paooo.com/ai-image-prompts/) 语宙 AI 导读 · 30 秒核心看点

 * 端到端 AQAA 直接音频输入、音频输出，减少 ASR/TTS 带来的转写错误与延迟。
 * 支持情感语调、语速、音色、方言与多语言控制，强化拟人化语音交互体验。
 * 在 StepEval-Audio-360 上多项关键维度超越现有 LALM，验证了端到端语音模型潜力。

> **💡 站外导读：**传统语音交互系统常受限于ASR转写错误与TTS合成不自然，导致体验割裂、
> 延迟高。StepFun团队最新推出的Step-Audio-AQAA模型，以“音频进，音频出”的端到端范
> 式，直面这一行业痛点。它省去了中间文本模块，大幅简化架构，旨在实现更流畅、情感
> 更丰富、意图更精准的语音对话，为智能助手、情感陪伴、多语言客服等场景开辟了新路径。

## Step-Audio-AQAA是什么

Step-Audio-AQAA 是 StepFun 团队推出的端到端大型音频语言模型，专门用于音频查询-音
频回答（AQAA）任务。能直接处理音频输入生成自然、准确的语音回答，无需依赖传统的自动
语音识别（ASR）和文本到语音（TTS）模块，简化了系统架构并消除了级联错误。Step-Audio-
AQAA 的训练过程包括多模态预训练、监督微调（SFT）、直接偏好优化（DPO）以及模型合并。
通过这些方法，模型在语音情感控制、角色扮演、逻辑推理等复杂任务中表现出色。在 StepEval-
Audio-360 基准测试中，Step-Audio-AQAA 在多个关键维度上超越了现有的 LALM 模型，展现
了在端到端语音交互中的强大潜力。

阅读目录

 * [Step-Audio-AQAA是什么](https://paooo.com/aigc-news/14554/#stepaudioaqaa%e6%98%af%e4%bb%80%e4%b9%88)
 * [Step-Audio-AQAA的主要功能](https://paooo.com/aigc-news/14554/#stepaudioaqaa%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd)
 * [Step-Audio-AQAA的技术原理](https://paooo.com/aigc-news/14554/#stepaudioaqaa%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86)
 * [Step-Audio-AQAA的项目地址](https://paooo.com/aigc-news/14554/#stepaudioaqaa%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80)
 * [Step-Audio-AQAA的应用场景](https://paooo.com/aigc-news/14554/#stepaudioaqaa%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af)
       * [📝 站长洞察 (Editor’s Insight)](https://paooo.com/aigc-news/14554/#%f0%9f%93%9d-%e7%ab%99%e9%95%bf%e6%b4%9e%e5%af%9f-editor8217s-insight)

![Step-Audio-AQAA](https://paooo.com/wp-content/uploads/2026/05/Step-Audio-AQAA-
website-1.avif)

## Step-Audio-AQAA的主要功能

 * **直接处理音频输入**：能直接从原始音频输入生成语音回答，无需依赖传统的自动语音
   识别（ASR）和文本到语音（TTS）模块。
 * **无缝语音交互**：支持从语音到语音的交互，用户可以用语音提问，模型直接以语音回答，
   提升交互的自然性和流畅性。
 * **情感语调调整**：支持在句子级别调整语音的情感语调，例如表达高兴、悲伤或严肃等
   情绪。
 * **语速控制**：用户可以根据需要调整语音回答的速度，使其更符合场景需求。
 * **音色和音调控制**：能根据用户指令调整语音的音色和音调，适应不同的角色或场景。
 * **多语言交互**：支持中文、英语、日语等多种语言，满足不同用户的语言需求。
 * **方言支持**：涵盖中文的四川话、粤语等方言，提升模型在特定地区的适用性。
 * **语音情感控制**：能根据上下文和用户指令，生成带有特定情感的语音回答。
 * **角色扮演**：支持在对话中扮演特定角色，例如客服、教师、朋友等，生成符合角色特征
   的语音回答。
 * **逻辑推理和知识问答**：能处理复杂的逻辑推理任务和知识问答，生成准确的语音回答。
 * **高质量语音输出**：通过神经声码器生成高保真、自然流畅的语音波形，提升用户体验。
 * **语音连贯性**：在长句或段落生成中保持语音的连贯性和一致性，避免语音断续或突变。
 * **文本与语音交错输出**：支持文本和语音的交错输出，用户可以根据需要选择语音或文本
   回答。
 * **多模态输入理解**：能理解包含语音和文本的混合输入，生成相应的语音回答。

## Step-Audio-AQAA的技术原理

 * **双码本音频分词器**：将输入音频信号转换为结构化的标记序列。包含两个分词器：语言
   分词器提取语音的音素和语言属性，以 16.7 Hz 的频率采样，码本大小为 1024；语义分词
   器捕捉语音的声学特征，如情感和语调，以 25 Hz 的频率采样，码本大小为 4096。能更好
   地捕捉语音中的复杂信息。
 * **骨干 LLM**：使用预训练的 1300 亿参数多模态 LLM（Step-Omni），预训练数据涵盖
   文本、语音和图像三种模态。将双码本音频标记嵌入到统一的向量空间中，通过多个 Transformer
   块进行深度语义理解和特征提取。
 * **神经声码器**：将生成的音频标记合成为自然、高质量的语音波形。采用 U-Net 架构，
   结合 ResNet-1D 层和 Transformer 块，能高效地将离散的音频标记转换为连续的语音波形。

## Step-Audio-AQAA的项目地址

 * **HuggingFace模型库**：https://huggingface.co/stepfun-ai/Step-Audio-AQAA
 * **arXiv技术论文**：https://arxiv.org/pdf/2506.08967

## Step-Audio-AQAA的应用场景

 * **情感陪伴机器人**：根据用户的情绪自动调节回应语气，提供情感支持和陪伴。
 * **多语言智能客服**：直接处理方言语音查询，支持多种语言（如中文、英语、日语等）。
 * **游戏 NPC 交互**：实时生成带情绪变化的语音反馈。在单轮对话中实现情感、语速的
   动态切换。
 * **智能语音助手**：支持语音查询和语音回答，提供实时信息查询、日程提醒等服务。
 * **教育与娱乐**：用于教育场景中的语音教学、故事创作、诗歌朗诵等。能根据用户需求
   灵活切换语音或文本回答。

#### 📝 站长洞察 (Editor’s Insight)

Step-Audio-AQAA的发布，标志着语音[大模型](https://paooo.com/ai-study/)正从“文本中心”
向“音频原生”范式跃迁。其核心价值不仅在于技术架构的简化，更在于它打通了从语义理解
到声学生成的全链路，使模型能端到端地优化“语气”、“情感”和“副语言特征”，这是实现真正
拟人化交互的关键。结合其对多种方言和情感控制的支持，我们看到AI正从“能听会说”向“善
解人意”深度演进。这将对消费级语音助手、虚拟陪伴及无障碍交互等领域产生深远影响，并
可能催生以语音为第一界面的全新应用生态。

❓ 常见问题解答（FAQ）

Step-Audio-AQAA 和传统语音助手有什么区别？

传统语音助手通常依赖 ASR 转写再由 TTS 合成，容易出现级联错误和体验割裂。Step-Audio-
AQAA 采用端到端 AQAA 范式，直接从音频生成音频回答，更流畅，也更利于保留情感、语气
和副语言特征。

Step-Audio-AQAA 支持哪些语音控制能力？

文章提到它支持情感语调、语速、音色和音调控制，还支持角色扮演、多语言交互以及中文
方言如四川话、粤语等，适合更细腻的人机语音对话场景。

Step-Audio-AQAA 适合哪些应用场景？

适合情感陪伴机器人、多语言智能客服、游戏 NPC 交互、智能语音助手，以及教育与娱乐等
场景，尤其适合需要实时、自然、带情绪表达的语音交互任务。

🔬 语宙深潜追问 · 进阶实操拆解

音频进音频出最大的收益是什么？

最大的收益是减少级联误差和中间文本损失，尤其在情绪、语气和说话风格上更自然。对于
客服、陪伴和实时助手，这种端到端方式更容易保留“说话的感觉”。

多语言和情感控制怎么落地？

需要把语言内容和韵律控制解耦，训练时分别注入文本语义、情绪标签和音色条件。上线时
再通过可控参数或提示词调节，避免模型只会“像人说话”，却不能按业务要求说话。

🗳️ 读者观点微投票 · 您的实战立场是？

端到端音频模型，真能取代ASR+TTS链路吗？

🕸️ 语宙向量知识图谱 · 语义强关联深度内链

[🚀 所属权威专题：AI 办公提效与神器评测 →](https://paooo.com/topics/ai-productivity-tools/)

 * [Step-Audio – 阶跃星辰开源的语音交互模型](https://paooo.com/aigc-news/21911/)
 * [Step-Audio 2 mini：阶跃星辰开源端到端语音模型，多项SOTA性能解读](https://paooo.com/aigc-news/13891/)
 * [阿里开源Fun-Audio-Chat：端到端语音交互模型，情绪感知+50%GPU节省，性能碾压GLM4-Voice](https://paooo.com/ai-tool/12547/)
 * [Step-1o Audio – 阶跃星辰推出的国内首个千亿参数端到端语音大模型](https://paooo.com/aigc-news/24871/)

[🏛️ Prompt 语宙研究院](https://paooo.com/author/paooo-research/) · Prompt 语宙研究院（
paooo.com Research）专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示
词工程（Prompt Engineering）与全球高增长 AI 生产力工具实测追踪，致力于为中文开发
者与创作者提供一手、可复现的深度技术洞察。

[📄 Markdown 纯净版](https://paooo.com/aigc-news/14554/?format=md)

💡 这篇内容对您有启发吗？

[📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/)

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)
