小米ZipVoice重磅开源：零样本TTS模型，1T参数实现秒级推理，可商用语音合成新突破

💡 站外导读：在AI语音合成领域，传统TTS模型长期面临参数量庞大、推理速度缓慢、对大量目标说话人数据依赖等痛点，严重制约其在智能设备、车载系统等实时场景的落地。随着AIGC浪潮席卷，行业对轻量化、高效率、零样本语音合成的需求空前迫切。小米AI实验室推出的ZipVoice，正是在这一背景下应运而生，旨在以技术创新突破现有瓶颈，为开发者与企业带来可商用的高质量语音合成方案。

ZipVoice是什么

ZipVoice 是小米集团 AI 实验室发布的高效零样本语音合成（TTS）模型。模型基于 Flow Matching 架构，包含 ZipVoice（单说话人）和 ZipVoice-Dialog（对话语音）两个版本。模型通过技术创新，如基于 Zipformer 的高效建模、平均上采样策略和 Flow Distillation 方法，实现轻量化建模和快速推理，解决现有模型参数量大、速度慢的问题。ZipVoice-Dialog 通过说话人轮次嵌入向量、课程学习等技术，实现又快又稳又自然的对话语音合成。

ZipVoice的主要功能

• 零样本语音合成：根据输入文本和参考语音，合成出具有特定音色的语音，无需大量的目标说话人数据进行训练。
• 快速推理：通过技术创新，如Flow Distillation等方法，显著减少推理步数，提高语音合成的速度，在低计算资源设备上能高效运行。
• 高质量语音生成：在保持快速推理的同时，生成的语音自然度高，具有良好的语音质量和说话人相似度。
• 对话语音合成：ZipVoice-Dialog版本能合成双人对话语音，支持自然且准确的说话人切换，适用AI播客等对话语音应用场景。
• 开源与可扩展：模型文件、训练代码、推理代码及语音对话数据集OpenDialog已开源，方便开发者进行研究和应用拓展。

ZipVoice的技术原理

• 基于Zipformer的高效建模：首次将Zipformer架构引入TTS任务，用多尺度高效率结构、卷积与注意力机制的协同处理及注意力权重的多次复用，实现语音合成模型的高效建模，显著减少模型参数量。
• 平均上采样策略：提出平均上采样策略，假设每个文本token具有相同的时长，对文本token进行平均上采样后送入语音预测模型，为模型提供稳定的初始对齐线索，提升对齐稳定性和收敛速度。
• Flow Distillation加速：基于Flow Distillation方法，通过预训练模型结合Classifier-free guidance技术，使学生模型通过无CFG的一步推理逼近教师预测，减少推理步数避免CFG带来的额外推理开销，实现快速推理。
• 说话人轮次嵌入向量：在对话语音合成中，引入Speaker-Turn Embedding为模型提供细粒度的精准说话人身份提示，降低模型对说话人切换建模的难度，提高说话人切换的准确性。
• 课程学习策略：用单说话人语音数据预训练，夯实语音-文本对齐能力，在对话语音数据上微调，学习说话人角色切换和自然对话语音风格，解决对话语音中复杂的对齐问题。
• 立体声扩展：通过权重初始化、单声道语音正则化和说话人互斥损失等技术，将ZipVoice-Dialog扩展为双声道生成功能，提升双声道对话的沉浸感。

ZipVoice的项目地址

• GitHub仓库：https://github.com/k2-fsa/ZipVoice
• HuggingFace模型库：https://huggingface.co/k2-fsa/ZipVoice
• arXiv技术论文：https://arxiv.org/pdf/2506.13053

ZipVoice的应用场景

• 个人助理：如智能手机、智能音箱等设备上的语音助手，为用户提供更加自然和个性化的语音交互体验。
• 车载语音系统：在汽车中用在导航、语音控制等功能，提供更流畅的语音交互。
• 有声读物：将文字内容转换为语音，生成高质量的有声读物，适用小说、新闻、文章等。
• 视频配音：为视频内容自动生成配音，节省人工配音的时间和成本，提高内容创作效率。
• 语言学习：帮助学习者通过语音合成技术练习发音，提供标准的语音示范。