# Llasa TTS – 香港科技大学开源的文本转语音模型

- Link: https://paooo.com/aigc-news/21646/
- Published: 2026-06-08T10:01:41+08:00
- Author: Prompt 语宙研究院

⚡ [Prompt](https://paooo.com/ai-image-prompts/) 语宙 AI 导读 · 30 秒核心看点

 * 基于 LLaMA 架构与单层VQ编解码器，Llasa TTS 可将文本生成自然流畅语音。
 * 支持情感表达、长文本合成与零样本语音克隆，15秒样本即可复刻音色。
 * 提供 1B/3B/8B 多规格模型，适合语音助手、有声读物、播报与内容创作。

## Llasa TTS是什么

Llasa TTS 是香港科技大学基于 LLaMA 架构推出的开源文本转语音（TTS）模型，支持高质量
语音合成和克隆。Llasa TTS 基于单层向量量化（VQ）编解码器和单个 Transformer 架构，
与标准 LLaMA 模型完全对齐，生成自然流畅的语音，支持情感表达和[音色克隆](https://ai-bot.cn/ai-voice-cloning-tools/)
等功能。Llasa TTS 在训练和推理阶段均表现出色，基于扩展训练时间和推理时间的计算资源，
提升语音的自然度、韵律准确性和情感表达能力。Llasa TTS 提供 1B、3B 和 8B 参数规模
的模型，支持多语言合成。

阅读目录

 * [Llasa TTS是什么](https://paooo.com/aigc-news/21646/#llasa-tts%e6%98%af%e4%bb%80%e4%b9%88)
 * [Llasa TTS的主要功能](https://paooo.com/aigc-news/21646/#llasa-tts%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd)
 * [Llasa TTS的技术原理](https://paooo.com/aigc-news/21646/#llasa-tts%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86)
 * [Llasa TTS的项目地址](https://paooo.com/aigc-news/21646/#llasa-tts%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80)
 * [Llasa TTS的应用场景](https://paooo.com/aigc-news/21646/#llasa-tts%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af)

![Llasa TTS](https://paooo.com/wp-content/uploads/2026/06/Llasa-TTS-website1-1.avif)

## Llasa TTS的主要功能

 * **高质量语音合成**：生成自然流畅的语音，支持中英文双语，适用于多种应用场景。
 * **情感表达**：注入情感信息，生成带有快乐、愤怒、悲伤等情感色彩的语音，增强语音
   的自然度和表现力。
 * **语音克隆**：仅需少量音频样本（如15秒），克隆特定人声的音色和情感，实现个性化
   语音合成。
 * **长文本支持**：支持处理长文本输入，生成连贯的语音输出，适用于有声读物、语音播
   报等场景。
 * **零样本学习**：支持对未见过的说话者或情感进行语音合成，无需额外的微调。

## Llasa TTS的技术原理

 * **基于 Transformer 的架构**：基于单个 Transformer 架构，与标准的大型语言模型完全
   对齐。用单层向量量化（VQ）编解码器将语音波形转换为离散的语音标记，基于 Transformer
   进行建模。
 * **语音分词器**：
    - **编码**：将语音信号分解为语义特征和声学特征，分别基于预训练的 Wav2Vec2-BERT
      和卷积模块提取。
    - **量化**：用改进的向量量化（VQ）技术将特征编码为离散标记。
    - **解码**：将离散标记解码回高质量的语音波形，支持语义和声学信息的重建。
 * **训练与推理扩展**：
    - **训练时间扩展**：基于增加模型规模（如 1B、3B、8B 参数）或训练数据量（如 250k
      小时语音数据），提升语音自然度和韵律准确性。
    - **推理时间扩展**：在推理阶段引入语音理解模型作为验证器，用复杂的搜索策略（
      如束搜索、最佳候选选择）优化生成结果，增强情感表达和音色一致性。
 * **自回归生成**：基于自回归生成方式，逐个生成语音标记，确保生成的语音在语义和韵律
   上与输入文本一致。

## Llasa TTS的项目地址

 * **GitHub仓库**：[https://github.com/zhenye234/LLaSA_training](https://github.com/zhenye234/LLaSA_training)
 * **HuggingFace模型库**：[https://huggingface.co/collections/HKUSTAudio/llasa](https://huggingface.co/collections/HKUSTAudio/llasa-679b87dbd06ac556cc0e0f44)
 * **arXiv技术论文**：[https://arxiv.org/pdf/2502.04128](https://arxiv.org/pdf/2502.04128)
 * **在线体验Demo**：[https://huggingface.co/spaces/srinivasbilla/llasa-3b-tts](https://huggingface.co/spaces/srinivasbilla/llasa-3b-tts)

## Llasa TTS的应用场景

 * **智能语音助手**：为智能设备或软件提供自然流畅的语音交互功能，提升用户体验。
 * **有声读物与在线教育**：将文字内容转化为生动的语音，为用户或学生提供听觉学习体验。
 * **语音播报与客服**：用于新闻播报、交通信息提示或客服系统，提供高效的信息传递。
 * **游戏与娱乐**：为游戏角色或虚拟形象赋予个性化语音，增强沉浸感。
 * **语音克隆与内容创作**：克隆特定人声，用于广告配音、视频制作或个性化语音内容创作。

🧭 文中关联 [AI 工具](https://ai.paooo.com/)官网与参数卡（语宙 AI 导航）

**HuggingFace ↗**

HuggingFace：AI模型开发社区，面向大语言模型场景提供便捷实用的在线功能支持，涵盖大
模型等实用方向。

**LLaMA ↗**

Meta（Facebook）推出的AI大语言模型。

**LLaMA ↗**

在线AI大模型微调平台，零代码、可视化操作。

❓ 常见问题解答（FAQ）

Llasa TTS 适合做语音克隆吗？

适合。文章提到它支持语音克隆，只需少量音频样本，例如约15秒，就能克隆特定人声的音色
与情感，适合个性化配音、视频制作和内容创作场景。

Llasa TTS 的核心技术是什么？

它基于单个 Transformer 架构，并结合单层向量量化（VQ）编解码器，把语音波形转成离散
标记再生成语音；同时利用训练与推理扩展提升自然度、韵律和情感表现。

Llasa TTS 支持哪些应用场景？

可用于智能语音助手、有声读物、在线教育、新闻播报、客服系统、游戏角色配音以及广告
和视频内容创作，重点优势是自然度高、支持情感表达和长文本输出。

🔬 语宙深潜追问 · 进阶实操拆解

Llasa TTS 适合哪些产品形态？

适合播客配音、客服外呼、虚拟人和有声内容生成。若要做商业化，建议先锁定固定音色和
少量情绪档位，避免开放式克隆带来一致性与合规风险。

TTS 训练和推理最该优化什么？

训练侧重点是高质量语音对齐与情感标签一致性；推理侧重点是流式输出、低延迟解码和音色
稳定。若要上生产，缓存声学特征通常比盲目堆参数更划算。

🗳️ 读者观点微投票 · 您的实战立场是？

开源TTS落地，你最在意哪一点？

🕸️ 语宙向量知识图谱 · 语义强关联深度内链

[🔓 所属权威专题：开源大模型与端侧推理 →](https://paooo.com/topics/open-source-llm/)

 * [GLM-TTS重磅开源：智谱AI发布声音克隆与情感语音合成模型，重塑多行业应用](https://paooo.com/aigc-news/12792/)
 * [Takin AudioLLM – 喜马拉雅推出的系列零样本语音生成模型](https://paooo.com/aigc-news/25301/)
 * [MegaTTS 3 – 字节与浙江大学合作推出的零样本语音合成系统](https://paooo.com/aigc-news/20640/)
 * [阿里通义Qwen-TTS语音合成模型发布：支持中英文、方言与流式输出，助力智能交互新时代](https://paooo.com/aigc-news/14596/)

[🏛️ Prompt 语宙研究院](https://paooo.com/author/paooo-research/) · Prompt 语宙研究院（
paooo.com Research）专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示
词工程（Prompt Engineering）与全球高增长 AI 生产力工具实测追踪，致力于为中文开发
者与创作者提供一手、可复现的深度技术洞察。

[📄 Markdown 纯净版](https://paooo.com/aigc-news/21646/?format=md)

💡 这篇内容对您有启发吗？

[📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/)

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)
