# SongGen – 上海 AI Lab 和北航、港中文推出的歌曲生成模型

- Link: https://paooo.com/aigc-news/21477/
- Published: 2026-06-08T12:40:13+08:00
- Author: Prompt 语宙研究院

⚡ [Prompt](https://paooo.com/ai-image-prompts/) 语宙 AI 导读 · 30 秒核心看点

 * 单阶段自回归 Transformer 直接做文本到歌曲生成，简化传统多阶段音乐生成流程。
 * 支持歌词、风格、情感与三秒参考音频控制，可实现声音克隆与细粒度创作。
 * 混合模式与双轨模式兼顾成品输出和后期编辑，提升人声清晰度与生成自然度。

## SongGen是什么

SongGen是上海AI Lab、北京航空航天大学和香港中文大学推出的单阶段自回归Transformer
模型，用在从[文本生成歌曲](https://ai-bot.cn/best-ai-music-generators/)。SongGen
基于歌词和描述性文本（如乐器、风格、情感等）作为输入，支持混合模式和双轨模式两种
输出方式，分别用于直接生成人声与伴奏的混合音频，及分别合成人声和伴奏方便后期编辑。
SongGen基于创新的音频标记化策略和训练方法，显著提升生成歌曲的自然度和人声清晰度，
解决传统多阶段方法中训练和推理流程繁琐的问题。SongGen的开源性和高质量数据集为未来
音乐生成研究提供了新的基准。

阅读目录

 * [SongGen是什么](https://paooo.com/aigc-news/21477/#songgen%e6%98%af%e4%bb%80%e4%b9%88)
 * [SongGen的主要功能](https://paooo.com/aigc-news/21477/#songgen%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd)
 * [SongGen的技术原理](https://paooo.com/aigc-news/21477/#songgen%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86)
 * [SongGen的项目地址](https://paooo.com/aigc-news/21477/#songgen%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80)
 * [SongGen的应用场景](https://paooo.com/aigc-news/21477/#songgen%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af)

![SongGen](https://paooo.com/wp-content/uploads/2026/06/SongGen-website-1.avif)

## SongGen的主要功能

 * **细粒度控制**：用户基于歌词、描述性文本（如乐器、风格、情感等）对生成的歌曲进行
   控制。
 * **声音克隆**：支持基于三秒参考音频实现声音克隆，使生成的歌曲具有特定歌手的音色。
 * **两种生成模式**：提供“混合模式”（直接生成人声和伴奏的混合音频）和“双轨模式”（
   分别合成人声和伴奏，便于后期编辑）。
 * **高质量音频输出**：基于优化的音频标记化和训练策略，生成具有高自然度和清晰人声
   的歌曲。

## SongGen的技术原理

 * **自回归生成框架**：基于自回归Transformer解码器，将歌词和描述性文本编码为条件
   输入，用交叉注意力机制引导音频标记的生成。
 * **音频标记化**：用X-Codec将音频信号编码为离散的音频标记，基于代码本延迟模式处理
   多代码序列，支持高效生成。
 * **混合模式与双轨模式**：
    - **混合模式**：直接生成混合音频标记，引入辅助人声音频标记预测目标（Mixed Pro），
      增强人声清晰度。
    - **双轨模式**：基于平行或交错模式分别生成人声和伴奏标记，确保两者在帧级别上
      的对齐，提升生成质量。
 * **条件输入编码**：
    - **歌词编码**：VoiceBPE分词器将歌词转换为音素级标记，基于小型Transformer编码
      器提取关键发音信息。
    - **声音编码**：MERT模型提取参考音频的音色特征，支持声音克隆。
    - **文本描述编码**：FLAN-T5模型将描述性文本编码为特征向量，提供音乐风格、情感
      等控制。
 * **训练策略**：
    - **多阶段训练**：包括模态对齐、无参考声音支持和高质量微调，逐步提升模型性能。
    - **课程学习**：逐步调整代码本损失权重，优化模型对音频细节的学习。
    - **数据预处理**：开发自动化数据预处理管道，从多个数据源收集音频，分离人声和
      伴奏，生成高质量的歌词和描述性文本数据集。

## SongGen的项目地址

 * **GitHub仓库**：[https://github.com/LiuZH-19/SongGen](https://github.com/LiuZH-19/SongGen)
 * **arXiv技术论文**：[https://arxiv.org/pdf/2502.13128](https://arxiv.org/pdf/2502.13128)

## SongGen的应用场景

 * **音乐创作**：快速生成歌曲雏形，探索不同风格，为歌词生成伴奏，加速创作流程。
 * **视频配乐**：为短视频、广告、电影生成背景音乐，根据内容调整风格，提升视觉效果。
 * **教育辅助**：帮助学生理解音乐创作，通过生成歌曲学习语言发音，激发创造力。
 * **个性化体验**：根据用户输入生成定制歌曲，用声音克隆实现“个人专属歌手”，增强娱乐
   性。
 * **商业应用**：为品牌生成专属音乐，替代版权受限的音乐素材，用于广告和推广。

❓ 常见问题解答（FAQ）

SongGen 支持哪些歌曲生成模式？

SongGen 提供两种输出方式：混合模式直接生成包含人声与伴奏的混合音频；双轨模式则分别
合成人声和伴奏，便于后期编辑与混音处理。

SongGen 如何实现声音克隆？

SongGen 支持基于约三秒参考音频提取音色特征，再结合歌词和描述文本生成带有目标音色
的歌曲，从而实现声音克隆效果。

SongGen 的核心技术优势是什么？

它采用自回归 Transformer、X-Codec 音频标记化和多阶段训练策略，能提升歌曲自然度与
人声清晰度，同时减少传统方法在训练和推理上的复杂度。

🔬 语宙深潜追问 · 进阶实操拆解

三秒参考音频该怎么用才不串风格？

把参考音频只当作音色和节奏锚点，不要直接复制旋律。训练或推理时应限制其影响范围，
优先约束声线、咬字和速度，再用歌词与风格提示控制主旋律走向。

双轨模式适合哪些落地场景？

双轨更适合需要后期可编辑的场景，比如广告歌、短视频配乐和游戏片段。先分离人声与伴奏，
便于重混、降噪和二次编曲，但对实时生成和端到端发布的要求会更高。

🗳️ 读者观点微投票 · 您的实战立场是？

文本生成歌曲，最难突破的是旋律还是人声？

🕸️ 语宙向量知识图谱 · 语义强关联深度内链

[🐋 所属权威专题：DeepSeek 深度实战与部署 →](https://paooo.com/topics/deepseek/)

 * [SongCreator – AI音乐模型，能理解、生成和编辑歌曲](https://paooo.com/aigc-news/25310/)
 * [腾讯AI Lab重磅开源SongGeneration：AI音乐生成大模型，多轨合成、风格克隆，媲美商业模型](https://paooo.com/aigc-news/14765/)
 * [腾讯清华联手开源SongGeneration 2：4B参数音乐大模型，性能超越Suno v5，1分钟生成完整歌曲](https://paooo.com/aigc-news/11310/)
 * [SoulX-Singer：Soul App联合双高校开源，零样本歌声合成新标杆，全面解析其技术与应用](https://paooo.com/aigc-news/11588/)

[🏛️ Prompt 语宙研究院](https://paooo.com/author/paooo-research/) · Prompt 语宙研究院（
paooo.com Research）专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示
词工程（Prompt Engineering）与全球高增长 AI 生产力工具实测追踪，致力于为中文开发
者与创作者提供一手、可复现的深度技术洞察。

[📄 Markdown 纯净版](https://paooo.com/aigc-news/21477/?format=md)

💡 这篇内容对您有启发吗？

[📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/)

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)
