# 腾讯AI Lab重磅开源SongGeneration：AI音乐生成大模型，多轨合成、风格克隆，媲美商业模型

- Link: https://paooo.com/aigc-news/14765/
- Published: 2026-06-28T01:12:22+08:00
- Author: Prompt 语宙研究院

⚡ [Prompt](https://paooo.com/ai-image-prompts/) 语宙 AI 导读 · 30 秒核心看点

 * 基于LLM-DiT融合架构，兼顾音质、音乐性与生成速度，突破AI音乐生成核心瓶颈。
 * 支持文本控制、风格跟随、多轨生成与音色跟随，适合短视频、游戏、广告等场景。
 * 在多项主客观评测中开源模型排名领先，歌词准确度等表现可与商业模型竞争。

> **💡 站外导读：**在AI音乐生成领域，音质、音乐性与生成速度的平衡一直是核心挑战。
> 随着短视频、游戏及广告产业对高质量、个性化音乐内容需求的激增，传统生成模型在音
> 轨分离、风格一致性及商用稳定性上显得力不从心。行业亟需能同时实现高保真、多轨可
> 控且支持复杂指令的解决方案，以推动音乐创作从“辅助工具”向“智能共创”演进。腾讯AI
> Lab开源的SongGeneration大模型，正是在这一背景下应运而生，旨在通过技术创新突破现有
> 瓶颈。

## SongGeneration是什么

SongGeneration是腾讯AI Lab推出的[AI音乐生成](https://ai-bot.cn/best-ai-music-generators/)
[大模型](https://paooo.com/ai-study/)。模型支持解决音乐AIGC领域中的音质、音乐性与
生成速度等关键问题，SongGeneration基于LLM-DiT融合架构，显著提升音质表现和生成速度，
生成歌曲的质量在多个维度上优于多数开源模型，部分指标媲美商业闭源模型。SongGeneration
支持文本控制、多轨合成、风格跟随等功能，满足创作者的可玩性，具备商业应用的稳定性
和拓展性。SongGeneration广泛应用在短视频配乐、游戏音效、虚拟人演出、商业广告及个人
音乐创作等场景，推动AI音乐创作从“辅助工具”迈向“智能共创”的新阶段。

阅读目录

 * [SongGeneration是什么](https://paooo.com/aigc-news/14765/#songgeneration%e6%98%af%e4%bb%80%e4%b9%88)
 * [SongGeneration的主要功能](https://paooo.com/aigc-news/14765/#songgeneration%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd)
 * [SongGeneration的技术原理](https://paooo.com/aigc-news/14765/#songgeneration%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86)
 * [SongGeneration的项目地址](https://paooo.com/aigc-news/14765/#songgeneration%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80)
 * [SongGeneration的核心优势](https://paooo.com/aigc-news/14765/#songgeneration%e7%9a%84%e6%a0%b8%e5%bf%83%e4%bc%98%e5%8a%bf)
 * [SongGeneration的性能表现](https://paooo.com/aigc-news/14765/#songgeneration%e7%9a%84%e6%80%a7%e8%83%bd%e8%a1%a8%e7%8e%b0)
 * [SongGeneration的应用场景](https://paooo.com/aigc-news/14765/#songgeneration%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af)
       * [📝 站长洞察 (Editor’s Insight)](https://paooo.com/aigc-news/14765/#%f0%9f%93%9d-%e7%ab%99%e9%95%bf%e6%b4%9e%e5%af%9f-editor8217s-insight)

![SongGeneration](https://paooo.com/wp-content/uploads/2026/05/SongGeneration-website-
1.avif)

## SongGeneration的主要功能

 * **文本控制**：输入关键词文本，如“开心 流行”，AI快速生成对应风格和情绪的完整音乐
   作品。
 * **风格跟随**：上传10秒以上参考音频，支持生成风格一致的全长新曲，涵盖多种流派。
 * **多轨生成**：自动生成分离的人声与伴奏轨道，保证旋律、结构、节奏与配器高度匹配。
 * **音色跟随**：基于参考音频的音色跟随，实现“[音色克隆](https://ai-bot.cn/ai-voice-cloning-tools/)”
   级别的人声表现，自然且有情感。

## SongGeneration的技术原理

 * **LeLM（Language Model）**：混合标记（Mixed Tokens）代表人声和伴奏的组合音频，
   用在捕捉歌曲的整体结构和节奏，确保人声与伴奏的和谐。双轨标记（Dual-Track Tokens）
   分别编码人声和伴奏，用在生成高质量的音频细节。LeLM 能并行预测混合标记和双轨标记，
   避免不同标记类型之间的干扰，提高生成质量和效率。
 * **音乐编解码器（Music Codec）**：编码器（Encoder）将音乐音频提取为混合标记和双轨
   标记。解码器（Decoder）将双轨标记重建为高保真的音乐音频，确保生成的歌曲具有高
   质量的音频表现。
 * **多偏好对齐（Multi-Preference Alignment）**：直接偏好优化（DPO）基于半自动数据
   构建和 DPO 后训练，处理多样化的人类偏好，提高模型在音乐性、指令遵循和人声与伴奏
   和谐方面的表现。多维度偏好支持歌词对齐、提示一致性、音乐性等多个维度的偏好对齐，
   提升生成歌曲的整体质量。
 * **三阶段训练范式**：
    - **预训练（Pre-training）**：在大规模音乐数据上进行预训练，对齐不同输入模态
      和混合标记。
    - **模块扩展训练（Modular Extension Training）**：进一步训练 AR 解码器，建模
      双轨标记，提升音质和音乐性。
    - **多偏好对齐（Multi-Preference Alignment）**：基于 DPO 后训练，优化模型在多
      维度偏好上的表现。

## SongGeneration的项目地址

 * **GitHub仓库**：https://github.com/tencent-ailab/SongGeneration
 * **HuggingFace模型库**：https://huggingface.co/tencent/SongGeneration
 * **arXiv技术论文**：https://arxiv.org/pdf/2506.07520
 * **在线体验Demo**：https://huggingface.co/spaces/tencent/SongGeneration

## SongGeneration的核心优势

 * **低比特率音乐编解码**：实现25Hz极低码率和0.35kbps超低比特率下的高质量音乐重建，
   减轻语言模型建模负担。
 * **多类别token并行预测**：基于“混合优先，双轨其次”策略，避免token相互干扰，提升
   音质和音乐性。
 * **多维度人类偏好对齐**：对齐音乐性、歌词对齐、提示一致性偏好，提升模型效果和鲁
   棒性。
 * **三阶段训练范式**：预训练、模块化扩展训练、多偏好对齐训练，优化音乐生成效果。

## SongGeneration的性能表现

 * **主客观整体测评**：在与三款商业模型（Suno v4.5、[海绵音乐](https://ai-bot.cn/sites/13336.html)、
   [Mureka O1](https://ai-bot.cn/mureka-o1/)）和四款开源模型（[YuE](https://ai-bot.cn/yue/)、
   [DiffRhythm](https://ai-bot.cn/diffrhythm/)、[ACE-Step](https://ai-bot.cn/ace-step/)、
   [SongGen](https://ai-bot.cn/songgen/)）的全方位主客观评测对比中，SongGeneration
   在开源模型中稳居第一，在商业模型中位列前茅，展现出显著的竞争优势。
 * **客观测评（第三方开源模型评测）**：在客观测评横向对比中中，SongGeneration在内容
   欣赏度（CE）、内容实用性（CU）和制作质量（PQ）三个关键维度上均位列榜首，制作复杂
   度（PC）处于领先位置。
 * **主观评测（普通用户 + 专业音乐人评测）**：在主观评测中，SongGeneration在歌词
   准确度上超越包括Suno在内的众多大模型，体现模型在语音与文本对齐能力上的显著优势，
   及在内容生成细节处理方面的成熟度。

![SongGeneration](https://paooo.com/wp-content/uploads/2026/05/SongGeneration-website1.
avif)

## SongGeneration的应用场景

 * **音乐创作**：SongGeneration为音乐人和制作人提供高质量歌曲草稿，节省创作时间，
   助力专注核心创作，激发创意。
 * **娱乐产业**：在影视、游戏、广告等娱乐领域，SongGeneration快速生成契合需求的配
   乐，增强作品沉浸感与吸引力，丰富音乐内容。
 * **教育领域**：作为音乐教育工具，SongGeneration帮助学生理解音乐基础知识，激发创造
   力，辅助在线课程提供示例歌曲，提升教学效果。
 * **广告和营销**：SongGeneration为广告和品牌生成贴合主题的音乐，提升广告吸引力和
   品牌认同感，助力品牌营销。
 * **个人娱乐**：普通用户用SongGeneration创作个性化歌曲，表达情感，分享社交平台，
   增添娱乐互动乐趣。

#### 📝 站长洞察 (Editor’s Insight)

SongGeneration的发布标志着AI音乐生成进入“精调商用”新阶段。其核心突破在于将LLM的序列
建模能力与DiT的扩散生成优势融合，并通过“混合-双轨”token并行预测策略，在25Hz极低码
率下仍保持高保真，这解决了长期以来音质与效率的权衡难题。更值得关注的是其三阶段训练
范式：预训练奠定基础，模块化扩展强化细节，最终通过多偏好对齐（DPO）直接优化人类对
音乐性、歌词对齐等多维度的主观体验——这使模型不仅“像音乐”，更“懂人心”。从产业视角
看，它正降低专业音乐制作门槛，将赋能从广告、游戏到个人创作的长尾场景。随着[AIGC](https://paooo.com/aigc-news/)
从文本、图像迈向音频与视频，腾讯此举或将催化一个更完整、可落地的AI内容生成生态闭
环。

🧭 文中关联 [AI 工具](https://ai.paooo.com/)官网与参数卡（语宙 AI 导航）

**HuggingFace ↗**

HuggingFace：AI模型开发社区，面向大语言模型场景提供便捷实用的在线功能支持，涵盖大
模型等实用方向。

**音轨分离 ↗**

音轨分离：提取人声乐器轨道，面向AI 办公助手场景提供便捷实用的在线功能支持。

❓ 常见问题解答（FAQ）

SongGeneration适合做什么音乐场景？

它适合短视频配乐、游戏音效、虚拟人演出、商业广告和个人音乐创作等场景，尤其适合需要
高质量、可控风格和快速出稿的AI音乐生成需求。

SongGeneration支持哪些核心功能？

支持文本控制、风格跟随、多轨生成和音色跟随。用户可通过关键词生成音乐，也可上传参考
音频实现风格一致、分离人声与伴奏，甚至进行接近音色克隆的人声表现。

SongGeneration为什么被认为有竞争力？

因为它在开源模型中综合表现领先，且在部分指标上接近商业闭源模型。其低比特率音乐编
解码、多类别token并行预测和多偏好对齐训练，是主要技术优势。

🔬 语宙深潜追问 · 进阶实操拆解

多轨合成最难解决什么问题？

最难的是轨道间的时序一致性、频段冲突和风格统一。实操中要把鼓、贝斯、和声、人声分
轨约束，再通过混音规则和后期母带处理收束，否则容易“每轨都好听，合起来很乱”。

风格克隆如何避免版权风险？

要避免直接复刻可识别艺人特征，优先使用授权素材、自有音色库或抽象风格描述。企业流程
里应加入来源记录、相似度检测和人工审核，确保商业发布时可追溯、可解释。

🗳️ 读者观点微投票 · 您的实战立场是？

开源音乐模型会先冲击哪类岗位？

🕸️ 语宙向量知识图谱 · 语义强关联深度内链

[🔓 所属权威专题：开源大模型与端侧推理 →](https://paooo.com/topics/open-source-llm/)

 * [腾讯清华联手开源SongGeneration 2：4B参数音乐大模型，性能超越Suno v5，1分钟生成完整歌曲](https://paooo.com/aigc-news/11310/)
 * [腾讯AI Lab发布SongBloom：全长度AI歌曲生成模型，10秒样本生成2分半高质量音乐](https://paooo.com/aigc-news/13477/)
 * [腾讯LeVo：3秒克隆音色的AI唱歌模型，Suno4.5级别的音乐生成革命](https://paooo.com/aigc-news/14896/)
 * [SongGen – 上海 AI Lab 和北航、港中文推出的歌曲生成模型](https://paooo.com/aigc-news/21477/)

[🏛️ Prompt 语宙研究院](https://paooo.com/author/paooo-research/) · Prompt 语宙研究院（
paooo.com Research）专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示
词工程（Prompt Engineering）与全球高增长 AI 生产力工具实测追踪，致力于为中文开发
者与创作者提供一手、可复现的深度技术洞察。

[📄 Markdown 纯净版](https://paooo.com/aigc-news/14765/?format=md)

💡 这篇内容对您有启发吗？

[📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/)

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)
