Prompt 语宙Prompt 语宙
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
阅读: 腾讯AI Lab重磅开源SongGeneration:AI音乐生成大模型,多轨合成、风格克隆,媲美商业模型
Share
通知 阅读更多
Font Resizer字体
Font Resizer字体
Prompt 语宙Prompt 语宙
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
已有帐户? 登陆
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
腾讯AI Lab重磅开源SongGeneration:AI音乐生成大模型,多轨合成、风格克隆,媲美商业模型
Prompt 语宙 > AI 工具 > 腾讯AI Lab重磅开源SongGeneration:AI音乐生成大模型,多轨合成、风格克隆,媲美商业模型
AI 工具AIGC 资讯

腾讯AI Lab重磅开源SongGeneration:AI音乐生成大模型,多轨合成、风格克隆,媲美商业模型

Prompt 语宙研究院
最近更新: 2026年6月7日 下午8:25
AIGC AI音乐生成 AI音频与语音 HuggingFace SongGeneration 开源大模型 腾讯AI Lab
SHARE
⚡ Prompt 语宙 AI 导读 · 30 秒核心看点
  • 基于LLM-DiT融合架构,兼顾音质、音乐性与生成速度,突破AI音乐生成核心瓶颈。
  • 支持文本控制、风格跟随、多轨生成与音色跟随,适合短视频、游戏、广告等场景。
  • 在多项主客观评测中开源模型排名领先,歌词准确度等表现可与商业模型竞争。

💡 站外导读:在AI音乐生成领域,音质、音乐性与生成速度的平衡一直是核心挑战。随着短视频、游戏及广告产业对高质量、个性化音乐内容需求的激增,传统生成模型在音轨分离、风格一致性及商用稳定性上显得力不从心。行业亟需能同时实现高保真、多轨可控且支持复杂指令的解决方案,以推动音乐创作从“辅助工具”向“智能共创”演进。腾讯AI Lab开源的SongGeneration大模型,正是在这一背景下应运而生,旨在通过技术创新突破现有瓶颈。

SongGeneration是什么

SongGeneration是腾讯AI Lab推出的AI音乐生成大模型。模型支持解决音乐AIGC领域中的音质、音乐性与生成速度等关键问题,SongGeneration基于LLM-DiT融合架构,显著提升音质表现和生成速度,生成歌曲的质量在多个维度上优于多数开源模型,部分指标媲美商业闭源模型。SongGeneration支持文本控制、多轨合成、风格跟随等功能,满足创作者的可玩性,具备商业应用的稳定性和拓展性。SongGeneration广泛应用在短视频配乐、游戏音效、虚拟人演出、商业广告及个人音乐创作等场景,推动AI音乐创作从“辅助工具”迈向“智能共创”的新阶段。

阅读目录
  • SongGeneration是什么
  • SongGeneration的主要功能
  • SongGeneration的技术原理
  • SongGeneration的项目地址
  • SongGeneration的核心优势
  • SongGeneration的性能表现
  • SongGeneration的应用场景
      • 📝 站长洞察 (Editor’s Insight)

SongGeneration

SongGeneration的主要功能

  • 文本控制:输入关键词文本,如“开心 流行”,AI快速生成对应风格和情绪的完整音乐作品。
  • 风格跟随:上传10秒以上参考音频,支持生成风格一致的全长新曲,涵盖多种流派。
  • 多轨生成:自动生成分离的人声与伴奏轨道,保证旋律、结构、节奏与配器高度匹配。
  • 音色跟随:基于参考音频的音色跟随,实现“音色克隆”级别的人声表现,自然且有情感。

SongGeneration的技术原理

  • LeLM(Language Model):混合标记(Mixed Tokens)代表人声和伴奏的组合音频,用在捕捉歌曲的整体结构和节奏,确保人声与伴奏的和谐。双轨标记(Dual-Track Tokens)分别编码人声和伴奏,用在生成高质量的音频细节。LeLM 能并行预测混合标记和双轨标记,避免不同标记类型之间的干扰,提高生成质量和效率。
  • 音乐编解码器(Music Codec):编码器(Encoder)将音乐音频提取为混合标记和双轨标记。解码器(Decoder)将双轨标记重建为高保真的音乐音频,确保生成的歌曲具有高质量的音频表现。
  • 多偏好对齐(Multi-Preference Alignment):直接偏好优化(DPO)基于半自动数据构建和 DPO 后训练,处理多样化的人类偏好,提高模型在音乐性、指令遵循和人声与伴奏和谐方面的表现。多维度偏好支持歌词对齐、提示一致性、音乐性等多个维度的偏好对齐,提升生成歌曲的整体质量。
  • 三阶段训练范式:
    • 预训练(Pre-training):在大规模音乐数据上进行预训练,对齐不同输入模态和混合标记。
    • 模块扩展训练(Modular Extension Training):进一步训练 AR 解码器,建模双轨标记,提升音质和音乐性。
    • 多偏好对齐(Multi-Preference Alignment):基于 DPO 后训练,优化模型在多维度偏好上的表现。

SongGeneration的项目地址

  • GitHub仓库:https://github.com/tencent-ailab/SongGeneration
  • HuggingFace模型库:https://huggingface.co/tencent/SongGeneration
  • arXiv技术论文:https://arxiv.org/pdf/2506.07520
  • 在线体验Demo:https://huggingface.co/spaces/tencent/SongGeneration

SongGeneration的核心优势

  • 低比特率音乐编解码:实现25Hz极低码率和0.35kbps超低比特率下的高质量音乐重建,减轻语言模型建模负担。
  • 多类别token并行预测:基于“混合优先,双轨其次”策略,避免token相互干扰,提升音质和音乐性。
  • 多维度人类偏好对齐:对齐音乐性、歌词对齐、提示一致性偏好,提升模型效果和鲁棒性。
  • 三阶段训练范式:预训练、模块化扩展训练、多偏好对齐训练,优化音乐生成效果。

SongGeneration的性能表现

  • 主客观整体测评:在与三款商业模型(Suno v4.5、海绵音乐、Mureka O1)和四款开源模型(YuE、DiffRhythm、ACE-Step、SongGen)的全方位主客观评测对比中,SongGeneration在开源模型中稳居第一,在商业模型中位列前茅,展现出显著的竞争优势。
  • 客观测评(第三方开源模型评测):在客观测评横向对比中中,SongGeneration在内容欣赏度(CE)、内容实用性(CU)和制作质量(PQ)三个关键维度上均位列榜首,制作复杂度(PC)处于领先位置。
  • 主观评测(普通用户 + 专业音乐人评测):在主观评测中,SongGeneration在歌词准确度上超越包括Suno在内的众多大模型,体现模型在语音与文本对齐能力上的显著优势,及在内容生成细节处理方面的成熟度。

SongGeneration

SongGeneration的应用场景

  • 音乐创作:SongGeneration为音乐人和制作人提供高质量歌曲草稿,节省创作时间,助力专注核心创作,激发创意。
  • 娱乐产业:在影视、游戏、广告等娱乐领域,SongGeneration快速生成契合需求的配乐,增强作品沉浸感与吸引力,丰富音乐内容。
  • 教育领域:作为音乐教育工具,SongGeneration帮助学生理解音乐基础知识,激发创造力,辅助在线课程提供示例歌曲,提升教学效果。
  • 广告和营销:SongGeneration为广告和品牌生成贴合主题的音乐,提升广告吸引力和品牌认同感,助力品牌营销。
  • 个人娱乐:普通用户用SongGeneration创作个性化歌曲,表达情感,分享社交平台,增添娱乐互动乐趣。

📝 站长洞察 (Editor’s Insight)

SongGeneration的发布标志着AI音乐生成进入“精调商用”新阶段。其核心突破在于将LLM的序列建模能力与DiT的扩散生成优势融合,并通过“混合-双轨”token并行预测策略,在25Hz极低码率下仍保持高保真,这解决了长期以来音质与效率的权衡难题。更值得关注的是其三阶段训练范式:预训练奠定基础,模块化扩展强化细节,最终通过多偏好对齐(DPO)直接优化人类对音乐性、歌词对齐等多维度的主观体验——这使模型不仅“像音乐”,更“懂人心”。从产业视角看,它正降低专业音乐制作门槛,将赋能从广告、游戏到个人创作的长尾场景。随着AIGC从文本、图像迈向音频与视频,腾讯此举或将催化一个更完整、可落地的AI内容生成生态闭环。

🧭 文中关联 AI 工具官网与参数卡(语宙 AI 导航)
HuggingFace ↗
HuggingFace:AI模型开发社区,面向大语言模型场景提供便捷实用的在线功能支持,涵盖大模型等实用方向。
音轨分离 ↗
音轨分离:提取人声乐器轨道,面向AI 办公助手场景提供便捷实用的在线功能支持。
❓ 常见问题解答(FAQ)
SongGeneration适合做什么音乐场景?

它适合短视频配乐、游戏音效、虚拟人演出、商业广告和个人音乐创作等场景,尤其适合需要高质量、可控风格和快速出稿的AI音乐生成需求。

SongGeneration支持哪些核心功能?

支持文本控制、风格跟随、多轨生成和音色跟随。用户可通过关键词生成音乐,也可上传参考音频实现风格一致、分离人声与伴奏,甚至进行接近音色克隆的人声表现。

SongGeneration为什么被认为有竞争力?

因为它在开源模型中综合表现领先,且在部分指标上接近商业闭源模型。其低比特率音乐编解码、多类别token并行预测和多偏好对齐训练,是主要技术优势。

🔬 语宙深潜追问 · 进阶实操拆解
多轨合成最难解决什么问题?

最难的是轨道间的时序一致性、频段冲突和风格统一。实操中要把鼓、贝斯、和声、人声分轨约束,再通过混音规则和后期母带处理收束,否则容易“每轨都好听,合起来很乱”。

风格克隆如何避免版权风险?

要避免直接复刻可识别艺人特征,优先使用授权素材、自有音色库或抽象风格描述。企业流程里应加入来源记录、相似度检测和人工审核,确保商业发布时可追溯、可解释。

🗳️ 读者观点微投票 · 您的实战立场是?
开源音乐模型会先冲击哪类岗位?
🕸️ 语宙向量知识图谱 · 语义强关联深度内链
🔓 所属权威专题:开源大模型与端侧推理 →
  • 腾讯清华联手开源SongGeneration 2:4B参数音乐大模型,性能超越Suno v5,1分钟生成完整歌曲
  • 腾讯AI Lab发布SongBloom:全长度AI歌曲生成模型,10秒样本生成2分半高质量音乐
  • 腾讯LeVo:3秒克隆音色的AI唱歌模型,Suno4.5级别的音乐生成革命
  • SongGen – 上海 AI Lab 和北航、港中文推出的歌曲生成模型
🏛️ Prompt 语宙研究院 · Prompt 语宙研究院(paooo.com Research)专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示词工程(Prompt Engineering)与全球高增长 AI 生产力工具实测追踪,致力于为中文开发者与创作者提供一手、可复现的深度技术洞察。
📄 Markdown 纯净版
💡 这篇内容对您有启发吗?
📡 RSS 订阅✨ 提交 AI 工具 / 合作
🚀 Prompt 语宙 AI 创作者生态:探索 2,800+ 全球实用 AI 工具与高精度生图提示词咒语库
🧭 语宙 AI 导航 (ai.paooo.com)🎨 AI 生图 Prompt 库📚 核心专题导航⚡ AIGC 早报生成器
估值一年翻倍!AI网关巨头OpenRouter获谷歌1.13亿美元投资,揭示多模型调度万亿市场
DynaSaur – Adobe 推出的大语言模型代理框架
Torvalds 畅谈人工智能对编程的影响 [译]
普林斯顿清华联手开源Goedel-Prover-V2:32B模型吊打671B对手,自动定理证明迎来新纪元
告别90秒开机广告与臃肿后台!开源神器 CleanYourTV 与 Aerial 实操指南:Wi-Fi ADB 免 Root 深度净化、智能冻结流氓服务与 Apple TV 极简桌面改造全景实录
TAGGED:AIGCAI音乐生成AI音频与语音HuggingFaceSongGeneration开源大模型腾讯AI Lab
分享
Email 复制链接 打印
Share
Prompt 语宙研究院 头像
ByPrompt 语宙研究院
Follow:
Prompt 语宙研究院(paooo.com Research)专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示词工程(Prompt Engineering)与全球高增长 AI 生产力工具实测追踪,致力于为中文开发者与创作者提供一手、可复现的深度技术洞察。
上一篇 快手OneRec:颠覆传统推荐!端到端生成式AI系统引爆观看时长与GMV 快手OneRec:颠覆传统推荐!端到端生成式AI系统引爆观看时长与GMV
下一篇 Self Forcing: Adobe与德克萨斯大学联合推出实时视频生成模型,单GPU实现17FPS,告别传统AI视频生成延迟 Self Forcing: Adobe与德克萨斯大学联合推出实时视频生成模型,单GPU实现17FPS,告别传统AI视频生成延迟
Ad image
Ad image

最近更新

WordPress 7.2版本更新与默认随机重定向、Secrets API撤回及MCP核心能力拆解封面图
官方博客竟把关闭过滤器写错了!WordPress 7.2前瞻全拆解:默认/random/暗藏隐私与SEO风险、Secrets API紧急撤回与3项MCP只读能力落地
AI 工具
Anthropic上市募资与算力长约的隐喻:现金光环上升,数据中心暗链延伸,治理水晶承受张力与阻力冲击。
募资超1070亿美元却背负9000亿算力长约!Anthropic史上最大IPO背后的三大隐忧:1040亿年内亏损、地方抵制潮与PBC治理死结
AIGC 资讯
微软Copilot与Claude/ChatGPT价格战隐喻:发光玻璃表格堡垒守住Excel,数据流高效汇聚,企业AI竞争升级
3000万付费仅吃下4.5亿席位不到7%!微软Ignite正面叫板Claude与ChatGPT:月均30美元VS 205美元价格战与Excel保卫战全拆解
AIGC 资讯
联想AI推理时代的端边云全栈算力插画:玻璃拟态服务器核心发光,光流连接云端与边缘节点,呈现营收与订单增长动能。
AI营收暴涨80%且握5300亿服务器订单!联想Q2单季营收首破2000亿、净利狂飙166%:端边云全栈算力如何接住推理时代红利?
AIGC 资讯

相关推荐

Qihoo-T2X – 360 AI 研究院和中山大学开源的高效多模态生成模型
AIGC 资讯

Qihoo-T2X – 360 AI 研究院和中山大学开源的高效多模态生成模型

Prompt 语宙研究院
3D与空间智能 AI智能体 AI视频生成 大模型微调 开源大模型
FLUX1.1 – Black Forest Labs团队推出的超写实AI图像生成模型,代号“蓝莓”
AIGC 资讯

FLUX1.1 – Black Forest Labs团队推出的超写实AI图像生成模型,代号“蓝莓”

Prompt 语宙研究院
AI绘画提示词 Flux 开源大模型
告别 VAE 与视觉编码器!NVIDIA 携手滑铁卢大学开源无编码器多模态巨作 PixelUMM:单 Decoder 像素级读写,通吃文生图/生视频与多模态理解
AI 工具AIGC 资讯

告别 VAE 与视觉编码器!NVIDIA 携手滑铁卢大学开源无编码器多模态巨作 PixelUMM:单 Decoder 像素级读写,通吃文生图/生视频与多模态理解

Prompt 语宙研究院
NVIDIA PixelUMM 像素空间扩散 多模态大模型 文生视频 无编码器架构
Flame – 开源的多模态前端代码生成模型
AIGC 资讯

Flame – 开源的多模态前端代码生成模型

Prompt 语宙研究院
AI智能体 AI编程 HuggingFace 开源大模型
/ Prompt 语宙 /

探索生成式 AI 的无限创作潜能,一站式获取前沿 AIGC 资讯、高阶 Prompt 咒语与全球实用 AI 工具。

核心专栏

  • 语宙 AI 工具导航
  • EVA 视觉抠图工坊Hot
  • 出海数字营销宝典
  • AI 生图咒语灵感库
  • 24H 硅谷 AI 情报流

生态与服务

  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作

标签

开源大模型 AI智能体 AI办公效率 AI绘画提示词 OpenAI 大模型微调 Midjourney AI编程 stable diffusion AI视频生成 ChatGPT 3D与空间智能 HuggingFace AI音频与语音 RAG检索增强 Claude Flux AIGC Gemini 通义千问 Anthropic Llama Cursor DeepSeek Prompt AI Agent Kimi 智谱AI 具身智能 YouTube
Prompt 语宙Prompt 语宙
Follow US
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.