Prompt 语宙Prompt 语宙
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
阅读: SongGen – 上海 AI Lab 和北航、港中文推出的歌曲生成模型
Share
通知 阅读更多
Font Resizer字体
Font Resizer字体
Prompt 语宙Prompt 语宙
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
已有帐户? 登陆
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
SongGen – 上海 AI Lab 和北航、港中文推出的歌曲生成模型
Prompt 语宙 > AIGC 资讯 > SongGen – 上海 AI Lab 和北航、港中文推出的歌曲生成模型
AIGC 资讯

SongGen – 上海 AI Lab 和北航、港中文推出的歌曲生成模型

Prompt 语宙研究院
最近更新: 2026年6月8日 下午12:40
AI音频与语音 大模型微调 开源大模型
SHARE
⚡ Prompt 语宙 AI 导读 · 30 秒核心看点
  • 单阶段自回归 Transformer 直接做文本到歌曲生成,简化传统多阶段音乐生成流程。
  • 支持歌词、风格、情感与三秒参考音频控制,可实现声音克隆与细粒度创作。
  • 混合模式与双轨模式兼顾成品输出和后期编辑,提升人声清晰度与生成自然度。

SongGen是什么

SongGen是上海AI Lab、北京航空航天大学和香港中文大学推出的单阶段自回归Transformer模型,用在从文本生成歌曲。SongGen基于歌词和描述性文本(如乐器、风格、情感等)作为输入,支持混合模式和双轨模式两种输出方式,分别用于直接生成人声与伴奏的混合音频,及分别合成人声和伴奏方便后期编辑。SongGen基于创新的音频标记化策略和训练方法,显著提升生成歌曲的自然度和人声清晰度,解决传统多阶段方法中训练和推理流程繁琐的问题。SongGen的开源性和高质量数据集为未来音乐生成研究提供了新的基准。

阅读目录
  • SongGen是什么
  • SongGen的主要功能
  • SongGen的技术原理
  • SongGen的项目地址
  • SongGen的应用场景

SongGen

SongGen的主要功能

  • 细粒度控制:用户基于歌词、描述性文本(如乐器、风格、情感等)对生成的歌曲进行控制。
  • 声音克隆:支持基于三秒参考音频实现声音克隆,使生成的歌曲具有特定歌手的音色。
  • 两种生成模式:提供“混合模式”(直接生成人声和伴奏的混合音频)和“双轨模式”(分别合成人声和伴奏,便于后期编辑)。
  • 高质量音频输出:基于优化的音频标记化和训练策略,生成具有高自然度和清晰人声的歌曲。

SongGen的技术原理

  • 自回归生成框架:基于自回归Transformer解码器,将歌词和描述性文本编码为条件输入,用交叉注意力机制引导音频标记的生成。
  • 音频标记化:用X-Codec将音频信号编码为离散的音频标记,基于代码本延迟模式处理多代码序列,支持高效生成。
  • 混合模式与双轨模式:
    • 混合模式:直接生成混合音频标记,引入辅助人声音频标记预测目标(Mixed Pro),增强人声清晰度。
    • 双轨模式:基于平行或交错模式分别生成人声和伴奏标记,确保两者在帧级别上的对齐,提升生成质量。
  • 条件输入编码:
    • 歌词编码:VoiceBPE分词器将歌词转换为音素级标记,基于小型Transformer编码器提取关键发音信息。
    • 声音编码:MERT模型提取参考音频的音色特征,支持声音克隆。
    • 文本描述编码:FLAN-T5模型将描述性文本编码为特征向量,提供音乐风格、情感等控制。
  • 训练策略:
    • 多阶段训练:包括模态对齐、无参考声音支持和高质量微调,逐步提升模型性能。
    • 课程学习:逐步调整代码本损失权重,优化模型对音频细节的学习。
    • 数据预处理:开发自动化数据预处理管道,从多个数据源收集音频,分离人声和伴奏,生成高质量的歌词和描述性文本数据集。

SongGen的项目地址

  • GitHub仓库:https://github.com/LiuZH-19/SongGen
  • arXiv技术论文:https://arxiv.org/pdf/2502.13128

SongGen的应用场景

  • 音乐创作:快速生成歌曲雏形,探索不同风格,为歌词生成伴奏,加速创作流程。
  • 视频配乐:为短视频、广告、电影生成背景音乐,根据内容调整风格,提升视觉效果。
  • 教育辅助:帮助学生理解音乐创作,通过生成歌曲学习语言发音,激发创造力。
  • 个性化体验:根据用户输入生成定制歌曲,用声音克隆实现“个人专属歌手”,增强娱乐性。
  • 商业应用:为品牌生成专属音乐,替代版权受限的音乐素材,用于广告和推广。
❓ 常见问题解答(FAQ)
SongGen 支持哪些歌曲生成模式?

SongGen 提供两种输出方式:混合模式直接生成包含人声与伴奏的混合音频;双轨模式则分别合成人声和伴奏,便于后期编辑与混音处理。

SongGen 如何实现声音克隆?

SongGen 支持基于约三秒参考音频提取音色特征,再结合歌词和描述文本生成带有目标音色的歌曲,从而实现声音克隆效果。

SongGen 的核心技术优势是什么?

它采用自回归 Transformer、X-Codec 音频标记化和多阶段训练策略,能提升歌曲自然度与人声清晰度,同时减少传统方法在训练和推理上的复杂度。

🔬 语宙深潜追问 · 进阶实操拆解
三秒参考音频该怎么用才不串风格?

把参考音频只当作音色和节奏锚点,不要直接复制旋律。训练或推理时应限制其影响范围,优先约束声线、咬字和速度,再用歌词与风格提示控制主旋律走向。

双轨模式适合哪些落地场景?

双轨更适合需要后期可编辑的场景,比如广告歌、短视频配乐和游戏片段。先分离人声与伴奏,便于重混、降噪和二次编曲,但对实时生成和端到端发布的要求会更高。

🗳️ 读者观点微投票 · 您的实战立场是?
文本生成歌曲,最难突破的是旋律还是人声?
🕸️ 语宙向量知识图谱 · 语义强关联深度内链
🐋 所属权威专题:DeepSeek 深度实战与部署 →
  • SongCreator – AI音乐模型,能理解、生成和编辑歌曲
  • 腾讯AI Lab重磅开源SongGeneration:AI音乐生成大模型,多轨合成、风格克隆,媲美商业模型
  • 腾讯清华联手开源SongGeneration 2:4B参数音乐大模型,性能超越Suno v5,1分钟生成完整歌曲
  • SoulX-Singer:Soul App联合双高校开源,零样本歌声合成新标杆,全面解析其技术与应用
🏛️ Prompt 语宙研究院 · Prompt 语宙研究院(paooo.com Research)专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示词工程(Prompt Engineering)与全球高增长 AI 生产力工具实测追踪,致力于为中文开发者与创作者提供一手、可复现的深度技术洞察。
📄 Markdown 纯净版
💡 这篇内容对您有启发吗?
📡 RSS 订阅✨ 提交 AI 工具 / 合作
🚀 Prompt 语宙 AI 创作者生态:探索 2,800+ 全球实用 AI 工具与高精度生图提示词咒语库
🧭 语宙 AI 导航 (ai.paooo.com)🎨 AI 生图 Prompt 库📚 核心专题导航⚡ AIGC 早报生成器
TeleAI 视频生成大模型 – 中国电信AI研究院推出的视频生成模型
谷歌DeepMind重磅开源TIPSv2:多模态模型SOTA,零样本分割领先,参数效率极高
告别昂贵实机示教与仿真失真!华为云将发布首款昇腾原生具身世界模型CloudRoboWM1.2:工业级物理因果建模、软硬协同与千行百业规模化落地全景深度拆解
MMSearch – 评估大型多模态AI搜索引擎能力的基准测试工具
自称“AGI信徒”却坚决否定AI意识!微软CEO纳德拉圆桌交锋:为何AGI是经济命题,并力挺苏莱曼划清道德地位红线?
TAGGED:AI音频与语音大模型微调开源大模型
分享
Email 复制链接 打印
Share
Prompt 语宙研究院 头像
ByPrompt 语宙研究院
Follow:
Prompt 语宙研究院(paooo.com Research)专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示词工程(Prompt Engineering)与全球高增长 AI 生产力工具实测追踪,致力于为中文开发者与创作者提供一手、可复现的深度技术洞察。
上一篇 Kimi Latest – Kimi推出的实时更新AI模型,与Kimi智能助手同步 Kimi Latest – Kimi推出的实时更新AI模型,与Kimi智能助手同步
下一篇 Cua – 专为 MacOS 推出的开源 AI Agent项目 Cua – 专为 MacOS 推出的开源 AI Agent项目
Ad image
Ad image

最近更新

花旗银行、摩根大通与美国银行等多家大型商业银行收紧服务条款,明确用户授权第三方 AI 智能体受损需自行担责
哪怕被黑客盗刷也不赔!花旗、摩根大通与美银等五大银行集体改写条款:使用第三方AI智能体风险由客户全权自担,生态入口博弈全面打响
AIGC 资讯
LangSmith for Coding Agents 代码智能体按 PR 结果核算成本与 ROI 官方封面图
340亿美元编码AI开销如何算清账?LangSmith上线代码智能体ROI追踪:按PR结果归因成本、五大工具全统一与线程上下文通胀治理指南
最新趋势
Axiom Math 利用 AI 多智能体集群完成 1.5 万页有限单群分类定理(CFSG)与 7500 页 Stacks 项目数学形式化验证的可视化点阵图
4300万行代码堪比Linux内核!Axiom Math用AI智能体攻克1.5万页“庞大定理”与Stacks项目形式化验证:百个里程碑与分层多智能体架构全拆解
最新趋势
印度具身智能数据初创公司 Humyn Labs 联合创始人 Ishank Gupta(左)与 Manish Agarwal(右)
半年营收破千万且90%来自美国!印度物理AI数据创企Humyn Labs获4700万美元A轮:双摄硬件、2100万债权垫资与20国采集网全拆解
AIGC 资讯

相关推荐

OpenAI豪掷2.34亿美元新加坡建海外首个AI实验室,剑指全球AI枢纽
AIGC 资讯

OpenAI豪掷2.34亿美元新加坡建海外首个AI实验室,剑指全球AI枢纽

Prompt 语宙研究院
AI实验室 OpenAI 前沿AI 商业化落地 新加坡
AppFlowy – 开源的AI笔记和任务管理工具,对标Notion
AIGC 资讯

AppFlowy – 开源的AI笔记和任务管理工具,对标Notion

Prompt 语宙研究院
AI办公效率 ChatGPT Claude OpenAI 开源大模型
BAGEL – 字节跳动开源的多模态基础模型
AIGC 资讯

BAGEL – 字节跳动开源的多模态基础模型

Prompt 语宙研究院
3D与空间智能 AI绘画提示词 AI视频生成 stable diffusion 开源大模型
VidMuse – Sand.ai 推出的 AI 音乐视频 Agent
AIGC 资讯

VidMuse – Sand.ai 推出的 AI 音乐视频 Agent

Prompt 语宙研究院
AI智能体 AI视频生成 AI音频与语音 Suno Udio
/ Prompt 语宙 /

探索生成式 AI 的无限创作潜能,一站式获取前沿 AIGC 资讯、高阶 Prompt 咒语与全球实用 AI 工具。

核心专栏

  • 语宙 AI 工具导航
  • EVA 视觉抠图工坊Hot
  • 出海数字营销宝典
  • AI 生图咒语灵感库
  • 24H 硅谷 AI 情报流

生态与服务

  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作

标签

开源大模型 AI智能体 AI办公效率 AI绘画提示词 OpenAI 大模型微调 Midjourney AI编程 stable diffusion AI视频生成 ChatGPT 3D与空间智能 HuggingFace AI音频与语音 RAG检索增强 Claude Flux AIGC Gemini 通义千问 Anthropic Llama Cursor DeepSeek Prompt AI Agent Kimi 智谱AI 具身智能 YouTube
Prompt 语宙Prompt 语宙
Follow US
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.