Prompt 语宙Prompt 语宙
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
阅读: YuE – 港科大联合 M-A-P 推出的开源AI音乐生成模型
Share
通知 阅读更多
Font Resizer字体
Font Resizer字体
Prompt 语宙Prompt 语宙
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
已有帐户? 登陆
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
YuE – 港科大联合 M-A-P 推出的开源AI音乐生成模型
Prompt 语宙 > AIGC 资讯 > YuE – 港科大联合 M-A-P 推出的开源AI音乐生成模型
AIGC 资讯

YuE – 港科大联合 M-A-P 推出的开源AI音乐生成模型

Prompt 语宙研究院
最近更新: 2026年6月9日 上午12:19
AI音频与语音 HuggingFace Llama TikTok 开源大模型
SHARE
⚡ Prompt 语宙 AI 导读 · 30 秒核心看点
  • 歌词可直接生成完整歌曲,覆盖主唱、伴奏与多种风格,支持中英日韩多语言。
  • 通过语义增强音频分词器、双分词和链式思维生成,提升长上下文与音轨同步能力。
  • 模型与代码完全开源,支持命令行灵活调参,适合创作、影视、游戏和社媒配乐。

YuE是什么

YuE 是香港科技大学和 Multimodal Art Projection 团队联合开发的开源 AI 音乐生成模型。能将歌词转化为完整的歌曲,支持多种音乐风格,包括流行、金属、爵士、嘻哈等,并且支持英语、中文、日语和韩语等多种语言。YuE 通过语义增强音频分词器、双分词技术、歌词链式思维生成和三阶段训练方案,解决了音乐生成中的长上下文、复杂音乐信号、语言内容失真等挑战,生成的歌曲具有连贯的音乐结构和吸引人的声乐旋律。模型完全开源,用户可以自由使用和修改代码。提供了灵活的生成选项,用户可以通过简单的命令行参数调整生成歌曲的风格、声乐类型等细节。

阅读目录
  • YuE是什么
  • YuE的主要功能
  • YuE的技术原理
  • YuE的项目地址
  • YuE的应用场景

YuE

YuE的主要功能

  • 歌词转歌曲:能将输入的歌词转化为完整的歌曲,包含主唱和伴奏。
  • 多种音乐风格支持:支持流行、金属、爵士、嘻哈等多种音乐风格。
  • 高质量生成:通过多种技术优化,确保生成的歌曲连贯且高质量。
  • 多语言支持:支持英语、中文、日语和韩语等多种语言。
  • 长时间音乐创作:可以生成长达 5 分钟的完整歌曲。
  • 开源与可定制:代码和模型完全开源,用户可以自由使用和修改。
  • 情感和风格匹配:能根据歌词的情感基调生成匹配的音乐风格。
  • 跨模态应用:可以与其他多模态模型结合,用于多媒体艺术创作。

YuE的技术原理

  • 语义增强音频分词器:YuE 使用语义增强音频分词器来降低训练成本并加速收敛。能更好地理解歌词的语义信息,与音乐信号相结合,生成更符合歌词内容的音乐。
  • 双分词技术:YuE 提出了一种双分词技术,用于在不修改 LLaMa 解码器-only 架构的情况下实现音轨同步的声乐-乐器建模。模型可以在生成主唱部分的同时,同步生成合适的伴奏,确保两者在节奏和旋律上的协调性。
  • 歌词链式思维生成:YuE 引入了歌词链式思维生成技术,支持模型在遵循歌词条件的情况下逐步生成整首歌曲。使模型能更好地处理长上下文信息,确保生成的歌曲在整体结构上保持连贯性。
  • 三阶段训练方案:YuE 采用了三阶段训练方案,确保更好的可扩展性、音乐性和歌词可控性。具体来说:
    • 第一阶段:基础模型训练,学习音乐生成的基本模式。
    • 第二阶段:风格和情感对齐,通过大量样本来调整模型,能生成特定风格和情感的音乐。
    • 第三阶段:偏好纠正,通过强化学习等技术进一步优化生成结果,确保生成的音乐更符合人类的审美标准。

YuE的项目地址

  • 项目官网:https://map-yue.github.io/
  • GitHub仓库:https://github.com/multimodal-art-projection/YuE
  • HuggingFace模型库:https://huggingface.co/m-a-p/YuE-s1-7B-anneal-en-cot

YuE的应用场景

  • 音乐创作:音乐创作者可以用 YuE 快速生成旋律和伴奏,激发创作灵感。根据用户提供的歌词,生成符合其情感和风格需求的个性化歌曲。
  • 影视与视频制作:为电影、电视剧和短视频生成背景音乐,匹配不同场景的情感和氛围。为广告制作朗朗上口的铃声,有效传达品牌信息。
  • 游戏音乐:为游戏生成匹配场景的背景音乐,增强游戏的沉浸感。
  • 社交媒体内容:为 TikTok 和 Instagram 等平台上的短视频生成独特的背景音乐。
🧭 文中关联 AI 工具官网与参数卡(语宙 AI 导航)
HuggingFace ↗
HuggingFace:AI模型开发社区,面向大语言模型场景提供便捷实用的在线功能支持,涵盖大模型等实用方向。
Instagram ↗
Instagram 是 Meta 旗下的全球性图片与视频社交平台,其核心功能已从单纯的视觉分享演进为融合了强大A
TikTok ↗
TikTok是一个以短视频为核心的全球化社交媒体与内容平台。其核心功能围绕着极简的内容创作、智能的算法推荐和强大
❓ 常见问题解答(FAQ)
YuE 可以把歌词直接生成歌曲吗?

可以。YuE 的核心能力就是将输入歌词转化为完整歌曲,包含主唱和伴奏,并能根据歌词情感匹配相应风格,适合快速生成可听的音乐草稿或成品。

YuE 支持哪些语言和音乐风格?

根据文中信息,YuE 支持英语、中文、日语和韩语等多种语言,风格覆盖流行、金属、爵士、嘻哈等类型,适合不同题材和场景的音乐生成需求。

YuE 开源后适合哪些应用场景?

YuE 适合音乐创作、影视与视频配乐、游戏背景音乐以及社交媒体短视频音频制作。由于代码和模型开源,用户还可以按需修改和二次开发。

🔬 语宙深潜追问 · 进阶实操拆解
多语言歌曲生成最难卡在哪一步?

最难的是歌词韵律、发音连贯和旋律走向同时成立。实操上要先统一音素表示,再做语言条件控制,最后用风格标签和长度约束稳定副歌重复与段落衔接。

做短视频配乐该怎么提高可控性?

把生成拆成“情绪、节奏、时长、是否有人声”四个控制轴,先生成 2 到 3 个候选版本,再用局部重写或片段拼接补齐转场。这样更适合批量出片和快速迭代。

🗳️ 读者观点微投票 · 您的实战立场是?
YuE 这种歌词直生成整歌的路线靠谱吗?
🕸️ 语宙向量知识图谱 · 语义强关联深度内链
🔓 所属权威专题:开源大模型与端侧推理 →
  • SongCreator – AI音乐模型,能理解、生成和编辑歌曲
  • SongGen – 上海 AI Lab 和北航、港中文推出的歌曲生成模型
  • 腾讯AI Lab重磅开源SongGeneration:AI音乐生成大模型,多轨合成、风格克隆,媲美商业模型
  • 昆仑万维Mureka V8发布:基于MusiCoT技术,AI音乐创作迈向“可发布”时代
🏛️ Prompt 语宙研究院 · Prompt 语宙研究院(paooo.com Research)专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示词工程(Prompt Engineering)与全球高增长 AI 生产力工具实测追踪,致力于为中文开发者与创作者提供一手、可复现的深度技术洞察。
📄 Markdown 纯净版
💡 这篇内容对您有启发吗?
📡 RSS 订阅✨ 提交 AI 工具 / 合作
🚀 Prompt 语宙 AI 创作者生态:探索 2,800+ 全球实用 AI 工具与高精度生图提示词咒语库
🧭 语宙 AI 导航 (ai.paooo.com)🎨 AI 生图 Prompt 库📚 核心专题导航⚡ AIGC 早报生成器
MakeMyTale
Poolside 重磅开源!Laguna S 2.1 免费上线 OpenCode,1M 超长上下文 +118B MoE 模型引领代理编码新纪元
Kimi K2.7 Code – 月之暗面开源的新一代编程专用模型
不让NVIDIA吃独食!AMD下一代Zen5 AI加速器在路上
韩国最大 AI 模型问世:LG 发布 7500 亿参数 K-EXAONE 2.0,Apache 开源直面中国模型
TAGGED:AI音频与语音HuggingFaceLlamaTikTok开源大模型
分享
Email 复制链接 打印
Share
Prompt 语宙研究院 头像
ByPrompt 语宙研究院
Follow:
Prompt 语宙研究院(paooo.com Research)专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示词工程(Prompt Engineering)与全球高增长 AI 生产力工具实测追踪,致力于为中文开发者与创作者提供一手、可复现的深度技术洞察。
上一篇 X-Dyna – 字节联合斯坦福等高校推出的动画生成框架 X-Dyna – 字节联合斯坦福等高校推出的动画生成框架
下一篇 HumanOmni – 阿里通义等推出专注人类中心场景的多模态大模型 HumanOmni – 阿里通义等推出专注人类中心场景的多模态大模型
Ad image
Ad image

最近更新

WordPress 7.2版本更新与默认随机重定向、Secrets API撤回及MCP核心能力拆解封面图
官方博客竟把关闭过滤器写错了!WordPress 7.2前瞻全拆解:默认/random/暗藏隐私与SEO风险、Secrets API紧急撤回与3项MCP只读能力落地
AI 工具
Anthropic上市募资与算力长约的隐喻:现金光环上升,数据中心暗链延伸,治理水晶承受张力与阻力冲击。
募资超1070亿美元却背负9000亿算力长约!Anthropic史上最大IPO背后的三大隐忧:1040亿年内亏损、地方抵制潮与PBC治理死结
AIGC 资讯
微软Copilot与Claude/ChatGPT价格战隐喻:发光玻璃表格堡垒守住Excel,数据流高效汇聚,企业AI竞争升级
3000万付费仅吃下4.5亿席位不到7%!微软Ignite正面叫板Claude与ChatGPT:月均30美元VS 205美元价格战与Excel保卫战全拆解
AIGC 资讯
联想AI推理时代的端边云全栈算力插画:玻璃拟态服务器核心发光,光流连接云端与边缘节点,呈现营收与订单增长动能。
AI营收暴涨80%且握5300亿服务器订单!联想Q2单季营收首破2000亿、净利狂飙166%:端边云全栈算力如何接住推理时代红利?
AIGC 资讯

相关推荐

08-21 AIGC 早报
AIGC 早报

08-21 AIGC 早报

Carmen
ChatGPT Cursor OpenAI 开源大模型 早报
Thinking Machines推出首个开源大模型Inkling,主打定制化对抗“一刀切”AI
AIGC 资讯

Thinking Machines推出首个开源大模型Inkling,主打定制化对抗“一刀切”AI

Prompt 语宙研究院
AI编程 OpenAI 大模型微调 开源大模型
OpenAI安全团队再失核心,近年已有 8 名安全负责人相继出走
AIGC 资讯

OpenAI安全团队再失核心,近年已有 8 名安全负责人相继出走

Prompt 语宙研究院
AI智能体 Anthropic Claude OpenAI
FLUX.2 [klein] 开源:Black Forest Labs 推出亚秒级图像生成模型,4B版仅需13GB显存
AI 工具AIGC 资讯

FLUX.2 [klein] 开源:Black Forest Labs 推出亚秒级图像生成模型,4B版仅需13GB显存

Prompt 语宙研究院
AIGC Black Forest Labs 图像生成模型 文生图 模型量化
/ Prompt 语宙 /

探索生成式 AI 的无限创作潜能,一站式获取前沿 AIGC 资讯、高阶 Prompt 咒语与全球实用 AI 工具。

核心专栏

  • 语宙 AI 工具导航
  • EVA 视觉抠图工坊Hot
  • 出海数字营销宝典
  • AI 生图咒语灵感库
  • 24H 硅谷 AI 情报流

生态与服务

  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作

标签

开源大模型 AI智能体 AI办公效率 AI绘画提示词 OpenAI 大模型微调 Midjourney AI编程 stable diffusion AI视频生成 ChatGPT 3D与空间智能 HuggingFace AI音频与语音 RAG检索增强 Claude Flux AIGC Gemini 通义千问 Anthropic Llama Cursor DeepSeek Prompt AI Agent Kimi 智谱AI 具身智能 YouTube
Prompt 语宙Prompt 语宙
Follow US
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.