# YuE – 港科大联合 M-A-P 推出的开源AI音乐生成模型

- Link: https://paooo.com/aigc-news/22535/
- Published: 2026-06-09T00:19:14+08:00
- Author: Prompt 语宙研究院

⚡ [Prompt](https://paooo.com/ai-image-prompts/) 语宙 AI 导读 · 30 秒核心看点

 * 歌词可直接生成完整歌曲，覆盖主唱、伴奏与多种风格，支持中英日韩多语言。
 * 通过语义增强音频分词器、双分词和链式思维生成，提升长上下文与音轨同步能力。
 * 模型与代码完全开源，支持命令行灵活调参，适合创作、影视、游戏和社媒配乐。

## YuE是什么

YuE 是香港科技大学和 Multimodal Art Projection 团队联合开发的开源 [AI 音乐生成](https://ai-bot.cn/best-ai-music-generators/)
模型。能将歌词转化为完整的歌曲，支持多种音乐风格，包括流行、金属、爵士、嘻哈等，
并且支持英语、中文、日语和韩语等多种语言。YuE 通过语义增强音频分词器、双分词技术、
歌词链式思维生成和三阶段训练方案，解决了音乐生成中的长上下文、复杂音乐信号、语言
内容失真等挑战，生成的歌曲具有连贯的音乐结构和吸引人的声乐旋律。模型完全开源，用户
可以自由使用和修改代码。提供了灵活的生成选项，用户可以通过简单的命令行参数调整生成
歌曲的风格、声乐类型等细节。

阅读目录

 * [YuE是什么](https://paooo.com/aigc-news/22535/#yue%e6%98%af%e4%bb%80%e4%b9%88)
 * [YuE的主要功能](https://paooo.com/aigc-news/22535/#yue%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd)
 * [YuE的技术原理](https://paooo.com/aigc-news/22535/#yue%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86)
 * [YuE的项目地址](https://paooo.com/aigc-news/22535/#yue%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80)
 * [YuE的应用场景](https://paooo.com/aigc-news/22535/#yue%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af)

![YuE](https://paooo.com/wp-content/uploads/2026/06/YuE-website-1.avif)

## YuE的主要功能

 * **歌词转歌曲**：能将输入的歌词转化为完整的歌曲，包含主唱和伴奏。
 * **多种音乐风格支持**：支持流行、金属、爵士、嘻哈等多种音乐风格。
 * **高质量生成**：通过多种技术优化，确保生成的歌曲连贯且高质量。
 * **多语言支持**：支持英语、中文、日语和韩语等多种语言。
 * **长时间音乐创作**：可以生成长达 5 分钟的完整歌曲。
 * **开源与可定制**：代码和模型完全开源，用户可以自由使用和修改。
 * **情感和风格匹配**：能根据歌词的情感基调生成匹配的音乐风格。
 * **跨模态应用**：可以与其他多模态模型结合，用于多媒体艺术创作。

## YuE的技术原理

 * **语义增强音频分词器**：YuE 使用语义增强音频分词器来降低训练成本并加速收敛。能
   更好地理解歌词的语义信息，与音乐信号相结合，生成更符合歌词内容的音乐。
 * **双分词技术**：YuE 提出了一种双分词技术，用于在不修改 LLaMa 解码器-only 架构
   的情况下实现音轨同步的声乐-乐器建模。模型可以在生成主唱部分的同时，同步生成合适
   的伴奏，确保两者在节奏和旋律上的协调性。
 * **歌词链式思维生成**：YuE 引入了歌词链式思维生成技术，支持模型在遵循歌词条件的
   情况下逐步生成整首歌曲。使模型能更好地处理长上下文信息，确保生成的歌曲在整体结构
   上保持连贯性。
 * **三阶段训练方案**：YuE 采用了三阶段训练方案，确保更好的可扩展性、音乐性和歌词
   可控性。具体来说：
    - **第一阶段**：基础模型训练，学习音乐生成的基本模式。
    - **第二阶段**：风格和情感对齐，通过大量样本来调整模型，能生成特定风格和情感
      的音乐。
    - **第三阶段**：偏好纠正，通过强化学习等技术进一步优化生成结果，确保生成的音乐
      更符合人类的审美标准。

## YuE的项目地址

 * **项目官网**：[https://map-yue.github.io/](https://map-yue.github.io/?utm_source=ai-bot.cn)
 * **GitHub仓库**：[https://github.com/multimodal-art-projection/YuE](https://github.com/multimodal-art-projection/YuE)
 * **HuggingFace模型库**：[https://huggingface.co/m-a-p/YuE-s1-7B-anneal-en-cot](https://huggingface.co/m-a-p/YuE-s1-7B-anneal-en-cot)

## YuE的应用场景

 * **音乐创作**：音乐创作者可以用 YuE 快速生成旋律和伴奏，激发创作灵感。根据用户
   提供的歌词，生成符合其情感和风格需求的个性化歌曲。
 * **影视与视频制作**：为电影、电视剧和短视频生成背景音乐，匹配不同场景的情感和氛围。
   为广告制作朗朗上口的铃声，有效传达品牌信息。
 * **游戏音乐**：为游戏生成匹配场景的背景音乐，增强游戏的沉浸感。
 * **社交媒体内容**：为 TikTok 和 Instagram 等平台上的短视频生成独特的背景音乐。

🧭 文中关联 [AI 工具](https://ai.paooo.com/)官网与参数卡（语宙 AI 导航）

**HuggingFace ↗**

HuggingFace：AI模型开发社区，面向大语言模型场景提供便捷实用的在线功能支持，涵盖大
模型等实用方向。

**Instagram ↗**

Instagram 是 Meta 旗下的全球性图片与视频社交平台，其核心功能已从单纯的视觉分享演进
为融合了强大A

**TikTok ↗**

TikTok是一个以短视频为核心的全球化社交媒体与内容平台。其核心功能围绕着极简的内容
创作、智能的算法推荐和强大

❓ 常见问题解答（FAQ）

YuE 可以把歌词直接生成歌曲吗？

可以。YuE 的核心能力就是将输入歌词转化为完整歌曲，包含主唱和伴奏，并能根据歌词情感
匹配相应风格，适合快速生成可听的音乐草稿或成品。

YuE 支持哪些语言和音乐风格？

根据文中信息，YuE 支持英语、中文、日语和韩语等多种语言，风格覆盖流行、金属、爵士、
嘻哈等类型，适合不同题材和场景的音乐生成需求。

YuE 开源后适合哪些应用场景？

YuE 适合音乐创作、影视与视频配乐、游戏背景音乐以及社交媒体短视频音频制作。由于代码
和模型开源，用户还可以按需修改和二次开发。

🔬 语宙深潜追问 · 进阶实操拆解

多语言歌曲生成最难卡在哪一步？

最难的是歌词韵律、发音连贯和旋律走向同时成立。实操上要先统一音素表示，再做语言条件
控制，最后用风格标签和长度约束稳定副歌重复与段落衔接。

做短视频配乐该怎么提高可控性？

把生成拆成“情绪、节奏、时长、是否有人声”四个控制轴，先生成 2 到 3 个候选版本，再
用局部重写或片段拼接补齐转场。这样更适合批量出片和快速迭代。

🗳️ 读者观点微投票 · 您的实战立场是？

YuE 这种歌词直生成整歌的路线靠谱吗？

🕸️ 语宙向量知识图谱 · 语义强关联深度内链

[🔓 所属权威专题：开源大模型与端侧推理 →](https://paooo.com/topics/open-source-llm/)

 * [SongCreator – AI音乐模型，能理解、生成和编辑歌曲](https://paooo.com/aigc-news/25310/)
 * [SongGen – 上海 AI Lab 和北航、港中文推出的歌曲生成模型](https://paooo.com/aigc-news/21477/)
 * [腾讯AI Lab重磅开源SongGeneration：AI音乐生成大模型，多轨合成、风格克隆，媲美商业模型](https://paooo.com/aigc-news/14765/)
 * [昆仑万维Mureka V8发布：基于MusiCoT技术，AI音乐创作迈向“可发布”时代](https://paooo.com/aigc-news/11785/)

[🏛️ Prompt 语宙研究院](https://paooo.com/author/paooo-research/) · Prompt 语宙研究院（
paooo.com Research）专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示
词工程（Prompt Engineering）与全球高增长 AI 生产力工具实测追踪，致力于为中文开发
者与创作者提供一手、可复现的深度技术洞察。

[📄 Markdown 纯净版](https://paooo.com/aigc-news/22535/?format=md)

💡 这篇内容对您有启发吗？

[📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/)

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)
