# MuScriptor – Kyutai 联合 Mirelo 开源的多乐器音乐转录模型

- Link: https://paooo.com/aigc-news/31924/
- Published: 2026-07-20T01:33:12+08:00
- Author: Prompt 语宙研究院

⚡ [Prompt](https://paooo.com/ai-image-prompts/) 语宙 AI 导读 · 30 秒核心看点

 * 首个在 17 万首真实歌曲上训练的开源多乐器转录模型，面向复杂真实混音场景。
 * 支持 36 类乐器与条件控制，5 秒切片端到端输出 MIDI，兼顾精度与可控性。
 * 官方称其在真实音频上 Multi F1 约 41.6，且代码 MIT 开源、权重可获取。

## MuScriptor是什么

MuScriptor 是 Kyutai 与 Mirelo 联合推出的开源多乐器音乐转录模型，可将真实世界多种
流派的音乐音频自动转录为 MIDI。MuScriptor是首个在涵盖 17 万首歌曲的大规模真实数据
集上训练的同类模型，采用纯解码器 Transformer 架构，提供 60M 至 1.4B 四种参数规模，
支持乐器条件控制，代码以 MIT 协议开源。

阅读目录

 * [MuScriptor是什么](https://paooo.com/aigc-news/31924/#muscriptor%e6%98%af%e4%bb%80%e4%b9%88)
 * [MuScriptor的主要功能](https://paooo.com/aigc-news/31924/#muscriptor%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd)
 * [MuScriptor的技术原理](https://paooo.com/aigc-news/31924/#muscriptor%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86)
 * [如何使用MuScriptor](https://paooo.com/aigc-news/31924/#%e5%a6%82%e4%bd%95%e4%bd%bf%e7%94%a8muscriptor)
 * [MuScriptor的核心优势](https://paooo.com/aigc-news/31924/#muscriptor%e7%9a%84%e6%a0%b8%e5%bf%83%e4%bc%98%e5%8a%bf)
 * [MuScriptor的项目地址](https://paooo.com/aigc-news/31924/#muscriptor%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80)
 * [MuScriptor的同类竞品对比](https://paooo.com/aigc-news/31924/#muscriptor%e7%9a%84%e5%90%8c%e7%b1%bb%e7%ab%9e%e5%93%81%e5%af%b9%e6%af%94)
 * [MuScriptor的应用场景](https://paooo.com/aigc-news/31924/#muscriptor%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af)

![MuScriptor](https://paooo.com/wp-content/uploads/2026/07/MuScriptor-website-1.
avif)

## MuScriptor的主要功能

 * **多乐器音频转录**：将包含多种乐器的真实世界音乐音频自动转换为标准 MIDI 格式，
   支持钢琴、吉他、鼓、贝斯等 36 类乐器。
 * **多流派音乐支持**：覆盖流行、古典、摇滚、重金属等多种音乐流派，适配复杂的真实
   混音场景。
 * **乐器条件控制**：支持用户指定需要转录的目标乐器集合，实现定制化输出并稳定跨片段
   的乐器识别一致性。
 * **多规格模型选择**：提供 60M、103M、307M 及 1.4B 四种参数规模，兼顾轻量部署与
   高精度需求。
 * **端到端自动处理**：用5 秒音频切片为单位输入，模型自动完成分帧、特征提取、音符
   检测与 MIDI 生成全流程。

## MuScriptor的技术原理

 * **纯解码器 Transformer 架构**：模型用 5 秒音频切片为输入，将 16kHz 单声道音频
   转换为 mel-spectrogram，通过自回归方式预测 MIDI-like token 序列，实现端到端的
   多乐器转录。
 * **三阶段训练策略**：模型首先在 150 万合成 MIDI 数据上进行预训练，随后在 17 万
   首真实音乐上微调，最后用 300 首高质量标注数据通过 GRPO 风格的强化学习进行后训练，
   对齐高质量输出。
 * **乐器条件控制**：模型支持通过前缀嵌入指定目标乐器集合，用户可自定义需要转录的
   乐器种类，同时用 classifier-free guidance 稳定跨片段的乐器分配一致性。
 * **数据合成与增强管线**：预训练阶段采用动态合成流程，对 MIDI 进行音高偏移、速度
   变化、乐器随机化等符号级增强，用 250 多种 soundfont 合成音频，加入随机失谐提升
   泛化能力。

⌊挖挖GitHub⌉⌊挖挖GitHub⌉微信关注回复“**开源**”，加入**AI开源项目交流群**

## 如何使用MuScriptor

 * **环境准备**：克隆 GitHub 仓库并安装依赖，确保系统支持 Python 及 PyTorch 等深度
   学习框架。
 * **下载权重**：从官方渠道获取对应参数规模（103M、307M 或 1.4B）的模型权重文件。
 * **加载模型**：用提供的推理代码初始化模型，可选择是否启用乐器条件控制。
 * **输入音频**：将待转录的音频文件（支持多种格式）输入模型，模型自动切分为 5 秒
   片段进行处理。
 * **获取 MIDI**：模型输出标准 MIDI 文件，可直接导入 DAW 或乐谱软件进行后续编辑。

## MuScriptor的核心优势

 * **真实世界泛化能力最强**：相比依赖合成数据训练的模型（如 MT3），MuScriptor 在
   17 万首真实多乐器音乐上训练，在复杂真实混音场景下错误率显著降低，官方称其为迄今
   最佳开源多乐器转录模型。
 * **强化学习对齐高质量输出**：通过后训练阶段的 GRPO 风格强化学习，模型在音符 onset、
   offset 和 frame 级别的 F1 分数均获得进一步提升，减少漏检和误检。
 * **灵活的乐器条件控制**：用户可指定需要转录的乐器种类，能精简输出，也能跨音频片段
   保持乐器识别的一致性，避免片段间乐器分配波动。
 * **多规格开源**：提供从 60M 到 1.4B 的四种模型规模，兼顾边缘设备部署与高精度需求，
   代码 MIT 开源，权重 CC BY-NC 4.0 可获取。

## MuScriptor的项目地址

 * **GitHub仓库**：https://github.com/muscriptor/muscriptor
 * **HuggingFace模型库**：https://huggingface.co/MuScriptor
 * **arXiv技术论文**：https://arxiv.org/pdf/2607.08168v1

## MuScriptor的同类竞品对比

  |  对比维度 |  MuScriptor |  YourMT3+ |  
   |  **发布方** |  Kyutai / Mirelo |  学术研究团队 |  
 |  **架构** |  纯解码器 Transformer |  分层注意力 Transformer + MoE |  
 |  **训练数据** |  150万合成 MIDI + 17万真实音乐 + 300首 RL 数据 |  小规模合成数据 + 有限真实数据 |  
 |  **核心策略** |  真实数据微调 + 强化学习后训练 |  架构改进 + 跨数据集增强 |  
 |  **乐器控制** |  支持显式乐器条件控制 |  不支持 |  
 |  **开源协议** |  代码 MIT / 权重 CC BY-NC 4.0 |  部分开源 |  
 |  **真实音频表现** |  Multi F1 约 41.6，显著领先 |  作为 baseline 被超越 |  
 |  **力度信息** |  分词器暂不支持 |  视具体实现而定 |

## MuScriptor的应用场景

 * **音乐制作辅助**：制作人可将无 MIDI 的现有音频快速转换为可编辑的 MIDI 轨道，用于
   重新编曲、混音或采样。
 * **乐谱自动生成**：音乐教育机构和出版方可将录音自动转换为乐谱，降低人工扒谱成本。
 * **音乐信息检索**：为和弦识别、调性分析、风格分类等下游任务提供高质量的符号化输入。
 * **生成式音乐建模**：为音乐生成模型提供大规模、高质量的 MIDI 训练数据，推动符号
   音乐生成研究。
 * **音乐考古与存档**：将历史录音、现场演出等非结构化音频转化为结构化 MIDI 数据，
   便于数字化保存与分析。

🧭 文中关联 [AI 工具](https://ai.paooo.com/)官网与参数卡（语宙 AI 导航）

**音频转换 ↗**

音频转换：任何格式音频文件，面向通用效率工具场景提供便捷实用的在线功能支持，涵盖
在线工具、文件格式、跨平台等实用

**PyTorch ↗**

PyTorch：开源的机器学习库，面向AI 开发平台场景提供便捷实用的在线功能支持，涵盖智能
工具等实用方向。

❓ 常见问题解答（FAQ）

MuScriptor可以把音乐音频转成MIDI吗？

可以。MuScriptor 的核心能力就是将真实世界多流派、多乐器音乐音频自动转录为标准 MIDI，
支持钢琴、吉他、鼓、贝斯等 36 类乐器，适合扒谱、编曲和后期编辑。

MuScriptor支持指定只转录某些乐器吗？

支持。它提供乐器条件控制，可通过前缀嵌入指定目标乐器集合，输出更聚焦；同时结合 classifier-
free guidance，提升跨片段的乐器识别一致性。

MuScriptor和MT3相比有什么优势？

文章信息显示，MuScriptor 更强调真实世界泛化能力：在 17 万首真实音乐上训练，并加入
强化学习后训练。官方称其在复杂混音场景下表现优于依赖合成数据的基线模型。

🔬 语宙深潜追问 · 进阶实操拆解

多乐器转录怎么提升混音场景准确率？

核心是做乐器条件控制和分轨约束，先识别主导声部，再逐层拆分伴奏与和声。实操中要用
真实混音数据评估，而不是只看干净单轨；同时关注节拍漂移、重叠泛音和弱音器乐器的识别
误差。

音乐人如何把它接进创作流程？

可把它当作“快速草稿生成器”：先转录出MIDI骨架，再由编曲软件做和声修正、速度映射和
音色替换。对商业发行级作品，建议保留人工校对环节，尤其是鼓组、贝斯和复杂和声段落。

🗳️ 读者观点微投票 · 您的实战立场是？

多乐器转录开源后，扒谱会被AI彻底改写吗？

🕸️ 语宙向量知识图谱 · 语义强关联深度内链

[🐋 所属权威专题：DeepSeek 深度实战与部署 →](https://paooo.com/topics/deepseek/)

 * [FluxMusic – 开源的AI音乐生成模型，通过文本描述创造音乐](https://paooo.com/aigc-news/27015/)
 * [腾讯清华联手开源SongGeneration 2：4B参数音乐大模型，性能超越Suno v5，1分钟生成完整歌曲](https://paooo.com/aigc-news/11310/)
 * [OpenMusic – 基于 QA-MDT 的开源高质量文生音乐模型](https://paooo.com/aigc-news/26719/)
 * [QA-MDT – 中科大联合科大讯飞推出开源音乐生成模型](https://paooo.com/aigc-news/26883/)

[🏛️ Prompt 语宙研究院](https://paooo.com/author/paooo-research/) · Prompt 语宙研究院（
paooo.com Research）专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示
词工程（Prompt Engineering）与全球高增长 AI 生产力工具实测追踪，致力于为中文开发
者与创作者提供一手、可复现的深度技术洞察。

[📄 Markdown 纯净版](https://paooo.com/aigc-news/31924/?format=md)

💡 这篇内容对您有启发吗？

[📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/)

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)
