Prompt 语宙Prompt 语宙
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
阅读: MuScriptor – Kyutai 联合 Mirelo 开源的多乐器音乐转录模型
Share
通知 阅读更多
Font Resizer字体
Font Resizer字体
Prompt 语宙Prompt 语宙
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
已有帐户? 登陆
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
MuScriptor – Kyutai 联合 Mirelo 开源的多乐器音乐转录模型
Prompt 语宙 > AIGC 资讯 > MuScriptor – Kyutai 联合 Mirelo 开源的多乐器音乐转录模型
AIGC 资讯

MuScriptor – Kyutai 联合 Mirelo 开源的多乐器音乐转录模型

Prompt 语宙研究院
最近更新: 2026年7月20日 上午1:33
AI音频与语音 PyTorch 大模型微调 开源大模型
SHARE
⚡ Prompt 语宙 AI 导读 · 30 秒核心看点
  • 首个在 17 万首真实歌曲上训练的开源多乐器转录模型,面向复杂真实混音场景。
  • 支持 36 类乐器与条件控制,5 秒切片端到端输出 MIDI,兼顾精度与可控性。
  • 官方称其在真实音频上 Multi F1 约 41.6,且代码 MIT 开源、权重可获取。

MuScriptor是什么

MuScriptor 是 Kyutai 与 Mirelo 联合推出的开源多乐器音乐转录模型,可将真实世界多种流派的音乐音频自动转录为 MIDI。MuScriptor是首个在涵盖 17 万首歌曲的大规模真实数据集上训练的同类模型,采用纯解码器 Transformer 架构,提供 60M 至 1.4B 四种参数规模,支持乐器条件控制,代码以 MIT 协议开源。

阅读目录
  • MuScriptor是什么
  • MuScriptor的主要功能
  • MuScriptor的技术原理
  • 如何使用MuScriptor
  • MuScriptor的核心优势
  • MuScriptor的项目地址
  • MuScriptor的同类竞品对比
  • MuScriptor的应用场景

MuScriptor

MuScriptor的主要功能

  • 多乐器音频转录:将包含多种乐器的真实世界音乐音频自动转换为标准 MIDI 格式,支持钢琴、吉他、鼓、贝斯等 36 类乐器。
  • 多流派音乐支持:覆盖流行、古典、摇滚、重金属等多种音乐流派,适配复杂的真实混音场景。
  • 乐器条件控制:支持用户指定需要转录的目标乐器集合,实现定制化输出并稳定跨片段的乐器识别一致性。
  • 多规格模型选择:提供 60M、103M、307M 及 1.4B 四种参数规模,兼顾轻量部署与高精度需求。
  • 端到端自动处理:用5 秒音频切片为单位输入,模型自动完成分帧、特征提取、音符检测与 MIDI 生成全流程。

MuScriptor的技术原理

  • 纯解码器 Transformer 架构:模型用 5 秒音频切片为输入,将 16kHz 单声道音频转换为 mel-spectrogram,通过自回归方式预测 MIDI-like token 序列,实现端到端的多乐器转录。
  • 三阶段训练策略:模型首先在 150 万合成 MIDI 数据上进行预训练,随后在 17 万首真实音乐上微调,最后用 300 首高质量标注数据通过 GRPO 风格的强化学习进行后训练,对齐高质量输出。
  • 乐器条件控制:模型支持通过前缀嵌入指定目标乐器集合,用户可自定义需要转录的乐器种类,同时用 classifier-free guidance 稳定跨片段的乐器分配一致性。
  • 数据合成与增强管线:预训练阶段采用动态合成流程,对 MIDI 进行音高偏移、速度变化、乐器随机化等符号级增强,用 250 多种 soundfont 合成音频,加入随机失谐提升泛化能力。

挖挖GitHub微信关注回复“开源”,加入AI开源项目交流群

如何使用MuScriptor

  • 环境准备:克隆 GitHub 仓库并安装依赖,确保系统支持 Python 及 PyTorch 等深度学习框架。
  • 下载权重:从官方渠道获取对应参数规模(103M、307M 或 1.4B)的模型权重文件。
  • 加载模型:用提供的推理代码初始化模型,可选择是否启用乐器条件控制。
  • 输入音频:将待转录的音频文件(支持多种格式)输入模型,模型自动切分为 5 秒片段进行处理。
  • 获取 MIDI:模型输出标准 MIDI 文件,可直接导入 DAW 或乐谱软件进行后续编辑。

MuScriptor的核心优势

  • 真实世界泛化能力最强:相比依赖合成数据训练的模型(如 MT3),MuScriptor 在 17 万首真实多乐器音乐上训练,在复杂真实混音场景下错误率显著降低,官方称其为迄今最佳开源多乐器转录模型。
  • 强化学习对齐高质量输出:通过后训练阶段的 GRPO 风格强化学习,模型在音符 onset、offset 和 frame 级别的 F1 分数均获得进一步提升,减少漏检和误检。
  • 灵活的乐器条件控制:用户可指定需要转录的乐器种类,能精简输出,也能跨音频片段保持乐器识别的一致性,避免片段间乐器分配波动。
  • 多规格开源:提供从 60M 到 1.4B 的四种模型规模,兼顾边缘设备部署与高精度需求,代码 MIT 开源,权重 CC BY-NC 4.0 可获取。

MuScriptor的项目地址

  • GitHub仓库:https://github.com/muscriptor/muscriptor
  • HuggingFace模型库:https://huggingface.co/MuScriptor
  • arXiv技术论文:https://arxiv.org/pdf/2607.08168v1

MuScriptor的同类竞品对比

对比维度 MuScriptor YourMT3+
发布方 Kyutai / Mirelo 学术研究团队
架构 纯解码器 Transformer 分层注意力 Transformer + MoE
训练数据 150万合成 MIDI + 17万真实音乐 + 300首 RL 数据 小规模合成数据 + 有限真实数据
核心策略 真实数据微调 + 强化学习后训练 架构改进 + 跨数据集增强
乐器控制 支持显式乐器条件控制 不支持
开源协议 代码 MIT / 权重 CC BY-NC 4.0 部分开源
真实音频表现 Multi F1 约 41.6,显著领先 作为 baseline 被超越
力度信息 分词器暂不支持 视具体实现而定

MuScriptor的应用场景

  • 音乐制作辅助:制作人可将无 MIDI 的现有音频快速转换为可编辑的 MIDI 轨道,用于重新编曲、混音或采样。
  • 乐谱自动生成:音乐教育机构和出版方可将录音自动转换为乐谱,降低人工扒谱成本。
  • 音乐信息检索:为和弦识别、调性分析、风格分类等下游任务提供高质量的符号化输入。
  • 生成式音乐建模:为音乐生成模型提供大规模、高质量的 MIDI 训练数据,推动符号音乐生成研究。
  • 音乐考古与存档:将历史录音、现场演出等非结构化音频转化为结构化 MIDI 数据,便于数字化保存与分析。
🧭 文中关联 AI 工具官网与参数卡(语宙 AI 导航)
音频转换 ↗
音频转换:任何格式音频文件,面向通用效率工具场景提供便捷实用的在线功能支持,涵盖在线工具、文件格式、跨平台等实用
PyTorch ↗
PyTorch:开源的机器学习库,面向AI 开发平台场景提供便捷实用的在线功能支持,涵盖智能工具等实用方向。
❓ 常见问题解答(FAQ)
MuScriptor可以把音乐音频转成MIDI吗?

可以。MuScriptor 的核心能力就是将真实世界多流派、多乐器音乐音频自动转录为标准 MIDI,支持钢琴、吉他、鼓、贝斯等 36 类乐器,适合扒谱、编曲和后期编辑。

MuScriptor支持指定只转录某些乐器吗?

支持。它提供乐器条件控制,可通过前缀嵌入指定目标乐器集合,输出更聚焦;同时结合 classifier-free guidance,提升跨片段的乐器识别一致性。

MuScriptor和MT3相比有什么优势?

文章信息显示,MuScriptor 更强调真实世界泛化能力:在 17 万首真实音乐上训练,并加入强化学习后训练。官方称其在复杂混音场景下表现优于依赖合成数据的基线模型。

🔬 语宙深潜追问 · 进阶实操拆解
多乐器转录怎么提升混音场景准确率?

核心是做乐器条件控制和分轨约束,先识别主导声部,再逐层拆分伴奏与和声。实操中要用真实混音数据评估,而不是只看干净单轨;同时关注节拍漂移、重叠泛音和弱音器乐器的识别误差。

音乐人如何把它接进创作流程?

可把它当作“快速草稿生成器”:先转录出MIDI骨架,再由编曲软件做和声修正、速度映射和音色替换。对商业发行级作品,建议保留人工校对环节,尤其是鼓组、贝斯和复杂和声段落。

🗳️ 读者观点微投票 · 您的实战立场是?
多乐器转录开源后,扒谱会被AI彻底改写吗?
🕸️ 语宙向量知识图谱 · 语义强关联深度内链
🐋 所属权威专题:DeepSeek 深度实战与部署 →
  • FluxMusic – 开源的AI音乐生成模型,通过文本描述创造音乐
  • 腾讯清华联手开源SongGeneration 2:4B参数音乐大模型,性能超越Suno v5,1分钟生成完整歌曲
  • OpenMusic – 基于 QA-MDT 的开源高质量文生音乐模型
  • QA-MDT – 中科大联合科大讯飞推出开源音乐生成模型
🏛️ Prompt 语宙研究院 · Prompt 语宙研究院(paooo.com Research)专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示词工程(Prompt Engineering)与全球高增长 AI 生产力工具实测追踪,致力于为中文开发者与创作者提供一手、可复现的深度技术洞察。
📄 Markdown 纯净版
💡 这篇内容对您有启发吗?
📡 RSS 订阅✨ 提交 AI 工具 / 合作
🚀 Prompt 语宙 AI 创作者生态:探索 2,800+ 全球实用 AI 工具与高精度生图提示词咒语库
🧭 语宙 AI 导航 (ai.paooo.com)🎨 AI 生图 Prompt 库📚 核心专题导航⚡ AIGC 早报生成器
QVQ-72B-Preview – 阿里通义开源的多模态推理模型
一些有价值的职场建议 [译]
Steamer-I2V – 百度推出的图像到视频生成模型
CSDI峰会开启:Agentic AI 落地应用的黄金期,智能系统重塑生产力
DeepSeek-Coder-V2 – DeepSeek开源的代码语言模型,与GPT4-Turbo相媲美
TAGGED:AI音频与语音PyTorch大模型微调开源大模型
分享
Email 复制链接 打印
Share
Prompt 语宙研究院 头像
ByPrompt 语宙研究院
Follow:
Prompt 语宙研究院(paooo.com Research)专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示词工程(Prompt Engineering)与全球高增长 AI 生产力工具实测追踪,致力于为中文开发者与创作者提供一手、可复现的深度技术洞察。
上一篇 Diffree – OpenGVLab推出的AI贴图框架 Diffree – OpenGVLab推出的AI贴图框架
下一篇 MindSearch – 上海人工智能实验室推出的AI搜索框架 MindSearch – 上海人工智能实验室推出的AI搜索框架
Ad image
Ad image

最近更新

WordPress 7.2版本更新与默认随机重定向、Secrets API撤回及MCP核心能力拆解封面图
官方博客竟把关闭过滤器写错了!WordPress 7.2前瞻全拆解:默认/random/暗藏隐私与SEO风险、Secrets API紧急撤回与3项MCP只读能力落地
AI 工具
Anthropic上市募资与算力长约的隐喻:现金光环上升,数据中心暗链延伸,治理水晶承受张力与阻力冲击。
募资超1070亿美元却背负9000亿算力长约!Anthropic史上最大IPO背后的三大隐忧:1040亿年内亏损、地方抵制潮与PBC治理死结
AIGC 资讯
微软Copilot与Claude/ChatGPT价格战隐喻:发光玻璃表格堡垒守住Excel,数据流高效汇聚,企业AI竞争升级
3000万付费仅吃下4.5亿席位不到7%!微软Ignite正面叫板Claude与ChatGPT:月均30美元VS 205美元价格战与Excel保卫战全拆解
AIGC 资讯
联想AI推理时代的端边云全栈算力插画:玻璃拟态服务器核心发光,光流连接云端与边缘节点,呈现营收与订单增长动能。
AI营收暴涨80%且握5300亿服务器订单!联想Q2单季营收首破2000亿、净利狂飙166%:端边云全栈算力如何接住推理时代红利?
AIGC 资讯

相关推荐

MAI-Image-2.5 – 微软推出的旗舰级文生图模型
AIGC 资讯

MAI-Image-2.5 – 微软推出的旗舰级文生图模型

Prompt 语宙研究院
AI绘画提示词 Flux Gemini OpenAI
xAI推出Grok Code Fast 1:每秒92 Token、256K上下文的免费AI编程助手
AI 工具AIGC 资讯

xAI推出Grok Code Fast 1:每秒92 Token、256K上下文的免费AI编程助手

Prompt 语宙研究院
AI编程模型 GitHub Copilot Grok Code Fast 1 xAI 代码生成
黑森林实验室放出 Flux3:首个原生生成音频的多模态基础模型,20 秒音画同步一次成型
AIGC 资讯

黑森林实验室放出 Flux3:首个原生生成音频的多模态基础模型,20 秒音画同步一次成型

Prompt 语宙研究院
AI视频生成 AI音频与语音 Flux Gemini runway
PIKE-RAG – 微软亚洲研究院推出的检索增强型生成框架
AIGC 资讯

PIKE-RAG – 微软亚洲研究院推出的检索增强型生成框架

Prompt 语宙研究院
AI智能体 RAG检索增强 开源大模型
/ Prompt 语宙 /

探索生成式 AI 的无限创作潜能,一站式获取前沿 AIGC 资讯、高阶 Prompt 咒语与全球实用 AI 工具。

核心专栏

  • 语宙 AI 工具导航
  • EVA 视觉抠图工坊Hot
  • 出海数字营销宝典
  • AI 生图咒语灵感库
  • 24H 硅谷 AI 情报流

生态与服务

  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作

标签

开源大模型 AI智能体 AI办公效率 AI绘画提示词 OpenAI 大模型微调 Midjourney AI编程 stable diffusion AI视频生成 ChatGPT 3D与空间智能 HuggingFace AI音频与语音 RAG检索增强 Claude Flux AIGC Gemini 通义千问 Anthropic Llama Cursor DeepSeek Prompt AI Agent Kimi 智谱AI 具身智能 YouTube
Prompt 语宙Prompt 语宙
Follow US
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.