# 小红书开源 BigMac：把多模态训练的显存与速度，从二选一中解放出来

- Link: https://paooo.com/aigc-news/38502/
- Published: 2026-07-23T10:27:46+08:00
- Author: Prompt 语宙研究院

⚡ [Prompt](https://paooo.com/ai-image-prompts/) 语宙 AI 导读 · 30 秒核心看点

 * BigMac 以准依赖安全的嵌套流水线重写调度结构，让多模态训练兼顾吞吐与显存。
 * 它把全局 schedule、接口封装和 profiler/simulator 工具链一起开源，便于工程落地。
 * 实测在理解与生成两类负载上均优于基线，尤其解决了大 batch 下的显存爆炸与 OOM。

多模态大语言模型正在成为新一代 AI 的地基，但它的训练系统却被一个老问题卡了很久——
算得快的，显存撑不住;显存省着的，速度又掉下去。小红书 dots infra 团队把这个两难叫做
多模态流水训练的帕累托前沿，而现在他们把这个前沿撕开了一道口子。7月22日，团队正式
开源了名为 BigMac 的流水并行训练新范式，专门针对原生多模态场景，开源地址已挂在 GitHub
的 Dots-Infra 之下。

多模态模型从来不是一块规整的 transformer。一个典型的 MLLM 由三块拼成:把图像、音频
转成 embedding 的模态编码器，在其上做推理的 LLM 主干，以及把 LLM 输出映射回图像、
语音等目标模态的生成器。这三块形态差异巨大，把它们塞进同一条流水线，麻烦就来了。

![image.png](https://paooo.com/wp-content/uploads/2026/07/6392039825823845285845065-
1.avif "image.png")

业界此前通常两条路:一条计算高效，把编码器和生成器从 LLM 流水线里摘出去单独跑，好处
是模态模块的耗时波动不会在 LLM 流水线里制造空泡，坏处是激活显存会随 microbatch 数量
一路膨胀，生产规模下尤其昂贵;另一条显存高效，把所有模块塞进同一条流水线做首尾阶段，
激活生命周期短了、显存低了，但只要某个编码器或生成器慢一点，整条 LLM 流水线就得干
等，尾部空泡随之而生。规模一大，这两种设计的瓶颈都会暴露。

BigMac 的出发点朴素却关键:调度的主干，仍然应该是那条已经高度优化的 LLM 流水线。大规模
LLM 训练早已依赖1F1B 或 interleaved1F1B 这类成熟 schedule，它们与生产级训练栈深度
绑定。BigMac 不替换它们，而是把 LLM schedule 当作底层时间线，再把编码器和生成器的
计算，插入到输入已就绪、且不会打乱 LLM 执行顺序的位置。团队称这种设计为准依赖安全
的嵌套流水线。

它带来两个性质:其一，编码器与生成器的耗时波动不再沿 LLM 流水线一路传导，LLM 仍按
自己本该遵循的节奏推进;其二，模态激活显存被算法层面压到 O（1），编码器不必为所有
microbatch 保留激活直到流水线结束，生成器也不必拖着长长的激活尾巴。换句话说，BigMac
不是在显存和空泡之间做交换，而是改写了 schedule 的结构，让这两个目标不再非此即彼。

![image.png](https://paooo.com/wp-content/uploads/2026/07/6392039827579314637348769.
avif "image.png")

从能设计 schedule 到真正训得起来，中间还隔着系统集成、接口定义和性能排查这一整套
工程关卡，BigMac 正是冲着这些环节去的。它给了三件东西。第一是把全局 schedule 摆到
明面上:运行时的 Scheduler 会生成一张覆盖所有 pipeline rank、microbatch 和模块类型
的全局 operator 表，Executor 再把它拆成每个 rank 上的本地序列，分发给 Megatron Core
等 LLM 后端、模态 runtime 和通信后端。调度策略从此可见、可检查，又对后端友好。

第二是对算法工程师无感的流水并行接口:工程师只需描述每个模块生产什么、消费什么，剩下
的 stage 划分、activation 与 gradient 交接、跨设备通信全由 BigMac 在底层料理，让
一个在单卡上验证过的多模态实验，能更自然地扩展到流水并行。第三是一套理解 schedule
结构的 profiler、simulator 和可视化工具链，把一次训练迭代拆回 operator 级别，看清
每个 rank 在每个时间点究竟在算什么、在哪里空转、哪条依赖卡住了后续;simulator 还能
在花大钱启动训练前，先试不同的 PP 配置和 microbatch 组合，预估对空泡和吞吐的影响。

效果在两类代表性负载上得到了验证。MLLM-Understanding 用 Qwen3-30B-A3B 当主干、配
一个1.3B 的 ViT 编码器，相比计算高效基线 Optimus，BigMac 提速1.08到1.1倍，相比显
存高效基线 Megatron-DistTrain 提速1.6到1.9倍;更关键的是显存，随着 per-GPU batch 
size 增大，BigMac 的峰值显存保持平稳，而 Optimus 因为要保留编码器激活，显存一路飙
升并最终在更大 batch 下直接 OOM。MLLM-Generation 更复杂，加上了一个20B 的 MMDiT 
生成器，差异被放大:Optimus 在所有测试 batch size 上全部 OOM，BigMac 则靠及时跑 generator
backward、快速释放生成器侧激活躲过了这一劫，相比 Megatron-DistTrain 仍取得1.5到1.9
倍加速，显存依旧稳定。这正是嵌套流水线最值钱的场景——系统必须同时伺候编码器和生成
器的依赖，又没法承受大量激活驻留或严重空泡。

目前，BigMac 已经作为 dots 多模态模型训练的核心组件之一，跑在了小红书的生产环境里。
相关论文 BigMac: Breaking the Pareto Frontier of Compute and Memory in Multimodal
LLM Training 已挂在 arXiv 上，团队也同步放出了交互式 PP Profiler 的 trace 示例。
对正在被多模态训练显存与速度两头夹击的研究者和工程师来说，这份带着生产验证的开源，
或许能省下不少重新造轮子的时间。

🧭 文中关联 [AI 工具](https://ai.paooo.com/)官网与参数卡（语宙 AI 导航）

**小红书 ↗**

小红书（Xiaohongshu）是中国领先的生活方式分享社区和社交电商平台。其核心功能围绕用户
生成内容（UGC）

**Operator ↗**

OpenAI推出的AI智能体，能推理、联网自主执行任务。

❓ 常见问题解答（FAQ）

BigMac 解决了多模态训练的什么问题？

它针对多模态训练中“算得快但显存高”与“省显存但速度慢”的矛盾，通过嵌套流水线把编码
器、LLM 主干和生成器协调起来，减少空泡并将模态激活显存压到 O(1) 级别。

BigMac 和传统流水并行有什么不同？

传统方案要么把模态模块拆出去追求计算效率，要么把所有模块塞进同一流水线追求低显存。
BigMac 不替换成熟的 LLM schedule，而是在其时间线上嵌入模态计算，兼顾吞吐、显存和
调度稳定性。

BigMac 的实测效果怎么样？

在 MLLM-Understanding 上，相比 Optimus 提速约 1.08-1.1 倍、相比 Megatron-DistTrain
提速 1.6-1.9 倍；在 MLLM-Generation 上，Optimus 全部 OOM，而 BigMac 仍保持稳定显
存并取得 1.5-1.9 倍加速。

🔬 语宙深潜追问 · 进阶实操拆解

嵌套流水线为什么能同时提速又省显存？

它把不同阶段的计算与数据流更细粒度地交错调度，减少GPU空转和峰值显存占用。对原生多
模态训练来说，这意味着既能提高吞吐，也能避免因图文分支不均衡导致的OOM。

这种方案适合哪些训练场景优先上？

最适合长序列、多模态输入复杂、显存长期吃紧的训练任务，尤其是需要稳定大batch或高分辨
率输入的场景。若你的瓶颈是算力闲置和显存峰值，而不是模型结构本身，收益会更明显。

🗳️ 读者观点微投票 · 您的实战立场是？

多模态训练里，BigMac最值得押注的是？

🕸️ 语宙向量知识图谱 · 语义强关联深度内链

[🐋 所属权威专题：DeepSeek 深度实战与部署 →](https://paooo.com/topics/deepseek/)

 * [BigMac – 小红书开源的多模态大模型流水并行训练框架](https://paooo.com/aigc-news/38988/)
 * [字节跳动开源Lance 3B：仅30亿参数，一个模型同时搞定AI看图、写图、剪视频](https://paooo.com/aigc-news/17497/)
 * [MT-MegatronLM – 摩尔线程开源的混合并行训练框架](https://paooo.com/aigc-news/21124/)
 * [Macaron-V1 – MindLab 推出的后训练多能力模型系统](https://paooo.com/aigc-news/37860/)

[🏛️ Prompt 语宙研究院](https://paooo.com/author/paooo-research/) · Prompt 语宙研究院（
paooo.com Research）专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示
词工程（Prompt Engineering）与全球高增长 AI 生产力工具实测追踪，致力于为中文开发
者与创作者提供一手、可复现的深度技术洞察。

[📄 Markdown 纯净版](https://paooo.com/aigc-news/38502/?format=md)

💡 这篇内容对您有启发吗？

[📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/)

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)
