# BigMac – 小红书开源的多模态大模型流水并行训练框架

- Link: https://paooo.com/aigc-news/38988/
- Published: 2026-07-24T19:53:44+08:00
- Author: Prompt 语宙研究院

⚡ [Prompt](https://paooo.com/ai-image-prompts/) 语宙 AI 导读 · 30 秒核心看点

 * 以 LLM 流水线为主干嵌入模态计算，兼顾训练效率与显存稳定，打破传统帕累托权衡。
 * 全局调度与执行解耦，支持 per-operator 级 trace、模拟器和 Perfetto 分析，便于定位
   瓶颈。
 * 算法工程师只需定义模块边界即可接入，适合生产级多模态[大模型](https://paooo.com/ai-study/)
   流水并行训练。

## BigMac是什么

BigMac 是小红书 dots infra 团队开源的多模态大模型流水并行训练框架，针对 MLLM 训练
中计算效率与显存占用难以兼顾的问题，提出依赖安全的嵌套流水线范式。框架用成熟 LLM
流水线为主干，在不打乱执行顺序的前提下嵌入编码器和生成器计算，实现训练速度提升 1.08
～1.9 倍的同时保持显存稳定，已作为 dots 多模态训练核心组件投入生产。

阅读目录

 * [BigMac是什么](https://paooo.com/aigc-news/38988/#bigmac%e6%98%af%e4%bb%80%e4%b9%88)
 * [BigMac的主要功能](https://paooo.com/aigc-news/38988/#bigmac%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd)
 * [BigMac的技术原理](https://paooo.com/aigc-news/38988/#bigmac%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86)
 * [如何使用BigMac](https://paooo.com/aigc-news/38988/#%e5%a6%82%e4%bd%95%e4%bd%bf%e7%94%a8bigmac)
 * [BigMac的核心优势](https://paooo.com/aigc-news/38988/#bigmac%e7%9a%84%e6%a0%b8%e5%bf%83%e4%bc%98%e5%8a%bf)
 * [BigMac的项目地址](https://paooo.com/aigc-news/38988/#bigmac%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80)
 * [BigMac的同类竞品对比](https://paooo.com/aigc-news/38988/#bigmac%e7%9a%84%e5%90%8c%e7%b1%bb%e7%ab%9e%e5%93%81%e5%af%b9%e6%af%94)
 * [BigMac的应用场景](https://paooo.com/aigc-news/38988/#bigmac%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af)

![BigMac](https://paooo.com/wp-content/uploads/2026/07/BigMac-website-1.avif)

## BigMac的主要功能

 * **依赖安全的嵌套流水线**：以 LLM pipeline 为稳定主干，在依赖满足的位置嵌入 encoder/
   generator 计算，避免跨模块 bubble 干扰。
 * **显存有界的模态激活**：编码器和生成器激活显存降至 **O(1)**，LLM 激活行为保持
   不变，支持更大 batch size 而不 OOM。
 * **全局调度与执行解耦**：Scheduler 生成覆盖所有 rank、microbatch 和模块的全局 
   operator 表；Executor 解释本地序列并分发给对应后端。
 * **流水线无感接口**：算法工程师只需描述模块输入输出边界，BigMac 自动处理 schedule、
   handoff 和跨设备通信，模型代码保持模块化。
 * **Schedule-aware 工具链**：内置 profiler、simulator 和可视化工具，支持 per-operator
   级别 trace 导出（兼容 Perfetto UI），快速定位 bubble、慢算子与通信等待。

## BigMac的技术原理

 * **依赖安全的嵌套流水线调度**：BigMac将其作为基础时间线。调度器分析 encoder forward/
   LLM forward / generator forward 及对应 backward 的数据依赖关系，仅在输入已就绪
   且不会打乱 LLM 执行顺序的”空档”插入模态计算。 LLM 按原 schedule 持续推进，encoder
   和 generator 的激活也能在梯度就绪后尽快释放，backward 及时执行，打破”计算高效
   必高显存、显存高效必多 bubble”的帕累托权衡。
 * **全局 Operator 表与后端解耦**：系统将调度策略显式化为一张全局 operator 表，包含
   所有 pipeline rank 上 LLM / encoder / generator 的 forward/backward operator 
   及模块边界通信。执行层仅解释本地 operator 序列，LLM operator 复用 Megatron Core，
   模态 operator 保留自身 data-parallel / FSDP 实现，schedule 调整无需重写模型 runtime。

![挖挖GitHub](https://paooo.com/wp-content/uploads/2026/07/wawagithub-99.avif)

微信关注回复“**开源**”，加入**AI开源项目交流群**

## 如何使用BigMac

 * **定义模块边界**：按模块化方式编写 encoder_forward、llm_forward、generator_forward
   函数，声明各模块的输入输出。
 * **接入 BigMac 接口**：通过 PP-transparent 接口注册模块，BigMac 自动处理 pipeline
   stage 划分、activation handoff、gradient handoff 和跨 rank 通信。
 * **配置并行策略**：设置 PP / VPP、microbatch 数量、模块放置策略等参数。
 * **运行训练**：启动 Scheduler 生成全局计划，Executor 在各 rank 上执行 operator
   序列。
 * **性能诊断**：用内置 profiler 采集 per-operator 时间，导出 rank-aligned timeline
   至 Perfetto UI 分析 bubble 与瓶颈；或使用 simulator 在启动训练前快速迭代并行策略。

## BigMac的核心优势

 * **打破帕累托前沿**：同时实现高计算效率与低显存占用，无需二选一。
 * **LLM 流水线零干扰**：保留成熟 LLM schedule，编码器/生成器耗时波动不会沿 pipeline
   传播。
 * **显存可扩展**：encoder / generator 激活显存 O(1)，支持生产级大 batch 训练。
 * **算法友好**：模型代码无需感知 pipeline runtime，单卡验证的实验可自然扩展至流水
   并行。
 * **可调试可部署**：全局 schedule 可见可检查，配套 trace / simulation 工具链降低
   性能优化成本。

## BigMac的项目地址

 * **项目官网**：https://dots-infra.github.io/BigMac/
 * **GitHub仓库**：https://github.com/Dots-Infra/BigMac/
 * **arXiv技术论文**：https://arxiv.org/pdf/2605.25451

## BigMac的同类竞品对比

  |  维度 |  BigMac |  Megatron-LM |  
   |  调度范式 |  依赖安全的嵌套流水线，LLM 为主干 |  显存高效的单条流水线，模态模块作为独立 stage |  
 |  计算效率 |  高，无跨模块 bubble |  中，encoder/generator 波动会引入 pipeline bubble |  
 |  显存占用 |  稳定，模态激活 O(1) |  较低，但随模块耦合显存优化空间有限 |  
 |  扩展性 |  支持理解+生成双路径大规模训练 |  生成路径扩展时 bubble 与显存压力显著 |  
 |  接口友好度 |  PP-transparent，算法代码零侵入 |  需理解并适配 pipeline runtime 与 stage 划分 |  
 |  工具链 |  内置 schedule-aware profiler + simulator |  依赖传统 nsys / torch trace 手动关联分析 |

## BigMac的应用场景

 * **多模态理解模型预训练**：如图文理解、视频理解等 MLLM 的端到端预训练，需高效处理
   ViT / Whisper 等编码器与 LLM 的流水协同。
 * **多模态生成模型训练**：同时包含理解与生成路径（如图像生成、语音合成），需协调
   LLM 与 MMDiT / LDM 等生成器的双向依赖。
 * **大规模 batch 训练**：在显存受限集群上追求更大 global batch size，避免传统计算
   高效设计因 activation 累积导致 OOM。
 * **快速实验迭代**：算法团队可在单卡或 DP 环境验证模型结构，通过 BigMac 接口无缝
   扩展至 pipeline 并行，无需重写代码。
 * **训练性能调优**：工程团队用 schedule-aware profiler 和 simulator 定位 pipeline
   bubble，优化并行配置与模块放置策略。

🧭 文中关联 [AI 工具](https://ai.paooo.com/)官网与参数卡（语宙 AI 导航）

**小红书 ↗**

小红书（Xiaohongshu）是中国领先的生活方式分享社区和社交电商平台。其核心功能围绕用户
生成内容（UGC）

**Operator ↗**

OpenAI推出的AI智能体，能推理、联网自主执行任务。

❓ 常见问题解答（FAQ）

BigMac 适合什么类型的训练场景？

BigMac 主要面向多模态大模型训练场景，尤其适合同时需要高计算效率和低显存占用的 MLLM
任务。它以成熟 LLM 流水线为主干，嵌入 encoder 和 generator 计算，适合生产级大 batch
训练。

BigMac 为什么能降低显存占用？

它将 encoder 和 generator 的激活显存控制到 O(1)，并在梯度就绪后尽快执行 backward
释放激活；同时保持 LLM 流水线原有执行顺序不变，因此能在提升吞吐的同时维持显存稳定。

BigMac 和 Megatron-LM 的主要区别是什么？

BigMac 采用依赖安全的嵌套流水线，LLM 作为主干，模态模块按依赖插入；Megatron-LM 更
偏单条流水线，模态模块作为独立 stage。前者更强调减少跨模块 bubble、提升调度灵活性
和可观测性。

🔬 语宙深潜追问 · 进阶实操拆解

嵌套流水线怎么避免依赖冲突？

核心是把跨阶段依赖显式建模，按安全边界切分微批次，并用调度器约束读写顺序；再配合
检查点和重算，才能在提速时保持显存稳定。

多模态训练如何评估收益？

别只看吞吐倍数，要同时看收敛速度、最终指标、显存峰值和故障恢复成本；若训练更快但
不稳定，生产收益往往会被回滚和排障吞掉。

🗳️ 读者观点微投票 · 您的实战立场是？

流水并行训练真能兼顾速度与稳定吗？

🕸️ 语宙向量知识图谱 · 语义强关联深度内链

[🐋 所属权威专题：DeepSeek 深度实战与部署 →](https://paooo.com/topics/deepseek/)

 * [小红书开源 BigMac：把多模态训练的显存与速度，从二选一中解放出来](https://paooo.com/aigc-news/38502/)
 * [MT-MegatronLM – 摩尔线程开源的混合并行训练框架](https://paooo.com/aigc-news/21124/)
 * [MT-TransformerEngine – 摩尔线程开源的高效训练与推理优化框架](https://paooo.com/aigc-news/21115/)
 * [字节跳动Lance开源：3B参数统一模型，一模型搞定图像视频理解生成编辑全链路](https://paooo.com/aigc-news/10488/)

[🏛️ Prompt 语宙研究院](https://paooo.com/author/paooo-research/) · Prompt 语宙研究院（
paooo.com Research）专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示
词工程（Prompt Engineering）与全球高增长 AI 生产力工具实测追踪，致力于为中文开发
者与创作者提供一手、可复现的深度技术洞察。

[📄 Markdown 纯净版](https://paooo.com/aigc-news/38988/?format=md)

💡 这篇内容对您有启发吗？

[📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/)

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)
