Prompt 语宙Prompt 语宙
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
阅读: BigMac – 小红书开源的多模态大模型流水并行训练框架
Share
通知 阅读更多
Font Resizer字体
Font Resizer字体
Prompt 语宙Prompt 语宙
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
已有帐户? 登陆
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
BigMac – 小红书开源的多模态大模型流水并行训练框架
Prompt 语宙 > AIGC 资讯 > BigMac – 小红书开源的多模态大模型流水并行训练框架
AIGC 资讯

BigMac – 小红书开源的多模态大模型流水并行训练框架

Prompt 语宙研究院
最近更新: 2026年7月24日 下午7:53
AI编程 大模型微调 小红书 开源大模型
SHARE
⚡ Prompt 语宙 AI 导读 · 30 秒核心看点
  • 以 LLM 流水线为主干嵌入模态计算,兼顾训练效率与显存稳定,打破传统帕累托权衡。
  • 全局调度与执行解耦,支持 per-operator 级 trace、模拟器和 Perfetto 分析,便于定位瓶颈。
  • 算法工程师只需定义模块边界即可接入,适合生产级多模态大模型流水并行训练。

BigMac是什么

BigMac 是小红书 dots infra 团队开源的多模态大模型流水并行训练框架,针对 MLLM 训练中计算效率与显存占用难以兼顾的问题,提出依赖安全的嵌套流水线范式。框架用成熟 LLM 流水线为主干,在不打乱执行顺序的前提下嵌入编码器和生成器计算,实现训练速度提升 1.08~1.9 倍的同时保持显存稳定,已作为 dots 多模态训练核心组件投入生产。

阅读目录
  • BigMac是什么
  • BigMac的主要功能
  • BigMac的技术原理
  • 如何使用BigMac
  • BigMac的核心优势
  • BigMac的项目地址
  • BigMac的同类竞品对比
  • BigMac的应用场景

BigMac

BigMac的主要功能

  • 依赖安全的嵌套流水线:以 LLM pipeline 为稳定主干,在依赖满足的位置嵌入 encoder / generator 计算,避免跨模块 bubble 干扰。
  • 显存有界的模态激活:编码器和生成器激活显存降至 O(1),LLM 激活行为保持不变,支持更大 batch size 而不 OOM。
  • 全局调度与执行解耦:Scheduler 生成覆盖所有 rank、microbatch 和模块的全局 operator 表;Executor 解释本地序列并分发给对应后端。
  • 流水线无感接口:算法工程师只需描述模块输入输出边界,BigMac 自动处理 schedule、handoff 和跨设备通信,模型代码保持模块化。
  • Schedule-aware 工具链:内置 profiler、simulator 和可视化工具,支持 per-operator 级别 trace 导出(兼容 Perfetto UI),快速定位 bubble、慢算子与通信等待。

BigMac的技术原理

  • 依赖安全的嵌套流水线调度:BigMac将其作为基础时间线。调度器分析 encoder forward / LLM forward / generator forward 及对应 backward 的数据依赖关系,仅在输入已就绪且不会打乱 LLM 执行顺序的”空档”插入模态计算。 LLM 按原 schedule 持续推进,encoder 和 generator 的激活也能在梯度就绪后尽快释放,backward 及时执行,打破”计算高效必高显存、显存高效必多 bubble”的帕累托权衡。
  • 全局 Operator 表与后端解耦:系统将调度策略显式化为一张全局 operator 表,包含所有 pipeline rank 上 LLM / encoder / generator 的 forward/backward operator 及模块边界通信。执行层仅解释本地 operator 序列,LLM operator 复用 Megatron Core,模态 operator 保留自身 data-parallel / FSDP 实现,schedule 调整无需重写模型 runtime。

挖挖GitHub

微信关注回复“开源”,加入AI开源项目交流群

如何使用BigMac

  • 定义模块边界:按模块化方式编写 encoder_forward、llm_forward、generator_forward 函数,声明各模块的输入输出。
  • 接入 BigMac 接口:通过 PP-transparent 接口注册模块,BigMac 自动处理 pipeline stage 划分、activation handoff、gradient handoff 和跨 rank 通信。
  • 配置并行策略:设置 PP / VPP、microbatch 数量、模块放置策略等参数。
  • 运行训练:启动 Scheduler 生成全局计划,Executor 在各 rank 上执行 operator 序列。
  • 性能诊断:用内置 profiler 采集 per-operator 时间,导出 rank-aligned timeline 至 Perfetto UI 分析 bubble 与瓶颈;或使用 simulator 在启动训练前快速迭代并行策略。

BigMac的核心优势

  • 打破帕累托前沿:同时实现高计算效率与低显存占用,无需二选一。
  • LLM 流水线零干扰:保留成熟 LLM schedule,编码器/生成器耗时波动不会沿 pipeline 传播。
  • 显存可扩展:encoder / generator 激活显存 O(1),支持生产级大 batch 训练。
  • 算法友好:模型代码无需感知 pipeline runtime,单卡验证的实验可自然扩展至流水并行。
  • 可调试可部署:全局 schedule 可见可检查,配套 trace / simulation 工具链降低性能优化成本。

BigMac的项目地址

  • 项目官网:https://dots-infra.github.io/BigMac/
  • GitHub仓库:https://github.com/Dots-Infra/BigMac/
  • arXiv技术论文:https://arxiv.org/pdf/2605.25451

BigMac的同类竞品对比

维度 BigMac Megatron-LM
调度范式 依赖安全的嵌套流水线,LLM 为主干 显存高效的单条流水线,模态模块作为独立 stage
计算效率 高,无跨模块 bubble 中,encoder/generator 波动会引入 pipeline bubble
显存占用 稳定,模态激活 O(1) 较低,但随模块耦合显存优化空间有限
扩展性 支持理解+生成双路径大规模训练 生成路径扩展时 bubble 与显存压力显著
接口友好度 PP-transparent,算法代码零侵入 需理解并适配 pipeline runtime 与 stage 划分
工具链 内置 schedule-aware profiler + simulator 依赖传统 nsys / torch trace 手动关联分析

BigMac的应用场景

  • 多模态理解模型预训练:如图文理解、视频理解等 MLLM 的端到端预训练,需高效处理 ViT / Whisper 等编码器与 LLM 的流水协同。
  • 多模态生成模型训练:同时包含理解与生成路径(如图像生成、语音合成),需协调 LLM 与 MMDiT / LDM 等生成器的双向依赖。
  • 大规模 batch 训练:在显存受限集群上追求更大 global batch size,避免传统计算高效设计因 activation 累积导致 OOM。
  • 快速实验迭代:算法团队可在单卡或 DP 环境验证模型结构,通过 BigMac 接口无缝扩展至 pipeline 并行,无需重写代码。
  • 训练性能调优:工程团队用 schedule-aware profiler 和 simulator 定位 pipeline bubble,优化并行配置与模块放置策略。
🧭 文中关联 AI 工具官网与参数卡(语宙 AI 导航)
小红书 ↗
小红书(Xiaohongshu)是中国领先的生活方式分享社区和社交电商平台。其核心功能围绕用户生成内容(UGC)
Operator ↗
OpenAI推出的AI智能体,能推理、联网自主执行任务。
❓ 常见问题解答(FAQ)
BigMac 适合什么类型的训练场景?

BigMac 主要面向多模态大模型训练场景,尤其适合同时需要高计算效率和低显存占用的 MLLM 任务。它以成熟 LLM 流水线为主干,嵌入 encoder 和 generator 计算,适合生产级大 batch 训练。

BigMac 为什么能降低显存占用?

它将 encoder 和 generator 的激活显存控制到 O(1),并在梯度就绪后尽快执行 backward 释放激活;同时保持 LLM 流水线原有执行顺序不变,因此能在提升吞吐的同时维持显存稳定。

BigMac 和 Megatron-LM 的主要区别是什么?

BigMac 采用依赖安全的嵌套流水线,LLM 作为主干,模态模块按依赖插入;Megatron-LM 更偏单条流水线,模态模块作为独立 stage。前者更强调减少跨模块 bubble、提升调度灵活性和可观测性。

🔬 语宙深潜追问 · 进阶实操拆解
嵌套流水线怎么避免依赖冲突?

核心是把跨阶段依赖显式建模,按安全边界切分微批次,并用调度器约束读写顺序;再配合检查点和重算,才能在提速时保持显存稳定。

多模态训练如何评估收益?

别只看吞吐倍数,要同时看收敛速度、最终指标、显存峰值和故障恢复成本;若训练更快但不稳定,生产收益往往会被回滚和排障吞掉。

🗳️ 读者观点微投票 · 您的实战立场是?
流水并行训练真能兼顾速度与稳定吗?
🕸️ 语宙向量知识图谱 · 语义强关联深度内链
🐋 所属权威专题:DeepSeek 深度实战与部署 →
  • 小红书开源 BigMac:把多模态训练的显存与速度,从二选一中解放出来
  • MT-MegatronLM – 摩尔线程开源的混合并行训练框架
  • MT-TransformerEngine – 摩尔线程开源的高效训练与推理优化框架
  • 字节跳动Lance开源:3B参数统一模型,一模型搞定图像视频理解生成编辑全链路
🏛️ Prompt 语宙研究院 · Prompt 语宙研究院(paooo.com Research)专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示词工程(Prompt Engineering)与全球高增长 AI 生产力工具实测追踪,致力于为中文开发者与创作者提供一手、可复现的深度技术洞察。
📄 Markdown 纯净版
💡 这篇内容对您有启发吗?
📡 RSS 订阅✨ 提交 AI 工具 / 合作
🚀 Prompt 语宙 AI 创作者生态:探索 2,800+ 全球实用 AI 工具与高精度生图提示词咒语库
🧭 语宙 AI 导航 (ai.paooo.com)🎨 AI 生图 Prompt 库📚 核心专题导航⚡ AIGC 早报生成器
小红书开源FireRed-Image-Edit:SOTA级图像编辑模型,文本引导编辑、老照片修复、虚拟试穿一步到位
DSpark – DeepSeek 联合北京大学开源的推测解码加速框架
AngelSpec – 腾讯混元团队开源的端到端推测解码训练框架
杭州全息智能技术研究院揭牌六大AI联合实验室,打造产学研融合新引擎
770B旗舰全量开源且幻觉率压至5.45%!腾讯混元Hy4权重上线全拆解:Gated DSA、DFly2投机解码与玄武安全体检报告
TAGGED:AI编程大模型微调小红书开源大模型
分享
Email 复制链接 打印
Share
Prompt 语宙研究院 头像
ByPrompt 语宙研究院
Follow:
Prompt 语宙研究院(paooo.com Research)专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示词工程(Prompt Engineering)与全球高增长 AI 生产力工具实测追踪,致力于为中文开发者与创作者提供一手、可复现的深度技术洞察。
上一篇 Kimi K3 攻防考卷翻车:漏洞利用只到美国前沿模型四成,蒸馏疑云被安全机构摆上台 Kimi K3 攻防考卷翻车:漏洞利用只到美国前沿模型四成,蒸馏疑云被安全机构摆上台
下一篇 Cosmos 3 Edge – 英伟达开源的 4B 参数世界模型 Cosmos 3 Edge – 英伟达开源的 4B 参数世界模型
Ad image
Ad image

最近更新

GitHub Changelog 官方发布主图:GitHub Copilot CLI 1.0.113+ 公测支持 Microsoft Entra 身份登录与双轨企业推理
免GitHub账号直接终端跑AI!Copilot CLI上线Microsoft Entra登录:接入Work IQ MCP与Agent 365全链路审计拆解
AI 工具
The Verge 报道主图:《以撒的结合:忏悔+》因游戏音频文件残留 Suno 元数据遭 Steam 玩家差评轰炸并紧急移除
《以撒的结合》翻车!Suno元数据抓包引爆差评轰炸:AI资产供应链污染与Steam披露红线全拆解
AIGC 资讯
Hello Partner 深度报道主图:2026 年黑五消费前夕 Barclays 与 KPMG 对英国消费者使用 AI 工具比价给出悬殊数据
55%用AI找黑五折扣还是仅12%问大模型?Barclays与KPMG调研打架真相:零点击比价、84%返利盲区与联盟归因断层全拆解
AI 工具
The Verge 专题主视觉:开发者正借助 Claude Code 与 Codex 等 AI 编程工具改造电视、相机与嵌入式硬件固件
从电视去广告到PS5跑老盘!Vibe Coding正席卷消费硬件固件:Take-Two预警强硬DRM反制与ESP32安全替代路径全拆解
最新趋势

相关推荐

08-23 AIGC 早报
AIGC 早报

08-23 AIGC 早报

Carmen
AI音频与语音 ElevenLabs Gemini OpenAI 大模型微调 早报
LayerSkip – Meta推出加速大型语言模型推理过程的技术
AIGC 资讯

LayerSkip – Meta推出加速大型语言模型推理过程的技术

Prompt 语宙研究院
AI办公效率 AI智能体 AI编程 HuggingFace 开源大模型
超线性回报 [译]
AIGC 资讯

超线性回报 [译]

宝玉的分享
AI办公效率 AI智能体 AI编程 OpenAI
PRefLexOR – MIT 团队推出的新型自学习AI框架
AIGC 资讯

PRefLexOR – MIT 团队推出的新型自学习AI框架

Prompt 语宙研究院
AI智能体 RAG检索增强 大模型微调 开源大模型
/ Prompt 语宙 /

探索生成式 AI 的无限创作潜能,一站式获取前沿 AIGC 资讯、高阶 Prompt 咒语与全球实用 AI 工具。

核心专栏

  • 语宙 AI 工具导航
  • EVA 视觉抠图工坊Hot
  • 出海数字营销宝典
  • AI 生图咒语灵感库
  • 24H 硅谷 AI 情报流

生态与服务

  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作

标签

开源大模型 AI智能体 AI办公效率 AI绘画提示词 OpenAI 大模型微调 Midjourney AI编程 stable diffusion AI视频生成 ChatGPT 3D与空间智能 HuggingFace AI音频与语音 RAG检索增强 Claude Flux AIGC Gemini 通义千问 Anthropic Llama Cursor DeepSeek Prompt AI Agent Kimi 智谱AI 具身智能 Claude Code
Prompt 语宙Prompt 语宙
Follow US
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.