EPLB是什么
EPLB(Expert Parallelism Load Balancer)是 DeepSeek 推出的专家并行负载均衡器,能解决大规模模型训练中不同专家模型(Expert)负载不均的问题。EPLB 基于冗余专家策略,复制高负载专家,合理分配到不同 GPU 上,实现负载均衡。EPLB结合 group-limited expert routing 技术,将同一组专家放置在同一节点内,减少跨节点通信开销。EPLB 推出了两种负载均衡策略:分层负载均衡(Hierarchical Load Balancing)和全局负载均衡(Global Load Balancing),分别适用于不同场景。基于优化专家模型的复制与放置,EPLB 能显著提升 GPU 资源利用率和训练效率。

EPLB的主要功能
- 负载均衡:根据专家(Experts)的负载估计值,动态调整专家的复制和分配策略,确保不同GPU之间的负载差异最小化。
- 专家复制:基于冗余专家策略,复制高负载专家,缓解负载不均衡的问题。
- 资源优化:最大化利用GPU资源,减少因负载不均导致的性能瓶颈,提高模型训练效率。
- 通信优化:合理的专家放置策略,减少节点间通信开销,降低通信延迟。
- 灵活的策略支持:提供层次化负载均衡(Hierarchical Load Balancing)和全局负载均衡(Global Load Balancing)两种策略,适用于不同场景和阶段。
- 多层MoE模型支持:适用于多层混合专家模型(MoE),处理复杂模型结构,支持灵活的专家分配和映射。
EPLB的技术原理
- 冗余专家策略:在专家并行中,不同专家的负载可能因输入数据和模型结构而异。引入冗余专家(复制高负载专家)平衡负载。支持负载较高的专家被复制多次,分散到多个GPU上,避免单个GPU过载。
- 层次化负载均衡:将专家组均匀分配到不同节点,确保每个节点的负载大致相等。在每个节点内,进一步复制专家,将复制的专家分配到节点内的GPU上,确保节点内负载均衡。尽量将同一组的专家放置在同一节点内,减少跨节点通信开销。
- 全局负载均衡:在其他情况下(如节点数不能整除专家组数或需要更大规模的并行),采用全局策略:忽略专家组的限制,将专家全局复制分配到所有可用的GPU上。基于动态调整专家的复制数量和放置位置,确保全局负载均衡。
- 负载估计与动态调整:EPLB依赖于专家负载的估计值来指导负载均衡策略。负载估计基于历史统计数据(如移动平均值)。根据负载估计值,动态调整专家的复制和分配策略,适应不同的训练阶段和数据分布。
- 专家映射与资源分配:基于rebalance_experts函数输出专家的复制和放置计划,将专家映射到具体的GPU上。输出的映射关系包括物理到逻辑(phy2log)和逻辑到物理(log2phy)的映射,及每个专家的复制数量(logcnt)。
EPLB的项目地址
- GitHub仓库:https://github.com/deepseek-ai/eplb
EPLB的核心模式
- 层次化负载均衡模式(Hierarchical Load Balancing):在节点数能整除专家组数时,基于分层次的负载均衡策略,优化节点内和节点间的负载分配。
- 全局负载均衡模式(Global Load Balancing):在节点数不能整除专家组数或需要更大规模并行时,基于全局复制和分配专家,实现整体负载均衡。
EPLB的代码演示示例
- 代码演示了一个两层 MoE 模型的示例,每层包含 12 个专家。每层引入 4 个冗余专家,总共 16 个副本放置在 2 个节点上,每个节点包含 4 个 GPU。

EPLB的应用场景
- 大规模分布式训练:适用于多节点、多GPU环境,基于灵活切换层次化或全局负载均衡模式,优化资源利用减少通信开销。
- 预填充阶段:在模型训练初期,基于层次化负载均衡减少跨节点通信,提高小规模并行效率。
- 解码阶段:在训练后期需要大规模并行时,用全局负载均衡动态调整负载,应对复杂任务。
- 异构硬件环境:当节点数与专家组数不匹配时,全局负载均衡模式可灵活适应异构配置,实现高效负载均衡。
- 动态负载变化:针对训练过程中负载的动态变化,结合层次化或全局负载均衡策略实时调整,确保训练过程的高效与稳定。
🧭 文中关联 AI 工具官网与参数卡(语宙 AI 导航)
❓ 常见问题解答(FAQ)
EPLB 适合哪些 MoE 训练场景?
EPLB 适用于多节点、多 GPU 的大规模分布式训练,尤其适合专家负载差异明显、需要减少跨节点通信的 MoE 模型。它也适合预填充、解码以及节点数与专家组数不匹配的异构环境。
EPLB 的层次化和全局负载均衡有什么区别?
层次化负载均衡优先把同组专家放在同一节点内,再在节点内做复制与分配,适合节点数能整除专家组数的场景;全局负载均衡则忽略专家组限制,直接在全局范围复制和分配专家,适合更大规模并行或不整除场景。
EPLB 如何提升训练效率?
EPLB 通过估计专家负载、复制高负载专家并优化放置位置,减少单卡过载和节点间通信开销,从而提升 GPU 资源利用率和整体训练效率。
🔬 语宙深潜追问 · 进阶实操拆解
EPLB最核心的优化思路是什么?
核心是让专家分配更均匀,减少少数专家过载和跨节点通信浪费。通过冗余复制、层次化均衡和更合理的专家放置,能提升 GPU 利用率,让 MoE 训练更稳定、更接近理论吞吐。
什么时候值得引入这类负载均衡器?
当你已经遇到训练吞吐波动、部分 GPU 空转或跨节点通信成为瓶颈时,就值得引入。若模型规模还小、专家数不多,先优化 batch、路由和并行策略,收益可能更直接。
🗳️ 读者观点微投票 · 您的实战立场是?
MoE训练里先做负载均衡,还是先堆算力?
