10500 张 GB300 跑满 1 亿次 Rollout！Reflection AI 开源 501B 巨兽 Beam：每 Token 仅激活 23B，以 1/4 推理算力战平 GLM-5.2 与百万上下文实测

💡 站外导读：在开源大模型竞赛逐渐演进为万卡集群吞吐与万亿 Token 极限博弈的今天，如何在保障顶尖代码与推理能力的同时，将单次调用的计算开销压至极致？北美前沿 AI 实验室 Reflection AI 交出了一份震撼业界的工程答卷：正式开源 501B 超稀疏混合专家（MoE）大模型 Beam。该模型凭借 4.6% 的超低激活比例（单 Token 仅激活 23B），以令人难以置信的 10,500 张英伟达 Blackwell GB300 算力矩阵，完成了超 1 亿次全异步强化学习 Rollout，成功在百万长文本与工业级软件工程基准上，用仅需传统模型 1/4 的推理算力战平顶尖水准。

一、算力怪兽的工业级奇迹：万卡集群上的全异步强化学习

Beam 的研发过程展现了重工业级算力工程的极致把控：

• 预训练阶段：投入 6,144 张 GB300 顶级加速卡，在不到四周的时间内完成了高达 23.8 万亿 (23.8T) Token 的高密度吞吐。依托自研拓扑感知调度器与静默数据损坏（Silent Data Corruption, SDC）实时侦测，整个万卡预训练周期保持了 92.3% 的极高有效算力利用率（Goodput），全程仅触发 9 次半自动检查点回滚。
• 强化学习阶段：规模进一步扩大至 10,500 张 GB300，维持四周连续运转。系统平均承载 11 万个并发 Rollout 与 17 万个受控沙盒环境，累计产生超过 1 亿次物理 Rollout。
• 全异步策略梯度 (Asynchronous Policy Gradients)：彻底解决了生成采样与参数更新之间的相互等候瓶颈。即使推理集群使用的样本版本落后主训练策略长达 24 小时（跨越 107 个版本迭代），算法数值依然保持严格收敛；而新参数权重经 RoCE 高速分层广播至全部推理节点的中位数延迟仅为 12 秒。

二、4.6% 激活极值：超稀疏 MoE 架构的架构秘密

在总参数高达 5010 亿 (501B) 的庞大身躯下，Beam 在推理时每个 Token 仅路由并激活 230 亿 (23B) 专家参数。相比业内常见的 8 选 2 粗粒度路由，Beam 采用了细粒度专家路由并引入了辅助损失无关（Aux-Loss-Free）的自适应负载均衡算法。监控数据显示，在真实长文本负载下，最繁忙专家的负载仅为平均值的 1.04 倍，近乎达成了物理均匀分布，彻底消除了 GPU 显存负载长尾与专家饥饿现象。

三、核心技术指标与竞品全景对比

四、企业落地场景：代码审计与高并发 Agent 编排

得益于“100 万超长上下文 + 23B 超低激活”的杀手级组合，Beam 完美契合两大工业级企业场景：

1. 单仓全量代码库级依赖重构：支持将一个中大型后端工程（含全量依赖、测试用例与历史提交日志）一次性载入上下文，无需依赖低精度的 RAG 检索，直接进行跨模块架构级重构与高危 CVE 漏洞审计。
2. 自动化运维与 Agent 高频中继：经超 1 亿次沙盒强化学习训练后，Beam 展现出极其稳定的终端命令行生成、API 工具自反射调用与异常自愈能力，能作为企业内部数据中心与运维流水线的 7×24 小时高并发中枢。