💡 站外导读:在万卡级算力集群迈向百吉瓦规模的临界点上,传统可插拔光模块正成为 AI 工厂的隐形瓶颈:高功耗吞噬 GPU 供电配额,长链路与海量激光器频发中断,导致整片算力集群被迫空转等待。近日云服务商 Lambda 披露了在超万卡 GB300 NVL72 集群中部署 NVIDIA Photonics 共封装光学交换机的实测战报,以 5 倍能效与 15 倍可靠性重塑集群互联底层。

一、 破局万卡级互联墙:Lambda 在 GB300 NVL72 集群中的实测增益
在超大规模 AI 工厂的生产调度中,网络早已不再是单纯的数据管道,而是决定训练有效算力利用率(MFU)与在线推理尾延迟的中枢神经。在大规模同步训练作业里,哪怕仅仅一条互联链路出现闪断或抖动,都可能拖垮数千颗 GPU 进入同步阻塞状态;而在高并发智能体(Agentic Inference)推理流水线中,底层网络的一次微秒级拥塞更会沿着多步工具调用链路产生级联延迟放大。
为彻底清除可插拔光模块(Pluggable Optics)在功耗密度与故障率上的天花板,AI 云基础设施提供商 Lambda 宣布正式在其连接超过 10,000 块 GPU 的 NVIDIA GB300 NVL72 机架阵列中,规模化部署 NVIDIA Photonics 共封装光学(Co-Packaged Optics, CPO)交换机。Lambda 云服务总裁 Dave Ward 强调,互连网络必须紧跟下一代超级 AI 集群的扩张节奏,将 CPO 引入万卡级生产环境是保障下一代 AI 工厂高可用性的关键基石。
- 端到端延迟显著压降: 在同等链路吞吐量表现下,机架级(Rack Scale)网络传输延迟下降约 4%,而在跨单元互联的 Pod 级拓扑中,延迟降幅最高可达约 10%。
- 5 倍能效与 15 倍可靠性跃升: 相比传统可插拔光模块方案,NVIDIA Photonics 最高可带来 5 倍的互连能效提升与最高 15 倍的链路可靠性增强,并大幅延长集群平均无中断运行时间(MTBI)。
- 物理器件复杂度指数级精简: 整网所需的激光器数量锐减至传统方案的四分之一(4x fewer lasers),从硬件源头上直接压缩了物理单点故障的暴露面。
二、 硬件底层重构:从英寸到毫米的电信号压缩与“去 Retimer”革命
传统数据中心高速交换架构之所以功耗居高不下,根源在于交换 ASIC 芯片与面板边缘可插拔光模块之间必须穿越数英寸长的 PCB 铜走线。在单通道 100G/200G SerDes 高频高速信号传输下,铜箔损耗与串扰迫使硬件工程师必须在主板上串联大量高功耗的重定时器(Retimer)芯片进行信号整形与放大,不仅平白消耗宝贵的电力预算,更引入额外延迟与故障节点。
NVIDIA Photonics 共封装光学架构从物理拓扑层面颠覆了这一范式:它将原本独立封装在机箱面板外的光电转换引擎,直接紧邻交换机主芯片集成到同一块封装基板(Co-Packaged)上。这一紧凑布局直接将高损耗的电信号传输路径从“英寸级”压缩至“毫米级”。
凭借极短的毫米级电互连距离,信号衰减小到完全无需部署 Retimer 芯片即可保持优异的眼图完整性。这不仅一举砍掉了链路上的中继芯片物料与功耗开销,也省去了对应节点的供电与热设计负担,把原本浪费在“送数据路上”的每瓦电力原封不动地交还给核心 GPU 算力单元。
| 核心技术维度 | 传统可插拔光模块方案 | NVIDIA Photonics CPO 方案 | 万卡集群工程收益 |
|---|---|---|---|
| 电信号传输路径长度 | 数英寸级 PCB 铜走线 | 毫米级同封装基板直连 | 显著衰减损耗归零,直接省去 Retimer 芯片 |
| 交换机端口规格 | 受限于面板散热与空间密度 | 单机 144 端口 × 800Gb/s 全光互连 | 支持超 10,000 卡 GB300 NVL72 高密组网 |
| 光学引擎工作温度 | 中位运行温度约 51°C | 液冷直触下中位温度低至 36°C | 降幅达 15°C,光信号稳定性大幅增强 |
| 激光器数量与能耗 | 每光口独立内置激光器 | 激光器数量减少 4 倍,能效最高提升 5 倍 | 单瓦电力更多让渡给 GPU 计算核心 |
| 故障维修与可靠性 | 单颗激光器故障需整只替换光模块 | 18 个可现场热替换外部光源模块 (ELS) | 可靠性最高提升 15 倍,极速热维护不断网 |
三、 36°C 液冷温控与 18 路外部光源热插拔:兼顾高密集成与极速运维
过去行业对 CPO 规模商用的最大疑虑在于“可维护性”与“热耦合”:一旦把光引擎焊死在交换芯片封装旁,如果激光器老化损坏或芯片发热烤坏光器件怎么办?NVIDIA Photonics 在 Lambda 的这次商用落地中给出了颇具巧思的工程解法。
在热管理方面,Lambda 部署的每一台 144 端口 800Gb/s NVIDIA Photonics 交换机均采用全液冷散热架构,冷板直接带走高功耗交换 ASIC 与同封装光学引擎的热量。实测数据显示,在满载运转下其光学元件中位温度稳稳控制在 36°C,较传统风冷/混合散热可插拔光模块的 51°C 整整低出 15°C,低温运行直接换来了更稳定的光信号完整性与更长久的光器件寿命。
在可维护性方面,NVIDIA 将“最易老化发热的激光光源”与“高精度的调制耦合光引擎”进行了彻底解耦。每台交换机前置 18 个可现场拆卸替换的外部光源模块(External Light Sources),通过光纤为封装基板上的光学引擎集中供光。当某一路光源寿命到期或异常时,数据中心运维人员无需拆机或报废昂贵的共封装基板,直接在机柜前面板热插拔更换外部光源模块即可秒级恢复,彻底消除传统光模块整只丢弃的运维成本。
四、 AI 工厂演进启示:算力竞争正从单卡 FLOPS 转向网络级 MTBI
Lambda 此次超万卡级集群的 CPO 商用落地,标志着 AI 基础设施竞争正式迈入“网络级确定性”阶段。随着万亿参数多模态大模型预训练与千步级长程 Agent 推理走向常态,集群扩展的真正天敌不再仅仅是芯片制程,而是光互连的功耗墙与故障率墙。
对于正在规划或采购大规模 GPU/AI 工厂的基础设施团队而言,单纯比拼单卡峰值算力已失去意义。将互联网络功耗压降数倍、把核心光通道温度锁在 36°C 安全区、并通过模块化外部光源保障长周期 MTBI,正在成为衡量新一代超算数据中心 ROI 与 SLA 交付能力的全新黄金标准。
📝 站长洞察 (Editor’s Insight)
过去两年行业谈及算力集群,焦点全在 HBM 带宽与 GPU 制程,却忽略了“光模块功耗与故障”才是万卡扩张的隐性杀手。NVIDIA Photonics 在 Lambda 超万卡 GB300 集群的实测极具里程碑意义:用毫米级封装干掉 Retimer,用全液冷把光引擎压到 36°C,再用 18 个可热插拔外置光源彻底解决 CPO“坏一颗换整板”的维修死穴。reliability 提升 15 倍与延迟降 10% 的背后,意味着集群训练的有效吞吐率与 Agent 推理的尾延迟将实现质的飞跃。
NVIDIA Photonics CPO在Lambda集群里提升了什么?
主要提升了互联能效、可靠性和延迟表现。文中实测显示,机架级网络延迟约降4%,Pod级最高降10%,能效最高提升5倍,链路可靠性最高提升15倍,同时减少激光器数量并降低故障点。
为什么CPO能去掉Retimer芯片?
因为CPO把光电转换引擎直接集成到交换芯片附近,把原本英寸级PCB铜走线缩短为毫米级直连,信号衰减和串扰显著降低,因此无需再靠高功耗Retimer做信号整形。
36°C液冷和可热替换外部光源有什么意义?
36°C液冷能把光学元件温度压得更低,提升光信号稳定性和器件寿命;可热替换外部光源则让激光器老化或故障时可现场维护,不必整机停机,兼顾高密度与可运维性。
去Retimer后如何保证链路稳定性?
核心是把信号路径缩短、减少中间器件损耗,再依赖更严格的光电协同设计、链路训练和端到端监控。落地时要重点看误码率、温漂、插拔维护后的重校准流程,而不是只看峰值带宽。
可替换光源对运维意味着什么?
它把高风险的光引擎故障从整机级维修,降为模块级快速更换,显著缩短MTTR。实际部署要配套备件池、热插拔流程、告警分级和现场校验脚本,否则可靠性收益很难真正兑现。
