💡 站外导读:在具身智能与世界模型迈向物理世界的门槛前,工程界长期受困于一道死结:理解复杂动力学需要百亿乃至千亿参数的大模型,但机器人伺服与高频仿真要求毫秒级实时节拍,大参数量几乎必然拖垮输出频率。逆矩阵联合智源研究院、vLLM 与北京大学新近开源的 PhysisServe,首次把推理切分粒度下沉到“去噪步 × Transformer block”的 Stage 级,实测让 33B 模型跑出 4.1ms 延迟,打破规模与实时性不可兼得的魔咒。

一、 “智能要大模型、实时要小模型”:物理 AI 推理卡在何处?
与大语言模型(LLM)只需让用户多等半秒不同,运行在真实或高保真物理环境中的智能体一旦推理延迟超标,动作指令在到达执行器前就已过时失效。无论是以环境观测和动作为条件生成未来画面的 ACWM(Action-Conditioned World Model,如 Dreamer 4、Genie 3),还是直接将连续观测转为机器人动作序列的 WAM(World Action Model,如 DreamZero、LingBot-VA 2.0),二者正迅速向“自回归去噪(Autoregressive Denoising)”架构收敛。
然而,现有公开模型仍存在高达一到两个数量级的频率鸿沟:在人形机器人接触动力学仿真中需要数千 Hz 刷新,底层关节伺服控制也往往需要数百 Hz 更新;而采用约 28B MoE 的 LingBot-World 仅输出 16 FPS,24B MAGI-1 在 24 张高端 GPU 上以约 0.98 秒才产出 24 帧(约 24 FPS),15.3B 的 LingBot-VA 2.0 延迟高达 142 ms/chunk(约 7.0 chunks/s)。其根源在于 Wave Forcing(按去噪步切分) 每卡跑完整模型导致延迟被单次全前向锁死,而 StreamDiffusionV2(按 block 切分) 又把单路可用 GPU 上限死锁在 block 数上且批处理调度僵化,算力加卡无法继续提速。
二、 Stage-wise 细粒度流水线 + 时分复用:把输出延迟压进 4.1 毫秒
为突破粗粒度切分天花板,PhysisServe 彻底重构了自回归去噪的计算拓扑,沿“单路极限提速、算力片回收、多路弹性共享”三层架构演进:
- Stage-wise 二维细粒度流水线:系统将模型同时沿
去噪步 × Transformer block两个维度拆解为最小调度单元stage。借助带噪 KV cache(Noisy KV History)机制,后一个 chunk 不必等待前一个 chunk 完成全部去噪步,而是每完成一步即可错位读取并沿对角线推进。KV cache 常驻本卡,跨卡仅异步传递 hidden state 并与计算重叠(无全局同步锁)。由此,稳态 chunk 输出延迟不再取决于全网深度,而收敛到最慢单个 stage 的计算与通信时间;增加模型深度只增加流水级数与卡数,不再拖慢单路频率。 - 单路时分复用与同 Block 合批:在无需追求极端一卡一 stage 的宽松 SLO 场景下,PhysisServe 将 stage 与物理 GPU 解耦,允许同一张 GPU 在不同时间片轮流承担多个 stage,并把同一 Transformer block 上来自不同 chunk 和不同去噪步的就绪任务合并为 Batch 执行,大幅摊薄权重加载与 Kernel 启动开销。实测单卡运行 Wan2.2 5B 时,单流 SLO 从传统静态切分的 173 ms 降至 98 ms(降幅约 43%);双卡运行 Wan2.1 1.3B 时从 187 ms 降至 139 ms(降幅约 26%)。

三、 五款未剪枝大模型实测基准与 24 卡并发对比:33B 反超 1.3B 打破单调递增律
研究团队在官方基准测试中选取了 5 款未经任何剪枝、压缩或量化的标准 Diffusers 开源权重(均配置 4 步去噪、每稳态 chunk 含 1 latent,计时覆盖 DiT 去噪全流程):包括 Wan2.1 1.3B(30 blocks)、Wan2.2 TI2V 5B(30 blocks)、Wan2.1 14B(40 blocks)、LTX-2.5 22B(48 blocks,仅视频分支) 以及 MiniMax H3 33B(50 blocks)。
当配置充足 GPU 让每个 stage 独占一卡时,五个模型的最短单路 chunk 输出延迟全部收敛在 1.895–7.547 ms 之间——最惊艳的是,50 blocks × 4 步 = 200 张 GPU 上的 33B MiniMax H3 实测延迟仅 4.083 ms(约 4.1 ms),稳态输出高达每秒 244.9 个 chunk(约 245/s),甚至快过参数量仅其 1/25 的 Wan2.1 1.3B!若按 ACWM(1 latent 解码 4 帧)换算,理论 DiT 吞吐约合 980~1000 帧/s;按 LingBot-VA 2.0 的 WAM 口径(16 控制步/latent)换算则高达 3,919 Hz(约 3,900 控制步/s),一举把大模型推理频率推入物理实时区间。
| 评测模型 (未经剪枝/量化) | 结构规模 (Blocks / 历史窗口) | 单路极限延迟 & 理论吞吐口径 | 24 卡固定池 (SLO=1600ms) 均分 vs 联合调度并发路数 |
|---|---|---|---|
| MiniMax H3 33B | 50 blocks / 18 latent | 4.083 ms (~245 chunks/s ≈ 1000 FPS ACWM / 3900 Hz WAM) | 6 路 → 10 路 (提升 1.67×) |
| LTX-2.5 22B (视频分支) | 48 blocks / 21 latent | 1.9–7.6 ms 极限区间内(单 chunk 解码 8 帧) | 8 路 → 18 路 (提升 2.25×) |
| Wan2.1 14B | 40 blocks / 6 latent + 1 sink | 1.9–7.6 ms 极限区间内(StreamDiffusionV2 权重) | 24 路 → 18 路(显存/算力余量紧邻饱和边界,未盲目超接) |
| Wan2.2 TI2V 5B | 30 blocks / 18 latent | 单卡时分复用 SLO 由 173ms 降至 98ms (-43%) | 24 路 → 46 路 (提升 1.92×) |
| Wan2.1 1.3B | 30 blocks / 21 latent | 双卡时分复用 SLO 由 187ms 降至 139ms (-26%) | 12 路 → 39 路 (提升 3.25×) |
四、 虚拟 Rank 联合调度与工程落地边界:尚待攻克的带噪 KV 与首帧响应瓶颈
面向仓储物流、多机器人协同仿真等真实多路并发场景,PhysisServe 将每条推理流的一组 stage 与 KV cache 封装为调度原语 虚拟 Rank(Virtual Rank),采用 Best-Fit 向量装箱 + Limited Discrepancy Search(LDS) 算法将多条流的虚拟 Rank 混部到同一 GPU 池中跨路合批。关键在于其严苛的 SLA 防护机制:仅当整路所有 stage 都能放入且单独推演不破坏 SLO 时才予以接纳(Admit-only-if-fits),且已接纳流绝不中途迁移,彻底消除高并发下的尾延迟雪崩——24 卡实测在 4 个模型上实现 1.7–3.3 倍并发扩容(仅 Wan2.1 14B 因单路资源余量已逼近物理上限而拒绝过载接纳)。
同样难得的是,项目团队在官网和 GitHub(已同步开放 5 款适配带噪 KV 推理的 Hugging Face 模型权重,pip install -e . 即可接入单卡、多卡与多机集群)中坦诚指出了两大尚未彻底解决的物理硬边界:其一,带噪 KV cache 推理 仍依赖类似 Rolling Forcing 的二次微调,如何在不损及长程生成画质/物理一致性的前提下标准化后训练范式尚待社区攻关;其二,Stage-wise 流水线压缩的是稳态连续帧之间的输出间隔(Throughput Interval),而非端到端的动作响应延迟(Response Latency)——环境突发剧变时,新观测依然需要依次穿透全部 stage 才能首次反映在输出端,未来仍需结合量化、算子融合与芯片算力继续下探。
📝 站长洞察 (Editor’s Insight)
过去半年“物理 AI”和“世界模型”大多停留在比拼模型参数和演示视频长度,而 PhysisServe 精准踩中了决定能否真正工业落地的底层系统瓶颈:Reasoning/Planning 模型可以等 1 秒,但接触动力学仿真和机械臂高频伺服不能等 100 毫秒。通过把去噪步与 Transformer block 二维拉平为可调度的 Stage,再用虚拟 Rank 混部榨干卡池空隙,PhysisServe 第一次让 33B 级别的庞然大物跑出了 4 毫秒级的稳态节拍。当然,读者也须看清“输出间隔”与“首帧响应延迟”的工程区别,在闭环控制选型时切忌混淆。
PhysisServe解决了什么实时推理问题?
它针对物理AI中“大模型需要高频实时响应”的矛盾,把自回归去噪推理切到“去噪步×Transformer block”的Stage级,减少粗粒度切分带来的等待和同步开销,让大模型也能进入毫秒级实时区间。
33B模型为什么能做到4.1ms延迟?
因为PhysisServe让每个stage独立推进,KV cache常驻本卡、跨卡只传hidden state,并把计算与通信重叠起来。实测中,50 blocks × 4步的33B MiniMax H3延迟仅4.083ms。
PhysisServe适合哪些模型或场景?
适合ACWM和WAM这类物理AI推理场景,尤其是需要高频输出的世界模型、机器人控制和高保真仿真。文中基准覆盖Wan2.1、Wan2.2、LTX-2.5和MiniMax H3等未剪枝开源权重。
如何判断该不该拆到Stage级流水线?
如果你的推理链路里去噪步和Transformer block都很重,且单次延迟直接影响控制闭环,就值得拆分。若模型较小、请求波动大或工程人力有限,先做批处理、KV缓存和算子优化通常更划算。
落地时最容易踩哪些并发坑?
最常见的是流水线气泡、跨Stage同步开销和负载不均。实战里要优先做Stage耗时画像、动态切分与背压控制,并结合微批调度和亲和性绑定,避免并发上去了但尾延迟反而恶化。
