# LingBot-Video – 蚂蚁灵波开源面向具身智能的视频模型 - Link: https://paooo.com/aigc-news/28763/ - Published: 2026-07-09T19:49:21+08:00 - Author: 站外新闻 ## LingBot-Video是什么 LingBot-Video 是蚂蚁灵波科技开源的全球首个面向具身智能的 MoE [视频生成](https://ai-bot.cn/ai-video-generation-tools/) 基础模型。模型基于 DiT + MoE 架构，总参数 30B 仅激活约 3B，兼顾大容量与高效推理。 模型整合 7 万小时互联网及机器人数据，通过多维强化学习奖励对齐物理合理性与任务完成 度，在 RBench 和 Physics-IQ 评测中均排名第一，可生成符合真实物理规律的机器人操作 与交互视频。 阅读目录 * [LingBot-Video是什么](https://paooo.com/aigc-news/28763/#lingbotvideo%e6%98%af%e4%bb%80%e4%b9%88) * [LingBot-Video的主要功能](https://paooo.com/aigc-news/28763/#lingbotvideo%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd) * [LingBot-Video的技术原理](https://paooo.com/aigc-news/28763/#lingbotvideo%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86) * [如何使用LingBot-Video](https://paooo.com/aigc-news/28763/#%e5%a6%82%e4%bd%95%e4%bd%bf%e7%94%a8lingbotvideo) * [LingBot-Video的核心优势](https://paooo.com/aigc-news/28763/#lingbotvideo%e7%9a%84%e6%a0%b8%e5%bf%83%e4%bc%98%e5%8a%bf) * [LingBot-Video的项目地址](https://paooo.com/aigc-news/28763/#lingbotvideo%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80) * [LingBot-Video的同类竞品对比](https://paooo.com/aigc-news/28763/#lingbotvideo%e7%9a%84%e5%90%8c%e7%b1%bb%e7%ab%9e%e5%93%81%e5%af%b9%e6%af%94) * [LingBot-Video的应用场景](https://paooo.com/aigc-news/28763/#lingbotvideo%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af) ![LingBot-Video](https://paooo.com/wp-content/uploads/2026/07/LingBot-Video-website- 1.avif) ## LingBot-Video的主要功能 * **文本/图像生成视频**：支持 T2V、TI2V、T2I 统一生成，覆盖开放世界场景与具身任务。 * **机器人动作预测**：生成机械臂、人形机器人、四足机器人等的动作序列与接触状态。 * **物理仿真视频生成**：模拟材料形变、流体运动、光照反射等真实物理现象。 * **仿真数据合成**：为机器人策略训练提供大规模、低成本的物理合理视频数据。 * **世界模型研究**：作为物理世界模拟器，支持策略评估与动作规划。 ## LingBot-Video的技术原理 * **DiT + Sparse MoE 架构**：模型采用 Single-Stream Diffusion Transformer 统一处理 视觉潜码与条件 token，以 MoE 替代 Dense FFN，总参数 30B 仅激活约 3B，实现约 3 倍推理加速。128 个细粒度 routed experts 配合共享专家，通过 top-K 路由捕获不同 物理模式，避免子任务干扰。 * **数据画像引擎与 7 万小时具身数据**：在海量互联网视频基础上，引入 VLA、VLN、Ego 等机器人数据，覆盖灵巧操作、导航与第一视角交互，使模型学习动作与环境变化的内在 关系。 * **多维强化学习奖励对齐**：训练阶段除美学、prompt 跟随和运动一致性外，额外引入 物理合理性与任务完成度奖励，并使用真实世界视频作为偏好信号，使生成结果符合真实 物理规律与机器人任务需求。 * **统一输入与 3D RoPE**：T2I/T2V/TI2V 任务统一为单序列 token，通过多模态 3D MM- RoPE 将条件 token 与视觉 token 映射到非重叠时空坐标，消除任务特定架构需求，同时 保持空间局部性与时序顺序。 * **级联生成与稳定训练**：模型采用 base generator + refiner 级联设计，base 生成 紧凑潜码，refiner 提升细节。配合 QK-Norm、AdaLN-Single 调制及无辅助损失的序列 级负载均衡策略，保障长序列、高分辨率训练稳定。 ![挖挖GitHub](https://paooo.com/wp-content/uploads/2026/07/wawagithub-68.avif) 微信关注回复“**开源**”，加入**AI开源项目交流群** ## 如何使用LingBot-Video * **环境准备**：确保本地或服务器已配置 Python 3.10+ 及 CUDA 环境，并预留足够显存。 * **克隆仓库**：从 GitHub 拉取 LingBot-Video 官方代码库到本地工作目录。 * **安装依赖**：根据项目 requirements.txt 安装所需的深度学习与推理库。 * **下载权重**：从 HuggingFace 或 ModelScope 获取对应规模的模型 checkpoint 文件。 * **准备提示**：将文本描述、参考图像或结构化控制信号整理为模型支持的输入格式。 * **运行推理**：加载模型并执行生成脚本，输出具身智能或开放世界视频。 ## LingBot-Video的核心优势 * **全球首个开源具身视频 MoE 模型**：填补面向机器人的开源视频基础模型空白。 * **容量与效率解耦**：30B 参数规模下仅激活 3B，推理速度约为同规模 Dense 架构的 3 倍，适配实时交互需求。 * **物理合理性领先**：在 RBench（0.620）和 Physics-IQ Verified 均排名第一，超越 Wan2.6、Seedance 1.5 Pro、Cosmos 3 等。 * **数据专门化**：7 万小时机器人数据注入，使模型理解动作-环境因果关系，而非仅视觉 风格。 * **统一任务框架**：T2I/T2V/TI2V 单模型统一处理，降低多任务部署成本。 ## LingBot-Video的项目地址 * **项目官网**：https://technology.robbyant.com/lingbot-video * **GitHub仓库**：https://github.com/Robbyant/lingbot-video * **HuggingFace模型库**：https://huggingface.co/collections/robbyant/lingbot-video * **arXiv技术论文**：https://arxiv.org/pdf/2607.07675 ## LingBot-Video的同类竞品对比 | 维度 | **LingBot-Video** | [**NVIDIA Cosmos 3 Super**](https://ai-bot.cn/cosmos-3/) | | **研发背景** | 蚂蚁灵波科技（Robbyant）开源发布，专注具身智能视频生成。 | NVIDIA 2026 年 6 月发布，面向物理 AI 与机器人训练的全模态世界模型。 | | **架构设计** | 基于 DiT 的 Single-Stream Sparse MoE，统一处理 T2I/T2V/TI2V。 | Mixture-of-Transformers（MoT）双塔架构，自回归 Transformer 处理文本，扩散 Transformer 处理连续模态。 | | **参数规模** | 总参数 30B，激活约 3B，实现容量与效率解耦。 | 总参数 64B（Super），Nano 版本为 16B，全参数激活。 | | **模态支持** | 文本、图像、视频，专注视觉生成与动作条件建模。 | 文本、图像、视频、音频、动作序列统一处理，支持全模态输入输出。 | | **训练数据** | 7 万小时互联网视频加 VLA/VLN/Ego 机器人数据，注入动作与环境动态先验。 | 20 trillion tokens，含约 10 亿图像、4 亿真实与合成视频及环境音频，覆盖机器人、驾驶、仓储等场景。 | | **开源程度** | 模型权重、代码、技术报告完全开源，社区可自由下载与二次开发。 | 模型权重与代码以 OpenMDW 1.1 协议开源，允许商用，配套提供合成数据集与评测基准。 | | **RBench 表现** | 得分 0.620，在公开对比中排名第一。 | 得分 0.581，在部分评测中位列开源模型前列。 | | **Physics-IQ** | 在 Physics-IQ Verified 评测中排名第一。 | I2V 43.8 分、V2V 59.7 分，在对应榜单中达到 SOTA。 | | **推理效率** | 30B 总参数仅激活 3B，推理速度约为同规模 Dense 架构的 3 倍。 | 64B 全参数激活，需 H100 级硬件支持，Nano 版本针对更快推理优化。 | ## LingBot-Video的应用场景 * **机器人仿真训练**：为机械臂、人形机器人生成物理合理的操作视频，替代昂贵真实数据 采集。 * **仿真数据合成**：批量生成多样化场景与动作轨迹，用于策略预训练与数据增强。 * **世界模型研究**：作为物理世界预测器，支持基于想象的机器人规划与决策。 * **自动驾驶仿真**：生成符合物理规律的道路交互与 ego 视角视频，用于感知算法验证。 * **服务与制造**：在仓储、医疗、家庭服务场景中模拟人机交互流程，优化任务策略。 **🚀 Prompt 语宙 AI 创作者生态：**探索 2,000+ 全球实用 AI 工具与高精度生图提示词 咒语库 [🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/) [⚡ AIGC 早报生成器](https://paooo.com/mtool/)