--- title: "MOSS-VL-Realtime – OpenMOSS 开源的视觉语言模型" url: "https://paooo.com/aigc-news/30733/" author: "Prompt 语宙研究院" published_at: "2026-07-15T17:29:10+08:00" updated_at: "2026-07-15T17:29:10+08:00" categories: "AIGC 资讯" tags: "3D与空间智能, AI视频生成, HuggingFace, 开源大模型" source: "Prompt 语宙 (https://paooo.com)" ai_tools_directory: "语宙 AI 导航 (https://ai.paooo.com)" --- # MOSS-VL-Realtime – OpenMOSS 开源的视觉语言模型 > 来源：[Prompt 语宙 (paooo.com)](https://paooo.com/aigc-news/30733/) · 作者：Prompt 语宙研究院 · 发布时间：2026-07-15 ## AI 30 秒核心看点 (TL;DR) - 11B 开源流式视觉语言模型，采用双通道交叉注意力，实现感知与生成并行。 - 支持边看边答、任意时刻插问、主动沉默与动态修正，适合实时视频理解。 - 在流式基准上达开源 SOTA，单卡 H200 首 token 约提速 5 倍、吞吐提升 2.7 倍。 ## MOSS-VL-Realtime是什么 MOSS-VL-Realtime 是 OpenMOSS 开源的 11B 参数流式视觉语言模型，专为实时视频理解设计。模型支持边看边答、即时修正与主动沉默，将视频理解从看录像升级为看直播。模型通过双通道交叉注意力架构与绝对时间戳编码，实现感知与生成并行，让 AI 与物理世界保持时间同步，在多个流式基准测试中达到开源 SOTA。 ## MOSS-VL-Realtime的主要功能 - **实时视频理解**：持续接收视频流，边观看边生成回答，无需等待视频结束。 - **即时问答响应**：用户可在任意时刻插入提问，模型基于当前帧即时作答。 - **主动沉默机制**：信息不足或无关键事件时，模型自主保持静默等待。 - **动态答案修正**：场景变化时，模型实时调整并修正此前回答。 - **时空定位感知**：通过绝对时间戳编码，精准感知物理时间流与空间位置。 - **长上下文处理**：支持长视频流的持续理解与交互。 ## MOSS-VL-Realtime的技术原理 - **双通道交叉注意力架构**：视觉特征通过侧通道进入，与文本生成解耦，感知与生成并行运行互不阻塞。 - **解耦交叉注意力**：分离视频特征提取与文本生成的交叉注意力计算，降低高频帧的端到端延迟。 - **绝对时间戳编码**：为每帧嵌入绝对时间信息，使模型感知物理时间流，摆脱固定帧率依赖。 - **XRoPE 跨维度旋转位置编码**：统一映射视频特征的空间维度 (h, w) 与时间维度 (t)，构建统一时空表征。 - **流式 SFT 训练范式**：重构多模态语料，将密集字幕转换为带实时修订的问答数据，训练模型预测何时说话、何时沉默。 微信关注回复“**开源**”，加入**AI开源项目交流群** ## 如何使用MOSS-VL-Realtime - **获取模型资源**：前往 OpenMOSS 官网https://openmoss.ai/MOSS-VL/浏览演示案例并下载开源权重与代码。 - **准备硬件环境**：推荐配备单张 H200 显卡，支持 256 帧视频序列的实时推理与低延迟响应。 - **部署模型权重**：将 11B 参数模型加载至本地环境，完成依赖安装与权重初始化配置。 - **接入视频流**：连接实时摄像头或导入视频流输入，确保帧数据能够持续传输至模型端。 - **启动实时交互**：在视频播放过程中随时输入文本问题，模型将基于当前画面即时生成或修正回答。 ## MOSS-VL-Realtime的核心优势 - **流式开源 SOTA**：在多个流式视频理解基准测试中达到开源最优水平，实时交互能力行业领先。 - **超低延迟高吞吐**：单卡 H200 上首 token 生成时间提速约 5 倍，解码吞吐量提升 2.7 倍。 - **离线能力不降级**：V*Bench 89.0、BLINK 78.0，长视频与文档图表理解仍对齐顶尖开源基线。 - **类人交互节奏**：自主判断说话时机，天然支持打断、即时修正与主动沉默等自然对话行为。 - **统一流式表征**：视频帧、用户问题与模型回答交织为单一 token 序列，实现无缝实时交互。 ## MOSS-VL-Realtime的项目地址 - **项目官网**：https://openmoss.ai/MOSS-VL/ - **HuggingFace模型库**：https://huggingface.co/OpenMOSS-Team/MOSS-VL-Realtime ## MOSS-VL-Realtime的同类竞品对比 维度 MOSS-VL-Realtime [Qwen2.5-VL-7B](https://ai-bot.cn/qwen2-5-vl/) **架构** 交叉注意力双通道，感知与生成解耦并行 解码器-only，视觉 token 嵌入自回归序列 **交互模式** 流式实时，边看边说、即时修正 离线批处理，需看完视频再统一回答 **首 token 延迟** 约 5 倍提速，毫秒级响应 基准水平，受视觉处理阻塞 **解码吞吐** 2.7 倍提升，高帧率流畅生成 基准水平 **主动行为** 支持主动沉默、即时修正、任意打断 无实时行为控制能力 **时间感知** 绝对时间戳编码，感知物理时间流 相对位置编码，依赖固定帧率 **模型规模** 11B 开源权重 7B 开源权重 ## MOSS-VL-Realtime的应用场景 - **实时监控告警**：街道监控场景中无事自动静默，目标人物摔倒或异常闯入瞬间即时触发告警。 - **赛事直播解说**：足球等体育赛事实时捕捉传球、射门、进球等关键动作并同步专业播报。 - **演讲幻灯片伴读**：实时跟随 PPT 翻页进度，从开场到结束对每页内容即兴连贯讲解。 - **实验过程记录**：观察植物生长延时摄影，精准捕捉关键变化并准确报告具体发生天数。 - **实时教学辅导**：观看手写解题过程，每写一行公式即时转录并同步讲解推导逻辑。 ## 常见问题解答 (FAQ) ### MOSS-VL-Realtime 适合做什么？ 它主要面向实时视频理解场景，可用于监控告警、赛事直播解说、PPT 伴读、实验过程记录和实时教学辅导等。模型支持边看边答、即时修正和主动沉默，更适合持续流式交互而非离线总结。 ### MOSS-VL-Realtime 为什么比普通视频模型更快？ 核心在于双通道交叉注意力架构，将视觉感知与文本生成解耦并行，减少高频帧端到端阻塞；同时结合绝对时间戳编码，让模型更好地处理实时流输入，因此首 token 延迟和吞吐表现更优。 ### MOSS-VL-Realtime 的部署门槛高吗？ 文章给出的推荐环境是单张 H200 显卡，可支持 256 帧视频序列的实时推理。使用时需获取开源权重与代码，完成本地依赖安装、权重加载，并接入实时摄像头或视频流输入。 --- 探索 2,800+ 全球实用 AI 工具与官方直达入口：[语宙 AI 导航 (https://ai.paooo.com/)](https://ai.paooo.com/)