# Molmo 2 – Ai2开源的AI视频分析模型 - Link: https://paooo.com/aigc-news/38361/ - Published: 2026-07-28T11:00:00+08:00 - Author: 站外新闻 ## Molmo 2是什么 Molmo 2 是艾伦人工智能研究所（Ai2）推出的开源视频分析模型，专注于视频理解、指向和 追踪。模型基于 Qwen 3 和 [Olmo](https://ai-bot.cn/olmo-llm/) 架构，具备强大的视频 分析能力，能在视频中精准定位事件、追踪多目标，生成详细字幕。Molmo 2 在视频追踪和 问答任务上超越多个开源和闭源模型（如[Gemini 3](https://ai-bot.cn/gemini-3/)），同时 提供高效的推理能力。模型训练数据集丰富，涵盖多种视频和图像任务，支持研究和教育用途， 助力多模态智能发展。 阅读目录 * [Molmo 2是什么](https://paooo.com/aigc-news/38361/#molmo-2%e6%98%af%e4%bb%80%e4%b9%88) * [Molmo 2的主要功能](https://paooo.com/aigc-news/38361/#molmo-2%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd) * [Molmo 2的技术原理](https://paooo.com/aigc-news/38361/#molmo-2%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86) * [Molmo 2的项目地址](https://paooo.com/aigc-news/38361/#molmo-2%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80) * [Molmo 2的应用场景](https://paooo.com/aigc-news/38361/#molmo-2%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af) ![Molmo 2](https://paooo.com/wp-content/uploads/2026/07/Molmo-2-website-1.avif) ## Molmo 2的主要功能 * **视频理解与问答**：能对视频内容进行深入理解，回答与视频相关的各种问题，包括描述 性问题、事件推理问题等。 * **视频指向与定位**：支持对视频中的特定事件或对象进行空间和时间上的精确定位，例如 回答“何时何地发生了某个事件”。 * **多目标追踪**：追踪视频中的多个目标，在目标被遮挡或重新进入画面时保持稳定的追踪。 * **密集视频字幕生成**：为视频生成详细且具有描述性的字幕，提供长视频的可搜索叙事 内容。 * **异常和伪影检测**：检测视频中的异常事件或生成视频中的伪影，例如不一致的光照或 物体几何形状的错误。 * **多图像输入支持**：支持单张图片、多张图片以及不同长度的视频片段作为输入，提供 灵活的多模态处理能力。 * **跨模态推理**：结合视觉和语言信息进行推理，支持复杂的多模态任务，如基于文本描述 的图像或视频查询。 ## Molmo 2的技术原理 * **模型架构**：Molmo 2 的架构由视觉编码器、语言模型（LLM）和连接器组成。视觉编码 器将输入的图像或视频帧转换为视觉标记，提取空间和时间信息；语言模型基于 Qwen 3 或 Olmo，处理视觉标记和文本信息，实现跨模态推理；连接器将视觉标记与时间戳、图像 索引和文本交织，使模型能联合处理空间、时间和语言信息。 * **两阶段训练**：Molmo 2 采用两阶段训练方法。第一阶段通过图像字幕生成和图像指向 任务进行预训练，增强视觉和语言模态的对齐和定位能力；第二阶段在多模态数据集上进行 监督微调，涵盖图像、多图像、视频和纯文本任务，进一步提升模型的泛化能力。 * **数据处理与采样**：在视频输入中，Molmo 2 以低帧率（≤2fps）采样最多 128 帧，通过 视觉变换器（Vision Transformer）进行编码。将视觉标记按时间窗口（如 3×3）池化， 与文本和时间信息交织后输入语言模型，支持跨帧的视觉标记交互。 * **优化技术**：Molmo 2 在微调阶段采用标记权重方案，平衡不同任务的学习，提升模型 在多任务场景下的性能。同时，引入序列打包和消息树调度提高吞吐量，通过视觉标记之间 的双向注意力机制，增强定位和追踪能力。 * **数据集与任务设计**：Molmo 2 构建了超过 900 万样本的多模态数据集，涵盖密集字幕 生成、视频问答、定位和追踪等任务。训练数据包括图像字幕、视频 QA、指向、追踪等 多任务混合，提升模型在复杂场景下的适应能力。 ## Molmo 2的项目地址 * **项目官网**：https://allenai.org/blog/molmo2 * **GitHub仓库**：https://github.com/allenai/molmo2 * **HuggingFace模型库**：https://huggingface.co/collections/allenai/molmo2 * **技术论文**：https://www.datocms-assets.com/64837/1765901660-molmo_v2_2026-techreport- 3.pdf ## Molmo 2的应用场景 * **自动驾驶与交通监控**：Molmo 2 可用在交通流量分析、事故检测与预警，提升交通管理 和车辆行驶的安全性与效率。 * **机器人与自动化**：在机器人视觉导航和工业自动化检测中，帮助机器人更好地理解环境、 检测产品质量问题。 * **科学研究与教育**：辅助科学实验分析和教育工具开发，为研究人员和学生提供动态过程 的详细分析与理解。 * **内容创作与媒体**：自动生成视频字幕并辅助视频编辑，提升内容创作的效率和可访问 性。 * **安防与监控**：实时检测安防监控中的异常行为和人员追踪，保障公共场所和特定区域 的安全。 **🚀 Prompt 语宙 AI 创作者生态：**探索 2,000+ 全球实用 AI 工具与高精度生图提示词 咒语库 [🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/) [⚡ AIGC 早报生成器](https://paooo.com/mtool/)