# MM1.5 – 苹果推出的升级版多模态大模型

- Link: https://paooo.com/aigc-news/26347/
- Published: 2026-07-09T07:05:08+08:00
- Author: 站外新闻

## MM1.5是什么

MM1.5是苹果公司推出的多模态大型语言模型，旨在增强文本丰富图像理解、视觉指代和定位
以及多图像推理能力。模型基于数据为中心的训练方法，在大规模预训练、高分辨率OCR数据
持续预训练及优化的视觉指令微调，实现从1B到30B参数规模的高性能。MM1.5包括密集型和
MoE变体，展现小规模模型通过精细数据策划和训练策略达到强大性能。MM1.5推出针对视频
理解和移动UI理解优化的专门变体MM1.5-Video和MM1.5-UI，基于实证研究提供训练过程和决策
的深入见解，为多模态AI技术的未来发展提供指导。

阅读目录

 * [MM1.5是什么](https://paooo.com/aigc-news/26347/#mm15%e6%98%af%e4%bb%80%e4%b9%88)
 * [MM1.5的主要功能](https://paooo.com/aigc-news/26347/#mm15%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd)
 * [MM1.5的技术原理](https://paooo.com/aigc-news/26347/#mm15%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86)
 * [MM1.5的项目地址](https://paooo.com/aigc-news/26347/#mm15%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80)
 * [MM1.5的应用场景](https://paooo.com/aigc-news/26347/#mm15%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af)

![MM1.5](https://paooo.com/wp-content/uploads/2026/07/MM1.5-website-1.avif)

## MM1.5的主要功能

 * **文本丰富的图像理解**：MM1.5能理解图像中的文本内容以及文本与图像内容之间的关系。
 * **视觉指代和定位**：模型识别图像中的特定对象，理解文本中对对象的引用，如“那个
   红色的球”。
 * **多图像推理**：MM1.5能分析多张图像，理解图像之间的联系，进行逻辑推理。
 * **视频理解**：基于MM1.5-Video变体，模型能理解视频内容，包括动作、事件和时间序列。
 * **移动UI理解**：MM1.5-UI变体专门针对移动应用界面的理解，识别和操作界面元素。

## MM1.5的技术原理

 * **深度学习和自然语言处理**：结合深度学习的视觉模型和自然语言处理技术，模型能理解
   和生成与图像内容相关的文本。
 * **坐标token和视觉注意力机制**：用坐标token定位图像中的对象，基于视觉注意力机制
   关注图像的特定区域。
 * **图像分割和多模态融合**：将图像分割成多个部分，与文本信息融合，支持多图像推理。
 * **视频帧采样和时序分析**：对视频帧进行采样，分析帧之间的时序关系，理解视频内容。
 * **界面元素识别**：用图像识别技术识别移动界面上的元素，如按钮和图标。

## MM1.5的项目地址

 * **arXiv技术论文**：[https://arxiv.org/pdf/2409.20566v1](https://arxiv.org/pdf/2409.20566v1)

## MM1.5的应用场景

 * **图像和视频理解**：MM1.5能理解和分析图像及视频内容，应用于图像标注、视频内容
   分析、安防监控等领域。
 * **视觉搜索**：在电子商务或数字图书馆中，MM1.5帮助用户基于描述或查询图像来搜索
   特定的产品或文档。
 * **辅助驾驶和自动驾驶**：在汽车行业，MM1.5用在理解和分析道路情况，辅助驾驶决策。
 * **智能助手**：在智能手机和智能家居设备中，MM1.5提供更自然、直观的交互方式，理解
   用户的语音或文本指令。
 * **教育和培训**：MM1.5作为教育工具，帮助学生理解复杂的概念，提供个性化的学习体验。

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,000+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[⚡ AIGC 早报生成器](https://paooo.com/mtool/)