# Magma – 微软研究院联合华盛顿等高校推出的多模态AI基础模型

- Link: https://paooo.com/aigc-news/21737/
- Published: 2026-06-09T01:01:41+08:00
- Author: Prompt 语宙研究院

⚡ [Prompt](https://paooo.com/ai-image-prompts/) 语宙 AI 导读 · 30 秒核心看点

 * 融合视觉、语言与动作数据，Magma 让模型同时具备空间智能和时间智能。
 * 通过 SoM 与 ToM 机制，Magma 可把可操作对象和运动轨迹纳入动作规划。
 * 零样本与微调均表现强劲，覆盖网页/移动端操作、机器人控制和视频理解。

## Magma是什么

Magma 是微软研究院推出的新型多模态AI基础模型，能为多模态人工智能代理（AI agents）
提供通用能力。Magma能理解和执行多模态输入的任务，覆盖数字和物理环境。Magma基于大规模
的视觉-语言数据和动作数据进行预训练，Magma 结合了语言智能、空间智能和时间智能，能
完成从 UI 导航到机器人操作的复杂任务。在实验中，Magma 在零样本和微调设置下均展现
出卓越性能，在机器人操作和多模态理解任务中，超越了现有的专用模型。

阅读目录

 * [Magma是什么](https://paooo.com/aigc-news/21737/#magma%e6%98%af%e4%bb%80%e4%b9%88)
 * [Magma的主要功能](https://paooo.com/aigc-news/21737/#magma%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd)
 * [Magma的技术原理](https://paooo.com/aigc-news/21737/#magma%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86)
 * [Magma的项目地址](https://paooo.com/aigc-news/21737/#magma%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80)
 * [Magma的应用场景](https://paooo.com/aigc-news/21737/#magma%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af)

![Magma](https://paooo.com/wp-content/uploads/2026/06/Magma-website-1.avif)

## Magma的主要功能

 * **多模态理解**：能处理图像、视频、文本等多种模态的数据，理解其语义、空间和时间
   信息。支持从简单的图像识别到复杂的视频理解任务。
 * **动作规划与执行**：将复杂的任务分解为一系列可执行的动作序列。支持从 UI 导航（
   如网页操作、移动应用操作）到物理环境中的机器人操作（如抓取、放置、移动物体）。
 * **环境适应性**：在零样本（zero-shot）的情况下适应多种下游任务，包括 UI 导航、
   机器人操作和多模态理解。

## Magma的技术原理

 * **预训练架构**：使用卷积网络（如 ConvNeXt）作为视觉编码器，处理图像和视频数据。
   将编码后的视觉信息与语言标记一起输入到一个大型语言模型（LLM）中，生成动作序列
   或语言描述。
 * **Set-of-Mark (SoM)**：在图像中标注可操作的视觉对象（如 GUI 中的按钮、机器人手臂
   的目标位置）。基于预测这些标记的位置，帮助模型理解和执行动作落地（action grounding）。
 * **Trace-of-Mark (ToM)**：在视频中标注物体的运动轨迹（如机器人手臂的运动路径）。
   基于预测未来轨迹，帮助模型理解和规划动作序列，增强时间动态的理解能力。
 * **多模态数据融合**：预训练数据包括图像、视频、机器人操作数据和多模态理解任务的
   数据。基于 SoM 和 ToM 技术，将这些不同类型的数据统一到一个预训练框架中，提升模型
   的通用性和适应性。
 * **零样本和微调能力**：预训练后的模型能直接应用于未见过的任务（零样本），表现出
   较强的泛化能力。在少量数据上进行微调后，能进一步提升性能，适应特定任务的需求。

## Magma的项目地址

 * **项目官网**：[https://microsoft.github.io/Magma/](https://microsoft.github.io/Magma/?utm_source=ai-bot.cn)
 * **GitHub仓库**：[https://github.com/microsoft/Magma](https://github.com/microsoft/Magma)
 * **arXiv技术论文**：[https://www.arxiv.org/pdf/2502.13130](https://www.arxiv.org/pdf/2502.13130)

## Magma的应用场景

 * **网页和移动应用操作**：自动完成搜索、安装应用、填写表单等任务。
 * **机器人操作**：控制机器人完成抓取、放置和移动物体等任务。
 * **视频理解**：分析视频内容，回答相关问题。
 * **智能助手**：作为虚拟助手，理解指令并完成交互任务。
 * **教育与培训**：辅助教学，提供操作指导和反馈。

❓ 常见问题解答（FAQ）

Magma 是什么类型的模型？

Magma 是微软研究院推出的多模态AI基础模型，目标是为多模态AI代理提供通用能力。它能
理解图像、视频、文本和动作数据，并把这些信息用于 UI 导航、机器人操作和多模态理解
任务。

Magma 的 SoM 和 ToM 有什么作用？

SoM（Set-of-Mark）用于在图像中标注可操作对象，帮助模型完成动作落地；ToM（Trace-of-
Mark）用于在视频中标注运动轨迹，帮助模型理解时间动态并规划动作序列。

Magma 适合哪些实际应用场景？

Magma 可用于网页和移动应用操作、机器人抓取与放置、视频内容理解、智能助手交互，以及
教育培训中的操作指导与反馈，适合需要多模态理解和动作执行的场景。

🔬 语宙深潜追问 · 进阶实操拆解

Magma为何能同时做UI导航和机器人操作？

因为它把语言、空间和时间信息统一到同一表征里，既能理解界面元素关系，也能预测动作
序列。对 UI 和机器人来说，本质都是“看懂环境后按步骤行动”，只是载体不同。

落地多模态基础模型时该怎么选微调策略？

如果任务分散且场景变化大，先做少量高质量指令微调，再针对 UI、视频或机器人分别做轻
量适配。这样能保住通用能力，同时减少单一场景过拟合和灾难性遗忘。

🗳️ 读者观点微投票 · 您的实战立场是？

多模态基础模型做UI和机器人，先卷通用性还是专用性？

🕸️ 语宙向量知识图谱 · 语义强关联深度内链

[🐋 所属权威专题：DeepSeek 深度实战与部署 →](https://paooo.com/topics/deepseek/)

 * [Command A+ – Cohere Labs 开源的多模态大模型](https://paooo.com/aigc-news/18861/)
 * [微软发布万亿参数大模型MAI-1-preview：1.5万H100集群训练，性能直逼GPT-4](https://paooo.com/aigc-news/13897/)
 * [Apollo – Meta 联合斯坦福大学推出的大型多模态模型](https://paooo.com/aigc-news/24836/)
 * [MMaDA – 字节联合普林斯顿大学等推出的多模态扩散模型](https://paooo.com/aigc-news/18719/)

[🏛️ Prompt 语宙研究院](https://paooo.com/author/paooo-research/) · Prompt 语宙研究院（
paooo.com Research）专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示
词工程（Prompt Engineering）与全球高增长 AI 生产力工具实测追踪，致力于为中文开发
者与创作者提供一手、可复现的深度技术洞察。

[📄 Markdown 纯净版](https://paooo.com/aigc-news/21737/?format=md)

💡 这篇内容对您有启发吗？

[📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/)

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)
