Prompt 语宙Prompt 语宙
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
阅读: Magma – 微软研究院联合华盛顿等高校推出的多模态AI基础模型
Share
通知 阅读更多
Font Resizer字体
Font Resizer字体
Prompt 语宙Prompt 语宙
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
已有帐户? 登陆
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
Magma – 微软研究院联合华盛顿等高校推出的多模态AI基础模型
Prompt 语宙 > AIGC 资讯 > Magma – 微软研究院联合华盛顿等高校推出的多模态AI基础模型
AIGC 资讯

Magma – 微软研究院联合华盛顿等高校推出的多模态AI基础模型

Prompt 语宙研究院
最近更新: 2026年6月9日 上午1:01
3D与空间智能 AI智能体 大模型微调 开源大模型
SHARE
⚡ Prompt 语宙 AI 导读 · 30 秒核心看点
  • 融合视觉、语言与动作数据,Magma 让模型同时具备空间智能和时间智能。
  • 通过 SoM 与 ToM 机制,Magma 可把可操作对象和运动轨迹纳入动作规划。
  • 零样本与微调均表现强劲,覆盖网页/移动端操作、机器人控制和视频理解。

Magma是什么

Magma 是微软研究院推出的新型多模态AI基础模型,能为多模态人工智能代理(AI agents)提供通用能力。Magma能理解和执行多模态输入的任务,覆盖数字和物理环境。Magma基于大规模的视觉-语言数据和动作数据进行预训练,Magma 结合了语言智能、空间智能和时间智能,能完成从 UI 导航到机器人操作的复杂任务。在实验中,Magma 在零样本和微调设置下均展现出卓越性能,在机器人操作和多模态理解任务中,超越了现有的专用模型。

阅读目录
  • Magma是什么
  • Magma的主要功能
  • Magma的技术原理
  • Magma的项目地址
  • Magma的应用场景

Magma

Magma的主要功能

  • 多模态理解:能处理图像、视频、文本等多种模态的数据,理解其语义、空间和时间信息。支持从简单的图像识别到复杂的视频理解任务。
  • 动作规划与执行:将复杂的任务分解为一系列可执行的动作序列。支持从 UI 导航(如网页操作、移动应用操作)到物理环境中的机器人操作(如抓取、放置、移动物体)。
  • 环境适应性:在零样本(zero-shot)的情况下适应多种下游任务,包括 UI 导航、机器人操作和多模态理解。

Magma的技术原理

  • 预训练架构:使用卷积网络(如 ConvNeXt)作为视觉编码器,处理图像和视频数据。将编码后的视觉信息与语言标记一起输入到一个大型语言模型(LLM)中,生成动作序列或语言描述。
  • Set-of-Mark (SoM):在图像中标注可操作的视觉对象(如 GUI 中的按钮、机器人手臂的目标位置)。基于预测这些标记的位置,帮助模型理解和执行动作落地(action grounding)。
  • Trace-of-Mark (ToM):在视频中标注物体的运动轨迹(如机器人手臂的运动路径)。基于预测未来轨迹,帮助模型理解和规划动作序列,增强时间动态的理解能力。
  • 多模态数据融合:预训练数据包括图像、视频、机器人操作数据和多模态理解任务的数据。基于 SoM 和 ToM 技术,将这些不同类型的数据统一到一个预训练框架中,提升模型的通用性和适应性。
  • 零样本和微调能力:预训练后的模型能直接应用于未见过的任务(零样本),表现出较强的泛化能力。在少量数据上进行微调后,能进一步提升性能,适应特定任务的需求。

Magma的项目地址

  • 项目官网:https://microsoft.github.io/Magma/
  • GitHub仓库:https://github.com/microsoft/Magma
  • arXiv技术论文:https://www.arxiv.org/pdf/2502.13130

Magma的应用场景

  • 网页和移动应用操作:自动完成搜索、安装应用、填写表单等任务。
  • 机器人操作:控制机器人完成抓取、放置和移动物体等任务。
  • 视频理解:分析视频内容,回答相关问题。
  • 智能助手:作为虚拟助手,理解指令并完成交互任务。
  • 教育与培训:辅助教学,提供操作指导和反馈。
❓ 常见问题解答(FAQ)
Magma 是什么类型的模型?

Magma 是微软研究院推出的多模态AI基础模型,目标是为多模态AI代理提供通用能力。它能理解图像、视频、文本和动作数据,并把这些信息用于 UI 导航、机器人操作和多模态理解任务。

Magma 的 SoM 和 ToM 有什么作用?

SoM(Set-of-Mark)用于在图像中标注可操作对象,帮助模型完成动作落地;ToM(Trace-of-Mark)用于在视频中标注运动轨迹,帮助模型理解时间动态并规划动作序列。

Magma 适合哪些实际应用场景?

Magma 可用于网页和移动应用操作、机器人抓取与放置、视频内容理解、智能助手交互,以及教育培训中的操作指导与反馈,适合需要多模态理解和动作执行的场景。

🔬 语宙深潜追问 · 进阶实操拆解
Magma为何能同时做UI导航和机器人操作?

因为它把语言、空间和时间信息统一到同一表征里,既能理解界面元素关系,也能预测动作序列。对 UI 和机器人来说,本质都是“看懂环境后按步骤行动”,只是载体不同。

落地多模态基础模型时该怎么选微调策略?

如果任务分散且场景变化大,先做少量高质量指令微调,再针对 UI、视频或机器人分别做轻量适配。这样能保住通用能力,同时减少单一场景过拟合和灾难性遗忘。

🗳️ 读者观点微投票 · 您的实战立场是?
多模态基础模型做UI和机器人,先卷通用性还是专用性?
🕸️ 语宙向量知识图谱 · 语义强关联深度内链
🐋 所属权威专题:DeepSeek 深度实战与部署 →
  • Command A+ – Cohere Labs 开源的多模态大模型
  • 微软发布万亿参数大模型MAI-1-preview:1.5万H100集群训练,性能直逼GPT-4
  • Apollo – Meta 联合斯坦福大学推出的大型多模态模型
  • MMaDA – 字节联合普林斯顿大学等推出的多模态扩散模型
🏛️ Prompt 语宙研究院 · Prompt 语宙研究院(paooo.com Research)专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示词工程(Prompt Engineering)与全球高增长 AI 生产力工具实测追踪,致力于为中文开发者与创作者提供一手、可复现的深度技术洞察。
📄 Markdown 纯净版
💡 这篇内容对您有启发吗?
📡 RSS 订阅✨ 提交 AI 工具 / 合作
🚀 Prompt 语宙 AI 创作者生态:探索 2,800+ 全球实用 AI 工具与高精度生图提示词咒语库
🧭 语宙 AI 导航 (ai.paooo.com)🎨 AI 生图 Prompt 库📚 核心专题导航⚡ AIGC 早报生成器
Dify-Plus – 基于 Dify 二次开发的企业级增强版项目
百川智能Baichuan-M2 Plus:循证增强医疗大模型,六源推理范式引领AI医疗可信可用新纪元
Ditto – AI应用程序生成器,零编码自动规划和构建应用
Wan-Move 开源:阿里清华联手,无需改动模型即可实现点级精准运动控制的视频生成框架
腾讯联合中科院、故宫博物院推出 Chronicles-OCR:首个覆盖汉字’七体之变’的视觉大模型跨时间评测基准
TAGGED:3D与空间智能AI智能体大模型微调开源大模型
分享
Email 复制链接 打印
Share
Prompt 语宙研究院 头像
ByPrompt 语宙研究院
Follow:
Prompt 语宙研究院(paooo.com Research)专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示词工程(Prompt Engineering)与全球高增长 AI 生产力工具实测追踪,致力于为中文开发者与创作者提供一手、可复现的深度技术洞察。
上一篇 NEXUS-O – 多模态AI模型,实现对语言、音频和视觉全方位感知与交互 NEXUS-O – 多模态AI模型,实现对语言、音频和视觉全方位感知与交互
下一篇 TIGER – 清华大学推出的轻量级语音分离模型 TIGER – 清华大学推出的轻量级语音分离模型
Ad image
Ad image

最近更新

WordPress 7.2版本更新与默认随机重定向、Secrets API撤回及MCP核心能力拆解封面图
官方博客竟把关闭过滤器写错了!WordPress 7.2前瞻全拆解:默认/random/暗藏隐私与SEO风险、Secrets API紧急撤回与3项MCP只读能力落地
AI 工具
Anthropic上市募资与算力长约的隐喻:现金光环上升,数据中心暗链延伸,治理水晶承受张力与阻力冲击。
募资超1070亿美元却背负9000亿算力长约!Anthropic史上最大IPO背后的三大隐忧:1040亿年内亏损、地方抵制潮与PBC治理死结
AIGC 资讯
微软Copilot与Claude/ChatGPT价格战隐喻:发光玻璃表格堡垒守住Excel,数据流高效汇聚,企业AI竞争升级
3000万付费仅吃下4.5亿席位不到7%!微软Ignite正面叫板Claude与ChatGPT:月均30美元VS 205美元价格战与Excel保卫战全拆解
AIGC 资讯
联想AI推理时代的端边云全栈算力插画:玻璃拟态服务器核心发光,光流连接云端与边缘节点,呈现营收与订单增长动能。
AI营收暴涨80%且握5300亿服务器订单!联想Q2单季营收首破2000亿、净利狂飙166%:端边云全栈算力如何接住推理时代红利?
AIGC 资讯

相关推荐

狂砍 5000 万首合成垃圾!Spotify 推荐引擎重大重构:深度解析 AI 幽灵歌曲黑产渗透、版权防刷与流媒体推荐防御战
AI 工具AIGC 资讯

狂砍 5000 万首合成垃圾!Spotify 推荐引擎重大重构:深度解析 AI 幽灵歌曲黑产渗透、版权防刷与流媒体推荐防御战

Prompt 语宙研究院
AI音乐 Spotify Suno Udio 推荐算法 流媒体治理 版权反作弊
Kimi K2.7 Code – 月之暗面开源的新一代编程专用模型
AIGC 资讯

Kimi K2.7 Code – 月之暗面开源的新一代编程专用模型

Prompt 语宙研究院
AI智能体 AI编程 Kimi 开源大模型
“聊天已死”?OpenAI 秘密推进 ChatGPT 重大改版,拟打造全能“超级应用”
AIGC 资讯

“聊天已死”?OpenAI 秘密推进 ChatGPT 重大改版,拟打造全能“超级应用”

Prompt 语宙研究院
AI智能体 ChatGPT Claude OpenAI Sora
上海AI Lab重磅开源:InternVLA·N1双系统导航大模型,纯合成数据训练,实现真实场景跨楼宇导航
AI 工具AIGC 资讯

上海AI Lab重磅开源:InternVLA·N1双系统导航大模型,纯合成数据训练,实现真实场景跨楼宇导航

Prompt 语宙研究院
HuggingFace 上海人工智能实验室 大模型微调 导航 开源大模型 机器人 端到端
/ Prompt 语宙 /

探索生成式 AI 的无限创作潜能,一站式获取前沿 AIGC 资讯、高阶 Prompt 咒语与全球实用 AI 工具。

核心专栏

  • 语宙 AI 工具导航
  • EVA 视觉抠图工坊Hot
  • 出海数字营销宝典
  • AI 生图咒语灵感库
  • 24H 硅谷 AI 情报流

生态与服务

  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作

标签

开源大模型 AI智能体 AI办公效率 AI绘画提示词 OpenAI 大模型微调 Midjourney AI编程 stable diffusion AI视频生成 ChatGPT 3D与空间智能 HuggingFace AI音频与语音 RAG检索增强 Claude Flux AIGC Gemini 通义千问 Anthropic Llama Cursor DeepSeek Prompt AI Agent Kimi 智谱AI 具身智能 YouTube
Prompt 语宙Prompt 语宙
Follow US
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.