# MMSkills – 上海交大与小红书联合推出的多模态技能框架

- Link: https://paooo.com/aigc-news/24196/
- Published: 2026-07-07T13:55:03+08:00
- Author: 站外新闻

## MMSkills是什么

MMSkills 是上海交通大学与小红书联合推出的面向通用视觉 Agent 的多模态技能框架，支持
将可复用技能从纯文本步骤扩展为包含文本流程、运行时状态卡片和多视角关键帧的多模态
程序性知识，通过 branch loading 机制在运行时高效调用视觉证据，在 OSWorld、macOSWorld、
VAB-Minecraft 等 GUI 与游戏任务上为 Gemini、Qwen、Kimi、GLM 等多模型家族带来稳定
提升。

阅读目录

 * [MMSkills是什么](https://paooo.com/aigc-news/24196/#mmskills%e6%98%af%e4%bb%80%e4%b9%88)
 * [MMSkills的主要功能](https://paooo.com/aigc-news/24196/#mmskills%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd)
 * [MMSkills的技术原理](https://paooo.com/aigc-news/24196/#mmskills%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86)
 * [如何使用MMSkills](https://paooo.com/aigc-news/24196/#%e5%a6%82%e4%bd%95%e4%bd%bf%e7%94%a8mmskills)
 * [MMSkills的核心优势](https://paooo.com/aigc-news/24196/#mmskills%e7%9a%84%e6%a0%b8%e5%bf%83%e4%bc%98%e5%8a%bf)
 * [MMSkills的项目地址](https://paooo.com/aigc-news/24196/#mmskills%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80)
 * [MMSkills的同类竞品对比](https://paooo.com/aigc-news/24196/#mmskills%e7%9a%84%e5%90%8c%e7%b1%bb%e7%ab%9e%e5%93%81%e5%af%b9%e6%af%94)
 * [MMSkills的应用场景](https://paooo.com/aigc-news/24196/#mmskills%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af)

![MMSkills](https://paooo.com/wp-content/uploads/2026/07/MMSkills-website-1.avif)

## MMSkills的主要功能

 * **多模态技能包构建**：整合文本流程、运行时状态卡片与多视角关键帧，形成可复用的
   视觉程序性知识单元。
 * **自动化技能生成**：基于公开非测试交互轨迹，通过任务聚类、技能规划、合并泛化与
   视觉审计五阶段，自动提炼多模态技能库。
 * **Branch Loading 分支加载**：主 Agent 在运行时临时开启 skill branch，按需调用
   技能而非一次性注入完整上下文，避免视觉证据污染主决策流程。
 * **View Selection 视角筛选**：根据当前截图、历史动作与状态卡片，从技能包中智能
   选择最相关的关键帧与视角进行对齐。
 * **结构化决策指导**：分支完成视觉对齐后，向主 Agent 返回包含 applicable、subgoal、
   plan、do_not_do 和 verify 的紧凑决策支持。
 * **跨领域任务覆盖**：同时支持 GUI 桌面自动化与视觉游戏任务，如 Minecraft、Super
   Mario Bros，实现多模态技能的跨场景迁移复用。

## MMSkills的技术原理

 * **多模态技能包定义**：MMSkills 将传统文本技能扩展为包含 SKILL.md 文本流程、State_cards.
   json 运行时状态卡片和 Images 多视角关键帧的完整单元，使 Agent 能基于视觉状态判断
   何时使用技能、如何验证进度。
 * **自动化技能生成**：通过任务聚类、簇内技能规划、技能合并泛化、文本草案生成、视觉
   grounding 与审计五阶段，从公开轨迹中自动抽取可复用的诊断性状态知识，而非简单保存
   原始演示。
 * **Branch Loading 运行时机制**：主 Agent 判断技能可能有用时，临时打开 skill branch
   执行 View Selection 选择关键状态视角，再由 Branch Planning 将视觉证据与当前环境
   对齐，返回压缩后的结构化决策支持。

![挖挖GitHub](https://paooo.com/wp-content/uploads/2026/07/wawagithub-33.avif)

微信关注回复 “**开源**”，加入**AI开源项目交流群**

## 如何使用MMSkills

 * **获取技能库**：访问 Hugging Face 数据集下载预生成的多模态技能包。
 * **集成主 Agent**：将 MMSkills 分支加载机制接入现有视觉 Agent 的推理流程。
 * **触发技能调用**：主 Agent 在运行时判断当前任务可能匹配某技能，发起 branch loading
   请求。
 * **接收结构化指导**：临时分支完成视觉证据对齐后，返回 applicable、subgoal、plan
   等决策支持。
 * **执行并验证**：主 Agent 依据返回指导执行动作，并通过状态卡片验证任务进度。

## MMSkills的核心优势

 * **状态感知决策**：技能包包含运行时状态卡片，Agent 能判断当前界面是否满足技能前
   置条件。
 * **视觉证据对齐**：多视角关键帧帮助 Agent 将文本条件 grounding 到真实画面，避免
   误操作。
 * **上下文高效管理**：Branch Loading 避免完整技能包直接注入主上下文，防止参考图片
   污染当前决策。
 * **小模型增益显著**：外部多模态程序性知识在 Qwen3-VL-8B 等小模型上提升超一倍，
   补充其内部过程先验不足。
 * **行为模式优化**：显著减少无效点击和重复动作，使 Agent 从探索式试错转向状态感知
   执行。

## MMSkills的项目地址

 * **项目官网**：https://zkangning.github.io/MMSkills_for_Visual_Agents/
 * **GitHub仓库**：https://github.com/zkangning/MMSkills_for_Visual_Agents
 * **HuggingFace模型库**：https://huggingface.co/datasets/zhangkangning/mmskills
 * **arXiv技术论文**：https://arxiv.org/pdf/2605.13527

## MMSkills的同类竞品对比

  |  维度 |  MMSkills |  Text-only Skills |  
   |  技能表示 |  文本流程 + 状态卡片 + 多视角关键帧 |  纯文本步骤或动作图 |  
 |  状态判断 |  通过运行时状态卡片和截图判断当前界面状态 |  仅靠文本描述推断，易忽略界面实际状态 |  
 |  运行时加载 |  Branch Loading 临时分支选择性加载视觉证据 |  通常直接注入完整文本技能到主上下文 |  
 |  上下文污染 |  通过 View Selection 过滤，避免参考图片污染主 Agent |  文本虽无图片污染，但缺乏视觉 grounding |  
 |  典型失败案例 |  能识别当前激活工作表、按钮可用状态等 |  易在错误工作表创建图表、误点灰色按钮 |  
 |  OSWorld 整体表现 |  Gemini 3.1 Pro: 50.11%；Qwen3-VL-235B: 39.17% |  Gemini 3.1 Pro: 40.76%；Qwen3-VL-235B: 28.57% |

## MMSkills的应用场景

 * **桌面 GUI 自动化**：在 Ubuntu / macOS 环境中完成跨应用复杂操作（如 LibreOffice
   图表创建、文件权限修改）。
 * **游戏 AI 智能体**：在 Minecraft 生存模式中执行长程物品获取与合成规划，或在平台
   跳跃游戏中基于视觉状态决策。
 * **企业 RPA 增强**：为现有机器人流程自动化系统增加视觉状态感知能力，提升跨软件
   操作的稳定性。
 * **视觉任务教学**：将人工操作经验沉淀为可复用多模态技能库，用于培训或辅助其他 
   Agent 学习。