# ShowUI – 新加坡国立联合微软推出用于 GUI 自动化的视觉-语言-操作模型

- Link: https://paooo.com/aigc-news/25224/
- Published: 2026-07-12T15:48:29+08:00
- Author: Prompt 语宙研究院

⚡ [Prompt](https://paooo.com/ai-image-prompts/) 语宙 AI 导读 · 30 秒核心看点

 * UI 引导的视觉令牌选择可减少冗余计算，提升高分辨率 GUI 场景的处理效率。
 * 交错视觉-语言-行动流统一多样化 GUI 任务，兼顾历史管理与训练效率。
 * 256K 数据实现 75.1% 零样本截图定位准确率，训练速度提升 1.4 倍。

## ShowUI是什么

ShowUI是新加坡国立大学Show Lab和微软共同推出的视觉-语言-行动模型，能提升图形用户
界面（GUI）助手的工作效率。模型基于UI引导的视觉令牌选择减少计算成本，用交错视觉-
语言-行动流统一GUI任务中的多样化需求，并管理视觉-行动历史增强训练效率。ShowUI用小
规模但高质量的指令跟随数据集，用256K数据实现75.1%的零样本截图定位准确率，训练速度
提升1.4倍，展现出在GUI视觉代理领域的潜力。

阅读目录

 * [ShowUI是什么](https://paooo.com/aigc-news/25224/#showui%e6%98%af%e4%bb%80%e4%b9%88)
 * [ShowUI的主要功能](https://paooo.com/aigc-news/25224/#showui%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd)
 * [ShowUI的技术原理](https://paooo.com/aigc-news/25224/#showui%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86)
 * [ShowUI的项目地址](https://paooo.com/aigc-news/25224/#showui%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80)
 * [ShowUI的应用场景](https://paooo.com/aigc-news/25224/#showui%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af)

![ShowUI](https://paooo.com/wp-content/uploads/2026/07/ShowUI-website-1.avif)

## ShowUI的主要功能

 * **UI引导的视觉令牌选择**：将屏幕截图构建为UI连接图，自适应地识别冗余关系，在自
   注意力模块中作为选择令牌的标准，减少计算成本。
 * **交错视觉-语言-行动流**：灵活地统一GUI任务中的多样化需求，有效管理视觉-行动历史，
   提高训练效率。
 * **小规模高质量GUI指令跟随数据集**：基于精心策划数据和采用重采样策略解决数据类型
   不平衡的问题，提高模型的准确性和效率。
 * **零样本截图定位**：在没有额外训练的情况下，直接对屏幕截图进行理解和操作的能力。
 * **GUI自动化**：自动化执行GUI任务，如点击、输入等，提高人机交互效率。

## ShowUI的技术原理

 * **UI引导的视觉令牌选择**：
    - 将屏幕截图分割成规则的补丁（patches），每个补丁作为一个节点。
    - 识别具有相同RGB值的相邻补丁，构建UI连接图，将视觉冗余区域组合起来。
    - 在自注意力模块中，基于UI连接图选择性地处理视觉令牌，减少计算量。
 * **交错视觉-语言-行动流**：
    - 结构化GUI动作，以JSON格式表示，统一不同设备上的动作。
    - 基于交替处理视觉、语言和行动数据，管理复杂的交互历史。
    - 在训练中，用多轮对话方式，提高数据利用效率。
 * **数据策划和重采样策略**：
    - 精心策划和选择高质量的训练数据，而不是简单地聚合所有可用数据源。
    - 基于重采样策略，解决不同设备和任务类型之间的数据不平衡问题。
 * **高效处理高分辨率UI截图**：针对高分辨率UI截图，优化模型以有效处理长令牌序列，
   减少计算成本。
 * **模型架构**：
    - 基于Qwen2-VL-2B模型，整合视觉编码器和语言模型，处理视觉和文本数据。
    - 基于特定的数据食谱和训练策略，提高模型在GUI任务中的性能。

## ShowUI的项目地址

 * **GitHub仓库**：[https://github.com/showlab/ShowUI](https://github.com/showlab/ShowUI)
 * **HuggingFace模型库**：[https://huggingface.co/datasets/showlab/ShowUI-desktop-8K](https://huggingface.co/datasets/showlab/ShowUI-desktop-8K)
 * **arXiv技术论文**：[https://arxiv.org/pdf/2411.17465](https://arxiv.org/pdf/2411.17465)
 * **在线体验Demo**：[https://huggingface.co/spaces/showlab/ShowUI](https://huggingface.co/spaces/showlab/ShowUI)

## ShowUI的应用场景

 * **网页自动化**：自动执行网页上的点击、输入、滚动等操作，用在自动化测试、数据抓取
   或模拟用户行为。
 * **移动应用测试**：在移动应用中自动化执行各种用户交互，如滑动、点击、填写表单等，
   进行应用功能测试。
 * **桌面软件自动化**：自动化桌面软件中的重复性任务，如文件管理、数据输入、设置调整
   等。
 * **虚拟助手**：作为虚拟助手的一部分，根据用户的自然语言指令执行特定的GUI操作。
 * **游戏自动化**：在支持自动化脚本的游戏中，自动执行角色移动、物品拾取、战斗等操作。

🧭 文中关联 [AI 工具](https://ai.paooo.com/)官网与参数卡（语宙 AI 导航）

**HuggingFace ↗**

HuggingFace：AI模型开发社区，面向大语言模型场景提供便捷实用的在线功能支持，涵盖大
模型等实用方向。

❓ 常见问题解答（FAQ）

ShowUI 适合做哪些 GUI 自动化任务？

ShowUI 可用于网页自动化、移动应用测试、桌面软件自动化，也能作为虚拟助手执行点击、
输入、滚动、滑动等操作，适合需要自然语言驱动界面交互的场景。

ShowUI 的核心技术亮点是什么？

它的核心是 UI 引导的视觉令牌选择与交错视觉-语言-行动流：前者减少视觉冗余计算，后者
统一 GUI 任务中的视觉、语言和动作历史，从而提升效率与泛化能力。

ShowUI 的实测效果怎么样？

文中给出的结果显示，ShowUI 使用 256K 数据实现了 75.1% 的零样本截图定位准确率，训练
速度提升 1.4 倍，说明它在 GUI 视觉代理方向具备较强潜力。

🔬 语宙深潜追问 · 进阶实操拆解

如何降低UI自动化误点率？

把“看懂界面”和“执行动作”分离：先做元素定位与候选排序，再加规则校验、坐标容错和二次
确认。高风险操作如支付、删除，必须引入人审或双重确认，不能完全交给模型。

企业级GUI代理怎么做回退？

为每个动作定义可验证状态，比如页面标题、元素存在性、表单值是否写入成功。失败时按“
重试、换路径、人工接管”三级回退，并记录轨迹，方便复盘和持续微调。

🗳️ 读者观点微投票 · 您的实战立场是？

GUI自动化，视觉语言模型会取代脚本吗？

🕸️ 语宙向量知识图谱 · 语义强关联深度内链

[🔓 所属权威专题：开源大模型与端侧推理 →](https://paooo.com/topics/open-source-llm/)

 * [CogAgent – 清华与智谱AI联合推出的多模态视觉大模型](https://paooo.com/aigc-news/26109/)
 * [CogAgent-9B – 智谱AI开源 GLM-PC 的基座模型](https://paooo.com/aigc-news/24568/)
 * [阿里通义MAI-UI开源：全尺寸GUI智能体基座模型，2B-235B参数，登顶权威评测引领人机交互变革](https://paooo.com/aigc-news/12508/)
 * [AGUVIS – 香港大学联合 Salesforce 推出统一纯视觉的GUI自动化框架](https://paooo.com/aigc-news/24565/)

[🏛️ Prompt 语宙研究院](https://paooo.com/author/paooo-research/) · Prompt 语宙研究院（
paooo.com Research）专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示
词工程（Prompt Engineering）与全球高增长 AI 生产力工具实测追踪，致力于为中文开发
者与创作者提供一手、可复现的深度技术洞察。

[📄 Markdown 纯净版](https://paooo.com/aigc-news/25224/?format=md)

💡 这篇内容对您有启发吗？

[📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/)

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)