# AGUVIS – 香港大学联合 Salesforce 推出统一纯视觉的GUI自动化框架

- Link: https://paooo.com/aigc-news/24565/
- Published: 2026-07-08T09:48:29+08:00
- Author: 站外新闻

## AGUVIS是什么

AGUVIS是香港大学、Salesforce 联合推出的统一的纯视觉框架，专为自主GUI[智能体](https://paooo.com/trends/)
设计，能在各种平台（如网页、桌面、移动设备）上操作。AGUVIS基于图像观察和自然语言
指令与视觉元素的关联，采用一致的动作空间实现跨平台泛化。AGUVIS结合显式规划和推理，
增强代理在复杂数字环境中的自主导航和交互能力。框架通过大规模数据集和两阶段训练流程，
实现了在离线和在线场景中超越现有方法的性能，成为首个不依赖外部闭源模型独立完成任务
的纯视觉GUI代理。

阅读目录

 * [AGUVIS是什么](https://paooo.com/aigc-news/24565/#aguvis%e6%98%af%e4%bb%80%e4%b9%88)
 * [AGUVIS的主要功能](https://paooo.com/aigc-news/24565/#aguvis%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd)
 * [AGUVIS的技术原理](https://paooo.com/aigc-news/24565/#aguvis%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86)
 * [AGUVIS的项目地址](https://paooo.com/aigc-news/24565/#aguvis%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80)
 * [AGUVIS的应用场景](https://paooo.com/aigc-news/24565/#aguvis%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af)

![AGUVIS](https://paooo.com/wp-content/uploads/2026/07/AGUVIS-website-1.avif)

## AGUVIS的主要功能

 * **跨平台自主GUI交互**：在不同平台（如网站、桌面和移动设备）上自主执行GUI任务。
 * **图像观察与自然语言指令关联**：将自然语言指令映射到视觉界面元素，实现基于图像
   的交互。
 * **显式规划与推理**：集成规划和推理能力，让代理够分析环境并生成有效的操作步骤。
 * **大规模数据集构建**：创建包含多模态推理和基础的大规模GUI代理轨迹数据集。

## AGUVIS的技术原理

 * **纯视觉框架**：采用纯视觉方法，将界面观察统一为图像，将指令基础到图像坐标，提高
   跨环境的泛化能力。
 * **统一动作空间**：用标准化的动作空间和插件系统，在不同平台间进行一致的学习与交互。
 * **视觉-语言模型（VLM）**：VLM作为基础，如Qwen2-VL，处理任意分辨率的高分辨率图像，
   并动态转换为视觉令牌。
 * **两阶段训练范式**：
    - **第一阶段：基础训练**：专注于使模型理解和与单个GUI截图中的对象交互。
    - **第二阶段：规划与推理训练**：在基础训练的基础上，引入更复杂的决策制定和推理
      过程，基于多样化的代理轨迹数据训练模型。
 * **内省式独白（Inner Monologue）**：在训练中生成详细的内省式独白，包含观察描述、
   思考和低级动作指令，模拟代理的思考过程、提升其规划能力。
 * **插件系统**：为不能直接映射到现有动作空间的动作提供灵活性，让模型能够适应新环境
   和任务。

## AGUVIS的项目地址

 * **项目官网**：[aguvis-project](https://aguvis-project.github.io/?utm_source=ai-bot.cn)
 * **GitHub仓库**：[https://github.com/xlang-ai/aguvis](https://github.com/xlang-ai/aguvis)
 * **arXiv技术论文**：[https://arxiv.org/pdf/2412.04454](https://arxiv.org/pdf/2412.04454)

## AGUVIS的应用场景

 * **自动化测试**：在软件开发中自动化测试各种图形用户界面，包括网站、桌面应用和移动
   应用，确保软件的稳定性和可靠性。
 * **虚拟助手**：作为虚拟助手，帮助用户自动化日常的计算机任务，如日程管理、邮件处理
   和数据输入。
 * **业务流程自动化**：在企业中自动化执行特定的业务流程，如财务报告生成、客户数据
   管理等，提高工作效率。
 * **教育和培训**：创建交互式教育软件，模拟真实世界的GUI操作，用于教学和培训目的。
 * **客户服务自动化**：在客户服务领域自动处理客户请求，基于GUI界面提供快速响应和
   解决方案。

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,000+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[⚡ AIGC 早报生成器](https://paooo.com/mtool/)