# Aria-UI – 港大联合 Rhymes AI 开源面向 GUI 智能交互的多模态模型

- Link: https://paooo.com/aigc-news/23169/
- Published: 2026-06-08T23:07:01+08:00
- Author: Prompt 语宙研究院

⚡ [Prompt](https://paooo.com/ai-image-prompts/) 语宙 AI 导读 · 30 秒核心看点

 * 纯视觉GUI定位方案，不依赖HTML/AXTree，直接从界面图像中锁定目标元素。
 * 整合动作历史与多模态MoE架构，提升多步任务中的上下文理解和定位准确率。
 * 在离线与在线代理基准中表现优异，具备跨Web、桌面、移动平台的泛化能力。

## Aria-UI是什么

Aria-UI是香港大学和Rhymes AI共同推出的为图形用户界面（GUI）定位任务设计的大型多模
态模型。基于纯视觉方法，不依赖于HTML或AXTree等辅助输入，用大规模、多样化的数据合成
流程，从Common Crawl和公开数据中生成高质量的元素描述和指令样本，适应不同环境下的
多样化指令。Aria-UI创新性地整合动态动作历史信息，用文本或文本-图像交错格式增强模型
在多步任务场景中的定位能力。在包括离线和在线代理任务的广泛基准测试中，Aria-UI均取得
优异的性能，展现出强大的零样本泛化能力和跨平台适用性，成为通用GUI定位任务的有力解决
方案。

阅读目录

 * [Aria-UI是什么](https://paooo.com/aigc-news/23169/#ariaui%e6%98%af%e4%bb%80%e4%b9%88)
 * [Aria-UI的主要功能](https://paooo.com/aigc-news/23169/#ariaui%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd)
 * [Aria-UI的技术原理](https://paooo.com/aigc-news/23169/#ariaui%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86)
 * [Aria-UI的项目地址](https://paooo.com/aigc-news/23169/#ariaui%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80)
 * [Aria-UI的应用场景](https://paooo.com/aigc-news/23169/#ariaui%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af)

![Aria-UI](https://paooo.com/wp-content/uploads/2026/06/Aria-UI-website-1.avif)

## Aria-UI的主要功能

 * **GUI元素定位**：将语言指令准确地映射到GUI中的目标元素，实现元素的精确定位，为
   后续的交互操作提供基础。
 * **多模态输入处理**：处理包括GUI图像、文本指令、动作历史等多种模态的输入信息，
   充分理解和利用多模态数据中的丰富信息。
 * **多样化指令适应**：基于大规模、多样化的数据合成流程生成的多样化指令样本，有效
   适应不同环境下的各种指令表达方式。
 * **动态上下文理解**：整合动态动作历史信息，用文本或文本-图像交错格式，在多步任务
   场景中理解当前的动态上下文，为准确的元素定位提供重要参考。
 * **高分辨率图像处理**：支持高达3920×2940的图像分辨率，将图像分割成小块处理，显著
   扩展可处理的图像尺寸范围。

## Aria-UI的技术原理

 * **纯视觉方法**：采用纯视觉方法，直接从GUI图像中提取视觉特征，用视觉信息理解和
   定位目标元素。
 * **多模态MoE模型**：基于Aria多模态MoE（Mixture of Experts）模型构建，具有3.9B激活
   参数，擅长处理多模态数据。
 * **数据合成与训练**：基于两阶段的数据合成流程，从Common Crawl和公开数据中生成高
   质量的元素描述和多样化指令样本，覆盖Web、桌面和移动三大GUI环境，为模型训练提供
   大量、多样化的训练数据，增强模型对不同指令和元素的识别能力。
 * **上下文感知数据扩展**：用公开的代理轨迹数据模拟具有上下文的定位任务，构建文本
   动作历史和文本-图像交错历史两种上下文设置，基于数据合成流程为轨迹数据中的所有
   定位步骤生成详细的逐步指令，让模型在动态环境中更好地理解和执行任务。
 * **超分辨率支持**：将图像分割成小块并进行处理，支持高达3920×2940的图像分辨率，
   保持图像的细节和准确性。

## Aria-UI的项目地址

 * **项目官网**：[https://ariaui.github.io/](https://ariaui.github.io/?utm_source=ai-bot.cn)
 * **GitHub仓库**：[https://github.com/AriaUI/Aria-UI](https://github.com/AriaUI/Aria-UI)
 * **HuggingFace模型库**：[https://huggingface.co/Aria-UI](https://huggingface.co/Aria-UI)
 * **arXiv技术论文**：[https://arxiv.org/pdf/2412.16256](https://arxiv.org/pdf/2412.16256)

## Aria-UI的应用场景

 * **自动化测试**：Web应用测试自动点击网页按钮、输入信息，验证功能是否正常。
 * **用户交互辅助**：语音指令控制家居设备，如“开灯”自动点击开关按钮。
 * **智能客服**：电商平台客服快速定位产品详情，回答用户咨询问题。
 * **教育行业**：自动操作代码编辑器，演示编程过程和结果。
 * **自动化办公**：自动操作财务软件，生成报表，提高工作效率。

🧭 文中关联 [AI 工具](https://ai.paooo.com/)官网与参数卡（语宙 AI 导航）

**HuggingFace ↗**

HuggingFace：AI模型开发社区，面向大语言模型场景提供便捷实用的在线功能支持，涵盖大
模型等实用方向。

❓ 常见问题解答（FAQ）

Aria-UI是什么模型？

Aria-UI是香港大学与Rhymes AI联合推出的GUI定位多模态模型，面向图形用户界面中的元素
识别与定位任务。它采用纯视觉方法，不依赖HTML或AXTree等辅助输入，适合多平台交互场景。

Aria-UI为什么适合多步GUI任务？

它把动态动作历史纳入上下文，并支持文本或文本-图像交错格式，能更好理解当前步骤与前
序操作之间的关系，因此在多步定位任务中更稳健。

Aria-UI支持哪些应用场景？

文章提到的场景包括自动化测试、用户交互辅助、智能客服、教育演示和自动化办公，核心
用途都是帮助模型准确定位GUI元素并执行后续操作。

🔬 语宙深潜追问 · 进阶实操拆解

Aria-UI 适合替代哪些传统方案？

更适合替代依赖 HTML/AXTree 的脆弱解析链路，尤其是跨平台、跨应用、界面经常变化的场景。
它能提升泛化，但在高风险业务里仍建议和规则引擎、元素校验一起用。

动作历史建模对代理有多大帮助？

很大，它能让模型知道“自己刚做过什么”，减少重复点击和循环操作。实战里最好把历史压缩
成短期记忆与关键状态摘要，否则长任务中上下文会膨胀，反而拖慢决策。

🗳️ 读者观点微投票 · 您的实战立场是？

纯视觉 GUI 定位会比结构化解析更稳吗？

🕸️ 语宙向量知识图谱 · 语义强关联深度内链

[🔓 所属权威专题：开源大模型与端侧推理 →](https://paooo.com/topics/open-source-llm/)

 * [Aria – Rhymes AI开源的多模态原生混合专家（MoE）模型](https://paooo.com/aigc-news/26365/)
 * [UI-TARS – 字节跳动推出的开源原生 GUI 代理模型](https://paooo.com/aigc-news/22609/)
 * [阿里通义MAI-UI开源：全尺寸GUI智能体基座模型，2B-235B参数，登顶权威评测引领人机交互变革](https://paooo.com/aigc-news/12508/)
 * [AutoAgent – 港大推出的 AI 智能体框架，零代码创建智能助手](https://paooo.com/aigc-news/20585/)

[🏛️ Prompt 语宙研究院](https://paooo.com/author/paooo-research/) · Prompt 语宙研究院（
paooo.com Research）专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示
词工程（Prompt Engineering）与全球高增长 AI 生产力工具实测追踪，致力于为中文开发
者与创作者提供一手、可复现的深度技术洞察。

[📄 Markdown 纯净版](https://paooo.com/aigc-news/23169/?format=md)

💡 这篇内容对您有启发吗？

[📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/)

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)
