---
title: "Aria-UI – 港大联合 Rhymes AI 开源面向 GUI 智能交互的多模态模型"
url: "https://paooo.com/aigc-news/23169/"
author: "Prompt 语宙研究院"
published_at: "2026-06-08T23:07:01+08:00"
updated_at: "2026-06-08T23:07:01+08:00"
categories: "AIGC 资讯"
tags: "AI办公效率, AI智能体, AI编程, HuggingFace, 开源大模型"
source: "Prompt 语宙 (https://paooo.com)"
ai_tools_directory: "语宙 AI 导航 (https://ai.paooo.com)"
---

# Aria-UI – 港大联合 Rhymes AI 开源面向 GUI 智能交互的多模态模型

> 来源：[Prompt 语宙 (paooo.com)](https://paooo.com/aigc-news/23169/) · 作者：Prompt 语宙研究院 · 发布时间：2026-06-08

## AI 30 秒核心看点 (TL;DR)

- 纯视觉GUI定位方案，不依赖HTML/AXTree，直接从界面图像中锁定目标元素。
- 整合动作历史与多模态MoE架构，提升多步任务中的上下文理解和定位准确率。
- 在离线与在线代理基准中表现优异，具备跨Web、桌面、移动平台的泛化能力。

## Aria-UI是什么

Aria-UI是香港大学和Rhymes AI共同推出的为图形用户界面（GUI）定位任务设计的大型多模态模型。基于纯视觉方法，不依赖于HTML或AXTree等辅助输入，用大规模、多样化的数据合成流程，从Common Crawl和公开数据中生成高质量的元素描述和指令样本，适应不同环境下的多样化指令。Aria-UI创新性地整合动态动作历史信息，用文本或文本-图像交错格式增强模型在多步任务场景中的定位能力。在包括离线和在线代理任务的广泛基准测试中，Aria-UI均取得优异的性能，展现出强大的零样本泛化能力和跨平台适用性，成为通用GUI定位任务的有力解决方案。

## Aria-UI的主要功能

- **GUI元素定位**：将语言指令准确地映射到GUI中的目标元素，实现元素的精确定位，为后续的交互操作提供基础。

- **多模态输入处理**：处理包括GUI图像、文本指令、动作历史等多种模态的输入信息，充分理解和利用多模态数据中的丰富信息。

- **多样化指令适应**：基于大规模、多样化的数据合成流程生成的多样化指令样本，有效适应不同环境下的各种指令表达方式。

- **动态上下文理解**：整合动态动作历史信息，用文本或文本-图像交错格式，在多步任务场景中理解当前的动态上下文，为准确的元素定位提供重要参考。

- **高分辨率图像处理**：支持高达3920×2940的图像分辨率，将图像分割成小块处理，显著扩展可处理的图像尺寸范围。

## Aria-UI的技术原理

- **纯视觉方法**：采用纯视觉方法，直接从GUI图像中提取视觉特征，用视觉信息理解和定位目标元素。

- **多模态MoE模型**：基于Aria多模态MoE（Mixture of Experts）模型构建，具有3.9B激活参数，擅长处理多模态数据。

- **数据合成与训练**：基于两阶段的数据合成流程，从Common Crawl和公开数据中生成高质量的元素描述和多样化指令样本，覆盖Web、桌面和移动三大GUI环境，为模型训练提供大量、多样化的训练数据，增强模型对不同指令和元素的识别能力。

- **上下文感知数据扩展**：用公开的代理轨迹数据模拟具有上下文的定位任务，构建文本动作历史和文本-图像交错历史两种上下文设置，基于数据合成流程为轨迹数据中的所有定位步骤生成详细的逐步指令，让模型在动态环境中更好地理解和执行任务。

- **超分辨率支持**：将图像分割成小块并进行处理，支持高达3920×2940的图像分辨率，保持图像的细节和准确性。

## Aria-UI的项目地址

- **项目官网**：[https://ariaui.github.io/](https://ariaui.github.io/?utm_source=ai-bot.cn)

- **GitHub仓库**：[https://github.com/AriaUI/Aria-UI](https://github.com/AriaUI/Aria-UI)

- **HuggingFace模型库**：[https://huggingface.co/Aria-UI](https://huggingface.co/Aria-UI)

- **arXiv技术论文**：[https://arxiv.org/pdf/2412.16256](https://arxiv.org/pdf/2412.16256)

## Aria-UI的应用场景

- **自动化测试**：Web应用测试自动点击网页按钮、输入信息，验证功能是否正常。

- **用户交互辅助**：语音指令控制家居设备，如“开灯”自动点击开关按钮。

- **智能客服**：电商平台客服快速定位产品详情，回答用户咨询问题。

- **教育行业**：自动操作代码编辑器，演示编程过程和结果。

- **自动化办公**：自动操作财务软件，生成报表，提高工作效率。

## 常见问题解答 (FAQ)

### Aria-UI是什么模型？
Aria-UI是香港大学与Rhymes AI联合推出的GUI定位多模态模型，面向图形用户界面中的元素识别与定位任务。它采用纯视觉方法，不依赖HTML或AXTree等辅助输入，适合多平台交互场景。

### Aria-UI为什么适合多步GUI任务？
它把动态动作历史纳入上下文，并支持文本或文本-图像交错格式，能更好理解当前步骤与前序操作之间的关系，因此在多步定位任务中更稳健。

### Aria-UI支持哪些应用场景？
文章提到的场景包括自动化测试、用户交互辅助、智能客服、教育演示和自动化办公，核心用途都是帮助模型准确定位GUI元素并执行后续操作。

---
探索 2,800+ 全球实用 AI 工具与官方直达入口：[语宙 AI 导航 (https://ai.paooo.com/)](https://ai.paooo.com/)
