Prompt 语宙Prompt 语宙
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
阅读: Aria-UI – 港大联合 Rhymes AI 开源面向 GUI 智能交互的多模态模型
Share
通知 阅读更多
Font Resizer字体
Font Resizer字体
Prompt 语宙Prompt 语宙
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
已有帐户? 登陆
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
Aria-UI – 港大联合 Rhymes AI 开源面向 GUI 智能交互的多模态模型
Prompt 语宙 > AIGC 资讯 > Aria-UI – 港大联合 Rhymes AI 开源面向 GUI 智能交互的多模态模型
AIGC 资讯

Aria-UI – 港大联合 Rhymes AI 开源面向 GUI 智能交互的多模态模型

Prompt 语宙研究院
最近更新: 2026年6月8日 下午11:07
AI办公效率 AI智能体 AI编程 HuggingFace 开源大模型
SHARE
⚡ Prompt 语宙 AI 导读 · 30 秒核心看点
  • 纯视觉GUI定位方案,不依赖HTML/AXTree,直接从界面图像中锁定目标元素。
  • 整合动作历史与多模态MoE架构,提升多步任务中的上下文理解和定位准确率。
  • 在离线与在线代理基准中表现优异,具备跨Web、桌面、移动平台的泛化能力。

Aria-UI是什么

Aria-UI是香港大学和Rhymes AI共同推出的为图形用户界面(GUI)定位任务设计的大型多模态模型。基于纯视觉方法,不依赖于HTML或AXTree等辅助输入,用大规模、多样化的数据合成流程,从Common Crawl和公开数据中生成高质量的元素描述和指令样本,适应不同环境下的多样化指令。Aria-UI创新性地整合动态动作历史信息,用文本或文本-图像交错格式增强模型在多步任务场景中的定位能力。在包括离线和在线代理任务的广泛基准测试中,Aria-UI均取得优异的性能,展现出强大的零样本泛化能力和跨平台适用性,成为通用GUI定位任务的有力解决方案。

阅读目录
  • Aria-UI是什么
  • Aria-UI的主要功能
  • Aria-UI的技术原理
  • Aria-UI的项目地址
  • Aria-UI的应用场景

Aria-UI

Aria-UI的主要功能

  • GUI元素定位:将语言指令准确地映射到GUI中的目标元素,实现元素的精确定位,为后续的交互操作提供基础。
  • 多模态输入处理:处理包括GUI图像、文本指令、动作历史等多种模态的输入信息,充分理解和利用多模态数据中的丰富信息。
  • 多样化指令适应:基于大规模、多样化的数据合成流程生成的多样化指令样本,有效适应不同环境下的各种指令表达方式。
  • 动态上下文理解:整合动态动作历史信息,用文本或文本-图像交错格式,在多步任务场景中理解当前的动态上下文,为准确的元素定位提供重要参考。
  • 高分辨率图像处理:支持高达3920×2940的图像分辨率,将图像分割成小块处理,显著扩展可处理的图像尺寸范围。

Aria-UI的技术原理

  • 纯视觉方法:采用纯视觉方法,直接从GUI图像中提取视觉特征,用视觉信息理解和定位目标元素。
  • 多模态MoE模型:基于Aria多模态MoE(Mixture of Experts)模型构建,具有3.9B激活参数,擅长处理多模态数据。
  • 数据合成与训练:基于两阶段的数据合成流程,从Common Crawl和公开数据中生成高质量的元素描述和多样化指令样本,覆盖Web、桌面和移动三大GUI环境,为模型训练提供大量、多样化的训练数据,增强模型对不同指令和元素的识别能力。
  • 上下文感知数据扩展:用公开的代理轨迹数据模拟具有上下文的定位任务,构建文本动作历史和文本-图像交错历史两种上下文设置,基于数据合成流程为轨迹数据中的所有定位步骤生成详细的逐步指令,让模型在动态环境中更好地理解和执行任务。
  • 超分辨率支持:将图像分割成小块并进行处理,支持高达3920×2940的图像分辨率,保持图像的细节和准确性。

Aria-UI的项目地址

  • 项目官网:https://ariaui.github.io/
  • GitHub仓库:https://github.com/AriaUI/Aria-UI
  • HuggingFace模型库:https://huggingface.co/Aria-UI
  • arXiv技术论文:https://arxiv.org/pdf/2412.16256

Aria-UI的应用场景

  • 自动化测试:Web应用测试自动点击网页按钮、输入信息,验证功能是否正常。
  • 用户交互辅助:语音指令控制家居设备,如“开灯”自动点击开关按钮。
  • 智能客服:电商平台客服快速定位产品详情,回答用户咨询问题。
  • 教育行业:自动操作代码编辑器,演示编程过程和结果。
  • 自动化办公:自动操作财务软件,生成报表,提高工作效率。
🧭 文中关联 AI 工具官网与参数卡(语宙 AI 导航)
HuggingFace ↗
HuggingFace:AI模型开发社区,面向大语言模型场景提供便捷实用的在线功能支持,涵盖大模型等实用方向。
❓ 常见问题解答(FAQ)
Aria-UI是什么模型?

Aria-UI是香港大学与Rhymes AI联合推出的GUI定位多模态模型,面向图形用户界面中的元素识别与定位任务。它采用纯视觉方法,不依赖HTML或AXTree等辅助输入,适合多平台交互场景。

Aria-UI为什么适合多步GUI任务?

它把动态动作历史纳入上下文,并支持文本或文本-图像交错格式,能更好理解当前步骤与前序操作之间的关系,因此在多步定位任务中更稳健。

Aria-UI支持哪些应用场景?

文章提到的场景包括自动化测试、用户交互辅助、智能客服、教育演示和自动化办公,核心用途都是帮助模型准确定位GUI元素并执行后续操作。

🔬 语宙深潜追问 · 进阶实操拆解
Aria-UI 适合替代哪些传统方案?

更适合替代依赖 HTML/AXTree 的脆弱解析链路,尤其是跨平台、跨应用、界面经常变化的场景。它能提升泛化,但在高风险业务里仍建议和规则引擎、元素校验一起用。

动作历史建模对代理有多大帮助?

很大,它能让模型知道“自己刚做过什么”,减少重复点击和循环操作。实战里最好把历史压缩成短期记忆与关键状态摘要,否则长任务中上下文会膨胀,反而拖慢决策。

🗳️ 读者观点微投票 · 您的实战立场是?
纯视觉 GUI 定位会比结构化解析更稳吗?
🕸️ 语宙向量知识图谱 · 语义强关联深度内链
🔓 所属权威专题:开源大模型与端侧推理 →
  • Aria – Rhymes AI开源的多模态原生混合专家(MoE)模型
  • UI-TARS – 字节跳动推出的开源原生 GUI 代理模型
  • 阿里通义MAI-UI开源:全尺寸GUI智能体基座模型,2B-235B参数,登顶权威评测引领人机交互变革
  • AutoAgent – 港大推出的 AI 智能体框架,零代码创建智能助手
🏛️ Prompt 语宙研究院 · Prompt 语宙研究院(paooo.com Research)专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示词工程(Prompt Engineering)与全球高增长 AI 生产力工具实测追踪,致力于为中文开发者与创作者提供一手、可复现的深度技术洞察。
📄 Markdown 纯净版
💡 这篇内容对您有启发吗?
📡 RSS 订阅✨ 提交 AI 工具 / 合作
🚀 Prompt 语宙 AI 创作者生态:探索 2,800+ 全球实用 AI 工具与高精度生图提示词咒语库
🧭 语宙 AI 导航 (ai.paooo.com)🎨 AI 生图 Prompt 库📚 核心专题导航⚡ AIGC 早报生成器
Voyager:结合大语言模型的创新虚拟智能体 [译]
普林斯顿清华联手开源Goedel-Prover-V2:32B模型吊打671B对手,自动定理证明迎来新纪元
全面封杀 AI 项目与代码贡献!Reddit 开源社区 r/opensource 颁布严苛禁令:开发者出走另立门户与开源精神大撕裂深度复盘
FlowGram – 字节跳动开源的可视化工作流搭建引擎
Motionshop – 阿里推出的AI角色动画项目,可替换视频人物为3D
TAGGED:AI办公效率AI智能体AI编程HuggingFace开源大模型
分享
Email 复制链接 打印
Share
Prompt 语宙研究院 头像
ByPrompt 语宙研究院
Follow:
Prompt 语宙研究院(paooo.com Research)专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示词工程(Prompt Engineering)与全球高增长 AI 生产力工具实测追踪,致力于为中文开发者与创作者提供一手、可复现的深度技术洞察。
上一篇 CustomVideoX – 中科大联合浙大等推出的个性化视频生成框架 CustomVideoX – 中科大联合浙大等推出的个性化视频生成框架
下一篇 VersaGen – 实现文本到图像合成中视觉控制能力的生成式 AI 代理 VersaGen – 实现文本到图像合成中视觉控制能力的生成式 AI 代理
Ad image
Ad image

最近更新

花旗银行、摩根大通与美国银行等多家大型商业银行收紧服务条款,明确用户授权第三方 AI 智能体受损需自行担责
哪怕被黑客盗刷也不赔!花旗、摩根大通与美银等五大银行集体改写条款:使用第三方AI智能体风险由客户全权自担,生态入口博弈全面打响
AIGC 资讯
LangSmith for Coding Agents 代码智能体按 PR 结果核算成本与 ROI 官方封面图
340亿美元编码AI开销如何算清账?LangSmith上线代码智能体ROI追踪:按PR结果归因成本、五大工具全统一与线程上下文通胀治理指南
最新趋势
Axiom Math 利用 AI 多智能体集群完成 1.5 万页有限单群分类定理(CFSG)与 7500 页 Stacks 项目数学形式化验证的可视化点阵图
4300万行代码堪比Linux内核!Axiom Math用AI智能体攻克1.5万页“庞大定理”与Stacks项目形式化验证:百个里程碑与分层多智能体架构全拆解
最新趋势
印度具身智能数据初创公司 Humyn Labs 联合创始人 Ishank Gupta(左)与 Manish Agarwal(右)
半年营收破千万且90%来自美国!印度物理AI数据创企Humyn Labs获4700万美元A轮:双摄硬件、2100万债权垫资与20国采集网全拆解
AIGC 资讯

相关推荐

Noise Eraser
AI 工具

Noise Eraser

remaker
AI办公效率 AI音频与语音
WiseFlow – 开源的AI信息挖掘工具
AIGC 资讯

WiseFlow – 开源的AI信息挖掘工具

Prompt 语宙研究院
AI办公效率 AI智能体 RAG检索增强 开源大模型
Loopy – 字节跳动推出的音频驱动的AI视频生成模型
AIGC 资讯

Loopy – 字节跳动推出的音频驱动的AI视频生成模型

Prompt 语宙研究院
AI视频生成 AI音频与语音 即梦AI
Spark-TTS – AI文本转语音工具,支持中英零样本语音克隆
AIGC 资讯

Spark-TTS – AI文本转语音工具,支持中英零样本语音克隆

Prompt 语宙研究院
AI音频与语音 HuggingFace 开源大模型
/ Prompt 语宙 /

探索生成式 AI 的无限创作潜能,一站式获取前沿 AIGC 资讯、高阶 Prompt 咒语与全球实用 AI 工具。

核心专栏

  • 语宙 AI 工具导航
  • EVA 视觉抠图工坊Hot
  • 出海数字营销宝典
  • AI 生图咒语灵感库
  • 24H 硅谷 AI 情报流

生态与服务

  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作

标签

开源大模型 AI智能体 AI办公效率 AI绘画提示词 OpenAI 大模型微调 Midjourney AI编程 stable diffusion AI视频生成 ChatGPT 3D与空间智能 HuggingFace AI音频与语音 RAG检索增强 Claude Flux AIGC Gemini 通义千问 Anthropic Llama Cursor DeepSeek Prompt AI Agent Kimi 智谱AI 具身智能 YouTube
Prompt 语宙Prompt 语宙
Follow US
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.