Prompt 语宙Prompt 语宙
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
阅读: AndroidLab – 清华和北大联合推出系统化评估Android智能代理的框架
Share
通知 阅读更多
Font Resizer字体
Font Resizer字体
Prompt 语宙Prompt 语宙
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
已有帐户? 登陆
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
AndroidLab – 清华和北大联合推出系统化评估Android智能代理的框架
Prompt 语宙 > AIGC 资讯 > AndroidLab – 清华和北大联合推出系统化评估Android智能代理的框架
AIGC 资讯

AndroidLab – 清华和北大联合推出系统化评估Android智能代理的框架

Prompt 语宙研究院
最近更新: 2026年7月16日 上午9:18
3D与空间智能 AI智能体 大模型微调 开源大模型
SHARE
⚡ Prompt 语宙 AI 导读 · 30 秒核心看点
  • 统一LLM与LMM的Android操作环境,支持可重现基准测试与真实场景评估。
  • 138项任务覆盖九个应用,结合SR、Sub-SR、RRR、ROR多维指标衡量代理能力。
  • 通过Android Instruct数据集与指令调优,显著提升开源模型任务完成率并缩小差距。

AndroidLab是什么

AndroidLab是用在训练和系统评估Android自主代理的框架,集成文本和图像模态操作环境,统一行动空间和可重现基准测试。AndroidLab支持大型语言模型和多模态模型,包含138个任务,覆盖九个应用。基于AndroidLab,开发Android指令数据集,提升开源模型的成功率。框架缩小开源与闭源模型性能差距,推动开源解决方案发展,并在GitHub开源。

阅读目录
  • AndroidLab是什么
  • AndroidLab的主要功能
  • AndroidLab技术原理
  • AndroidLab的项目地址
  • AndroidLab的应用场景

AndroidLab

AndroidLab的主要功能

  • 多模态操作环境:提供标准化的多模态操作环境,支持大型语言模型(LLMs)和多模态模型(LMMs)在相同的操作空间内进行交互。
  • 基准测试:设计一个包含138项任务的基准测试,覆盖九个常见应用,任务类型包括操作任务和查询任务,涉及真实世界的复杂交互场景。
  • 评估指标:引入任务完成率(SR)、子目标成功率(Sub-SR)、反向冗余率(RRR)和合理操作比率(ROR)等评估指标,精准评估代理的任务表现。
  • 数据集构建:创建Android Instruct数据集,结合自动化探索与人工标注,生成高质量的操作数据,提升开源模型在任务完成率和操作效率上的表现。
  • 模型训练与优化:支持对开源和闭源模型进行训练和优化,基于指令调优显著缩小开源与闭源模型之间的性能差距。

AndroidLab技术原理

  • 操作模式:
    • XML模式:为文本输入的LLMs设计,基于压缩XML信息传递界面状态,模型直接选择元素执行操作。
    • SoM模式:针对LMMs的设计,用Set-of-Mark方法,将屏幕截图与标记信息结合,模型选择带有编号的标记元素进行操作。
  • 推理与操作框架:
    • ReAct框架:基于逐步推理和操作输出,模型输出操作的同时展示中间推理过程。
    • SeeAct框架:推理与操作分离,分两轮交互进行,第一轮模型生成详细的推理步骤,第二轮执行具体操作。
  • 任务设计与重现性:每个任务设计多个子目标,用XML树结构匹配来验证每个子目标的完成情况,确保结果准确性和操作的高效性。
  • 评估系统:基于任务完成的评估系统,直接从设备和屏幕状态判断,提供全面和精确的代理性能评估。
  • 数据集与模型训练:基于自动化探索和人工标注构建数据集,训练和微调模型,提升模型在多模态与文本输入任务中的表现。

AndroidLab的项目地址

  • GitHub仓库:https://github.com/THUDM/Android-Lab
  • arXiv技术论文:https://arxiv.org/pdf/2410.24024

AndroidLab的应用场景

  • 自动化测试:用在移动应用的自动化测试,模拟用户操作检测应用的功能和性能。
  • 智能助理开发:开发理解和执行复杂用户指令的智能助理,如语音助手和聊天机器人。
  • 人机交互研究:研究和改进人机交互方式,特别是在移动设备上,如何让机器更好地理解和响应人类指令。
  • 人工智能研究:提供一个实验平台,研究和开发大型语言模型(LLMs)和多模态模型(LMMs)在实际应用中的表现。
  • 教育和培训:作为教育工具,帮助学生和研究人员理解Android操作系统的工作原理和应用开发。
❓ 常见问题解答(FAQ)
AndroidLab主要解决什么问题?

AndroidLab主要用于训练和系统评估Android自主代理,统一文本与图像模态的操作环境,提供可重现基准测试。它帮助研究者更准确比较LLM和LMM在真实手机任务中的表现。

AndroidLab的评估指标有哪些?

AndroidLab引入任务完成率(SR)、子目标成功率(Sub-SR)、反向冗余率(RRR)和合理操作比率(ROR)等指标,从完成结果、子目标达成和操作效率等维度评估代理。

AndroidLab对开源模型有什么帮助?

AndroidLab基于Android Instruct数据集进行训练与微调,提升开源模型在任务完成率和操作效率上的表现,并缩小开源与闭源模型之间的性能差距。

🔬 语宙深潜追问 · 进阶实操拆解
AndroidLab的SR指标该怎么理解?

SR看任务是否完成,Sub-SR看关键子步骤是否正确,二者结合能区分“偶然成功”和“稳定执行”。做代理评测时,别只看最终点击结果,还要看路径效率、错误恢复和多步操作连贯性。

如何用AndroidLab训练更强代理?

先用高频任务做行为克隆,再加入失败轨迹和纠错样本提升鲁棒性。训练时要统一文本与图像动作空间,并把长链任务拆成可验证子目标,才能减少中途跑偏。

🗳️ 读者观点微投票 · 您的实战立场是?
AndroidLab 能缩小开源与闭源差距吗?
🕸️ 语宙向量知识图谱 · 语义强关联深度内链
🐋 所属权威专题:DeepSeek 深度实战与部署 →
  • 北大开源One-Eval:告别繁琐配置,自然语言驱动大模型评测,NL2Eval实现全链路自动化
  • AndroidGen – 智谱推出增强大语言模型 Agent 能力的框架
  • GTA – 上海AI Lab联合交大推出评估通用工具智能体的基准测试
  • LMMs-Eval – 专为多模态AI模型设计的统一评估框架
🏛️ Prompt 语宙研究院 · Prompt 语宙研究院(paooo.com Research)专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示词工程(Prompt Engineering)与全球高增长 AI 生产力工具实测追踪,致力于为中文开发者与创作者提供一手、可复现的深度技术洞察。
📄 Markdown 纯净版
💡 这篇内容对您有启发吗?
📡 RSS 订阅✨ 提交 AI 工具 / 合作
🚀 Prompt 语宙 AI 创作者生态:探索 2,800+ 全球实用 AI 工具与高精度生图提示词咒语库
🧭 语宙 AI 导航 (ai.paooo.com)🎨 AI 生图 Prompt 库📚 核心专题导航⚡ AIGC 早报生成器
SepLLM – 基于分隔符压缩加速大语言模型的高效框架
React 服务组件:优点、缺点与不足之处 [译]
NPOA – 开源舆情检测工具,实时监控网络舆情与分析
Boximator – 字节推出的控制视频生成中对象运动的框架
阿里开源QwenLong-L1.5:百万级Token长文本推理,性能叫板GPT-5,技术原理与应用场景全解析
TAGGED:3D与空间智能AI智能体大模型微调开源大模型
分享
Email 复制链接 打印
Share
Prompt 语宙研究院 头像
ByPrompt 语宙研究院
Follow:
Prompt 语宙研究院(paooo.com Research)专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示词工程(Prompt Engineering)与全球高增长 AI 生产力工具实测追踪,致力于为中文开发者与创作者提供一手、可复现的深度技术洞察。
上一篇 Recraft V3 – Recraft推出的AI文本到图像生成模型 Recraft V3 – Recraft推出的AI文本到图像生成模型
下一篇 VQAScore – CMU联合Meta推出的文本到视觉图像生成评估方法 VQAScore – CMU联合Meta推出的文本到视觉图像生成评估方法
Ad image
Ad image

最近更新

NVIDIA Vera Rubin 亮相 MLPerf 评测并在训练与端点测试中领先
单GPU训练性能翻倍且智能体每瓦吞吐暴增10倍!NVIDIA Vera Rubin首战MLPerf大获全胜:DeepSeek-V3千卡扩展效率97%与Agentic端点推理全景深度拆解
AIGC 资讯
美国商务部大楼与半导体出口管制新规
算力超1200万TPP即触发许可且限期90天整改!美国商务部突发全球数据中心新规:封死离岸云端远程租用算力与废止AI扩散规则全景深度拆解
AIGC 资讯
AI 原生 CRM 初创公司 Dreamteam 获 5300 万美元融资,挑战 Salesforce 与 HubSpot
斩获5300万美元对标Salesforce!前Freshworks高管创办AI原生CRM Dreamteam:基于Company Brain虚拟记忆与自动化智能体流水线深度拆解
AI 工具
Optimizely 谈营销智能体落地:企业需将审核从输出转向输入
告别Vibe Coding虚火!Optimizely解密企业级营销智能体落地法则:从“输出审核”走向“输入约束”、专用Harness架构与800落地页规模化实战
最新趋势

相关推荐

空间计算毛玻璃仪表盘UI插画,深色玻璃拟态与折射光影,霓虹数据图表,超清边缘高光与景深散景质感
AI 生图 Prompt界面与图标

[AI生图咒语] 空间计算毛玻璃仪表盘 UI:Midjourney V7 高精度 B 端数据可视化与 Apple 级光影质感提示词模板

Prompt 语宙研究院
3D与空间智能 AI绘画 AI绘画提示词 Flux Midjourney Prompt UI设计
[AI生图咒语] 唯美东亚女性户外手机自拍写实人像
AI 生图 Prompt写实人像

[AI生图咒语] 唯美东亚女性户外手机自拍写实人像

Prompt 语宙研究院
AI绘画提示词 ChatGPT Midjourney 开源大模型
DeepSeek V3 – DeepSeek开源的最新版 AI 模型,编程能力超越Claude
AIGC 资讯

DeepSeek V3 – DeepSeek开源的最新版 AI 模型,编程能力超越Claude

Prompt 语宙研究院
AI编程 Claude DeepSeek 大模型微调 开源大模型
MM-StoryAgent – 上海交大联合阿里开源的多智能体故事绘本视频生成框架
AIGC 资讯

MM-StoryAgent – 上海交大联合阿里开源的多智能体故事绘本视频生成框架

Prompt 语宙研究院
AI智能体 AI音频与语音 HuggingFace 开源大模型 通义千问
/ Prompt 语宙 /

探索生成式 AI 的无限创作潜能,一站式获取前沿 AIGC 资讯、高阶 Prompt 咒语与全球实用 AI 工具。

核心专栏

  • Remaker AI
  • BGRemaker 抠图Hot
  • AIGC 工具
  • Prompt 咒语生成器
  • 去水印工具

生态与服务

  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作

标签

开源大模型 AI智能体 AI办公效率 AI绘画提示词 OpenAI 大模型微调 Midjourney AI编程 stable diffusion AI视频生成 ChatGPT 3D与空间智能 HuggingFace AI音频与语音 RAG检索增强 Claude Flux AIGC Gemini 通义千问 Anthropic Llama Cursor DeepSeek Prompt AI Agent Kimi 智谱AI 具身智能 YouTube
Prompt 语宙Prompt 语宙
Follow US
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.