# AndroidLab – 清华和北大联合推出系统化评估Android智能代理的框架

- Link: https://paooo.com/aigc-news/25781/
- Published: 2026-07-16T09:18:29+08:00
- Author: Prompt 语宙研究院

⚡ [Prompt](https://paooo.com/ai-image-prompts/) 语宙 AI 导读 · 30 秒核心看点

 * 统一LLM与LMM的Android操作环境，支持可重现基准测试与真实场景评估。
 * 138项任务覆盖九个应用，结合SR、Sub-SR、RRR、ROR多维指标衡量代理能力。
 * 通过Android Instruct数据集与指令调优，显著提升开源模型任务完成率并缩小差距。

## AndroidLab是什么

AndroidLab是用在训练和系统评估Android自主代理的框架，集成文本和图像模态操作环境，
统一行动空间和可重现基准测试。AndroidLab支持大型语言模型和多模态模型，包含138个任务，
覆盖九个应用。基于AndroidLab，开发Android指令数据集，提升开源模型的成功率。框架缩小
开源与闭源模型性能差距，推动开源解决方案发展，并在GitHub开源。

阅读目录

 * [AndroidLab是什么](https://paooo.com/aigc-news/25781/#androidlab%e6%98%af%e4%bb%80%e4%b9%88)
 * [AndroidLab的主要功能](https://paooo.com/aigc-news/25781/#androidlab%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd)
 * [AndroidLab技术原理](https://paooo.com/aigc-news/25781/#androidlab%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86)
 * [AndroidLab的项目地址](https://paooo.com/aigc-news/25781/#androidlab%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80)
 * [AndroidLab的应用场景](https://paooo.com/aigc-news/25781/#androidlab%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af)

![AndroidLab](https://paooo.com/wp-content/uploads/2026/07/AndroidLab-website-1.
avif)

## AndroidLab的主要功能

 * **多模态操作环境**：提供标准化的多模态操作环境，支持大型语言模型（LLMs）和多模
   态模型（LMMs）在相同的操作空间内进行交互。
 * **基准测试**：设计一个包含138项任务的基准测试，覆盖九个常见应用，任务类型包括
   操作任务和查询任务，涉及真实世界的复杂交互场景。
 * **评估指标**：引入任务完成率（SR）、子目标成功率（Sub-SR）、反向冗余率（RRR）
   和合理操作比率（ROR）等评估指标，精准评估代理的任务表现。
 * **数据集构建**：创建Android Instruct数据集，结合自动化探索与人工标注，生成高质量
   的操作数据，提升开源模型在任务完成率和操作效率上的表现。
 * **模型训练与优化**：支持对开源和闭源模型进行训练和优化，基于指令调优显著缩小开
   源与闭源模型之间的性能差距。

## AndroidLab技术原理

 * **操作模式**：
    - **XML模式**：为文本输入的LLMs设计，基于压缩XML信息传递界面状态，模型直接选择
      元素执行操作。
    - **SoM模式**：针对LMMs的设计，用Set-of-Mark方法，将屏幕截图与标记信息结合，
      模型选择带有编号的标记元素进行操作。
 * **推理与操作框架**：
    - **ReAct框架**：基于逐步推理和操作输出，模型输出操作的同时展示中间推理过程。
    - **SeeAct框架**：推理与操作分离，分两轮交互进行，第一轮模型生成详细的推理步骤，
      第二轮执行具体操作。
 * **任务设计与重现性**：每个任务设计多个子目标，用XML树结构匹配来验证每个子目标
   的完成情况，确保结果准确性和操作的高效性。
 * **评估系统**：基于任务完成的评估系统，直接从设备和屏幕状态判断，提供全面和精确
   的代理性能评估。
 * **数据集与模型训练**：基于自动化探索和人工标注构建数据集，训练和微调模型，提升
   模型在多模态与文本输入任务中的表现。

## AndroidLab的项目地址

 * **GitHub仓库**：[https://github.com/THUDM/Android-Lab](https://github.com/THUDM/Android-Lab)
 * **arXiv技术论文**：[https://arxiv.org/pdf/2410.24024](https://arxiv.org/pdf/2410.24024)

## AndroidLab的应用场景

 * **自动化测试**：用在移动应用的自动化测试，模拟用户操作检测应用的功能和性能。
 * **智能助理开发**：开发理解和执行复杂用户指令的智能助理，如语音助手和聊天机器人。
 * **人机交互研究**：研究和改进人机交互方式，特别是在移动设备上，如何让机器更好地
   理解和响应人类指令。
 * **人工智能研究**：提供一个实验平台，研究和开发大型语言模型（LLMs）和多模态模型（
   LMMs）在实际应用中的表现。
 * **教育和培训**：作为教育工具，帮助学生和研究人员理解Android操作系统的工作原理
   和应用开发。

❓ 常见问题解答（FAQ）

AndroidLab主要解决什么问题？

AndroidLab主要用于训练和系统评估Android自主代理，统一文本与图像模态的操作环境，提供
可重现基准测试。它帮助研究者更准确比较LLM和LMM在真实手机任务中的表现。

AndroidLab的评估指标有哪些？

AndroidLab引入任务完成率（SR）、子目标成功率（Sub-SR）、反向冗余率（RRR）和合理操作
比率（ROR）等指标，从完成结果、子目标达成和操作效率等维度评估代理。

AndroidLab对开源模型有什么帮助？

AndroidLab基于Android Instruct数据集进行训练与微调，提升开源模型在任务完成率和操作
效率上的表现，并缩小开源与闭源模型之间的性能差距。

🔬 语宙深潜追问 · 进阶实操拆解

AndroidLab的SR指标该怎么理解？

SR看任务是否完成，Sub-SR看关键子步骤是否正确，二者结合能区分“偶然成功”和“稳定执行”。
做代理评测时，别只看最终点击结果，还要看路径效率、错误恢复和多步操作连贯性。

如何用AndroidLab训练更强代理？

先用高频任务做行为克隆，再加入失败轨迹和纠错样本提升鲁棒性。训练时要统一文本与图像
动作空间，并把长链任务拆成可验证子目标，才能减少中途跑偏。

🗳️ 读者观点微投票 · 您的实战立场是？

AndroidLab 能缩小开源与闭源差距吗？

🕸️ 语宙向量知识图谱 · 语义强关联深度内链

[🐋 所属权威专题：DeepSeek 深度实战与部署 →](https://paooo.com/topics/deepseek/)

 * [北大开源One-Eval：告别繁琐配置，自然语言驱动大模型评测，NL2Eval实现全链路自动化](https://paooo.com/aigc-news/10753/)
 * [AndroidGen – 智谱推出增强大语言模型 Agent 能力的框架](https://paooo.com/aigc-news/20802/)
 * [GTA – 上海AI Lab联合交大推出评估通用工具智能体的基准测试](https://paooo.com/aigc-news/25787/)
 * [LMMs-Eval – 专为多模态AI模型设计的统一评估框架](https://paooo.com/aigc-news/27253/)

[🏛️ Prompt 语宙研究院](https://paooo.com/author/paooo-research/) · Prompt 语宙研究院（
paooo.com Research）专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示
词工程（Prompt Engineering）与全球高增长 AI 生产力工具实测追踪，致力于为中文开发
者与创作者提供一手、可复现的深度技术洞察。

[📄 Markdown 纯净版](https://paooo.com/aigc-news/25781/?format=md)

💡 这篇内容对您有启发吗？

[📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/)

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)
