# AgentCPM-GUI – 清华联合面壁智能开源的端侧GUI智能体模型

- Link: https://paooo.com/aigc-news/18960/
- Published: 2026-06-08T23:12:22+08:00
- Author: Prompt 语宙研究院

⚡ [Prompt](https://paooo.com/ai-image-prompts/) 语宙 AI 导读 · 30 秒核心看点

 * 基于 MiniCPM-V 的开源端侧 GUI [Agent](https://paooo.com/trends/)，专门强化中文
   应用理解与操作能力。
 * 在中文 Grounding Benchmark 和 Agent Benchmark 上取得 SOTA，验证了定位与执行能力。
 * 紧凑 JSON 动作空间将平均动作压缩至 9.7 token，更适合移动端部署。

## AgentCPM-GUI是什么

AgentCPM-GUI 是清华大学和面壁智能团队联合推出的开源端侧 GUI Agent ，针对中文应用
优化。模型基于 MiniCPM-V（80 亿参数）构建，能接受智能手机截图作为输入，自主执行用户
指定的任务。模型基于大规模中文安卓应用界面数据预训练，显著提升对 GUI 元素的理解和
定位能力。AgentCPM-GUI 在中文 Grounding Benchmark 和 Agent Benchmark 上均取得 SOTA
性能，是首个针对中文应用精细优化的开源 GUI Agent。

阅读目录

 * [AgentCPM-GUI是什么](https://paooo.com/aigc-news/18960/#agentcpmgui%e6%98%af%e4%bb%80%e4%b9%88)
 * [AgentCPM-GUI的主要功能](https://paooo.com/aigc-news/18960/#agentcpmgui%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd)
 * [AgentCPM-GUI的技术原理](https://paooo.com/aigc-news/18960/#agentcpmgui%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86)
 * [AgentCPM-GUI的项目地址](https://paooo.com/aigc-news/18960/#agentcpmgui%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80)
 * [AgentCPM-GUI的应用场景](https://paooo.com/aigc-news/18960/#agentcpmgui%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af)

![AgentCPM-GUI ](https://paooo.com/wp-content/uploads/2026/06/AgentCPM-GUI-website-
2-1.avif)

## AgentCPM-GUI的主要功能

 * **中文应用操作**：理解和操作多种中文应用，如高德地图、大众点评、哔哩哔哩和小红
   书等。
 * **任务自动化执行**：接受用户指令后，自动拆分任务步骤，在对应应用中准确执行，如
   点单、播放视频等。
 * **高质量 GUI 定位**：准确定位屏幕上的按钮、输入框、标签等 GUI 元素。
 * **OCR 定位与识别**：识别屏幕中的文本内容，根据文本描述执行相应操作。

## AgentCPM-GUI的技术原理

 * **预训练**：基于大规模中文安卓应用界面数据进行预训练，覆盖常见的按钮、输入框、
   标签、图标等通用 GUI 控件。基于高质量的 GUI Grounding 预训练，提升模型对视觉界面
   元素的理解和定位能力。具备 OCR Grounding 能力，准确定位和识别屏幕中的文本内容。
 * **强化微调（RFT）**：设计动作格式奖励、动作类型奖励、动作参数奖励三个维度的奖励
   函数，引导模型自主生成高质量的思维链过程。在奖励函数的引导下，模型不断优化自身
   策略，获取更高的奖励，提升任务的执行成功率。
 * **紧凑动作空间设计**：基于紧凑的 JSON 格式，将动作平均长度压缩至 9.7 个 token，
   减少推理时的计算和内存需求。紧凑的动作空间设计让模型更适合在移动设备上部署，加快
   端侧推理速度，缓解隐私安全问题。

## AgentCPM-GUI的项目地址

 * **GitHub仓库**：[https://github.com/OpenBMB/AgentCPM-GUI](https://github.com/OpenBMB/AgentCPM-GUI)
 * **HuggingFace模型库**：[https://huggingface.co/openbmb/AgentCPM-GUI](https://huggingface.co/openbmb/AgentCPM-GUI)

## AgentCPM-GUI的应用场景

 * **智能助手**：帮助用户基于语音或文字指令完成各种应用操作，如点外卖、播放音乐等。
 * **自动化测试**：用在自动化测试中文应用的功能和界面，提高测试效率。
 * **老年关怀**：简化老年人使用智能手机的操作，如视频通话、查看天气等。
 * **视障人士辅助**：结合语音指令和屏幕阅读器，帮助视障人士更便捷地使用应用。
 * **企业应用自动化**：自动化执行企业中的重复性任务，如数据录入和报表生成，提高效率。

🧭 文中关联 [AI 工具](https://ai.paooo.com/)官网与参数卡（语宙 AI 导航）

**HuggingFace ↗**

HuggingFace：AI模型开发社区，面向大语言模型场景提供便捷实用的在线功能支持，涵盖大
模型等实用方向。

**哔哩哔哩 ↗**

哔哩哔哩高清视频解析下载工具是一个免费的B站视频在线解析提取工具,支持提取B站APP和
bilibili网站上的任

**哔哩哔哩 ↗**

哔哩哔哩（Bilibili）是一个集视频播放、直播、漫画、游戏、社区、电商等多功能于一体
的综合性在线娱乐与内容社

❓ 常见问题解答（FAQ）

AgentCPM-GUI适合哪些中文应用？

它主要面向中文安卓应用操作，文中提到可用于高德地图、大众点评、哔哩哔哩、小红书等
场景，适合需要界面理解、点击、输入和流程执行的移动端任务。

AgentCPM-GUI为什么适合端侧部署？

因为它采用紧凑的 JSON 动作格式，将平均动作长度压缩到 9.7 个 token，能减少推理计算
和内存需求，更利于在移动设备上运行，也有助于降低隐私风险。

AgentCPM-GUI的核心技术优势是什么？

核心优势包括中文安卓界面大规模预训练、GUI Grounding 能力、OCR 定位识别，以及强化
微调带来的任务执行优化，因此在中文界面理解和操作上表现突出。

🔬 语宙深潜追问 · 进阶实操拆解

端侧部署最先卡在哪？

通常卡在算力、内存和系统兼容性。要优先压缩视觉编码和动作策略，减少长链推理；同时
针对目标机型做分辨率、权限和控件树适配，才能稳定跑起来。

中文安卓场景怎么提升成功率？

关键是做本地化数据和控件映射。把常见中文 App 的页面结构、按钮语义和任务轨迹纳入训练，
再加入失败回退策略与多步确认，能显著降低误触和卡死。

🗳️ 读者观点微投票 · 您的实战立场是？

端侧GUI智能体会取代云端方案吗？

🕸️ 语宙向量知识图谱 · 语义强关联深度内链

[🔓 所属权威专题：开源大模型与端侧推理 →](https://paooo.com/topics/open-source-llm/)

 * [CogAgent-9B – 智谱AI开源 GLM-PC 的基座模型](https://paooo.com/aigc-news/24568/)
 * [CogAgent – 清华与智谱AI联合推出的多模态视觉大模型](https://paooo.com/aigc-news/26109/)
 * [Agent Q – MultiOn公司推出的AI智能体，可以自我学习进化](https://paooo.com/aigc-news/27459/)
 * [MemGUI-Agent – 浙大联合快手推出的长程手机GUI智能体](https://paooo.com/aigc-news/24627/)

[🏛️ Prompt 语宙研究院](https://paooo.com/author/paooo-research/) · Prompt 语宙研究院（
paooo.com Research）专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示
词工程（Prompt Engineering）与全球高增长 AI 生产力工具实测追踪，致力于为中文开发
者与创作者提供一手、可复现的深度技术洞察。

[📄 Markdown 纯净版](https://paooo.com/aigc-news/18960/?format=md)

💡 这篇内容对您有启发吗？

[📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/)

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)
