AgentCPM-GUI是什么
AgentCPM-GUI 是清华大学和面壁智能团队联合推出的开源端侧 GUI Agent ,针对中文应用优化。模型基于 MiniCPM-V(80 亿参数)构建,能接受智能手机截图作为输入,自主执行用户指定的任务。模型基于大规模中文安卓应用界面数据预训练,显著提升对 GUI 元素的理解和定位能力。AgentCPM-GUI 在中文 Grounding Benchmark 和 Agent Benchmark 上均取得 SOTA 性能,是首个针对中文应用精细优化的开源 GUI Agent。

AgentCPM-GUI的主要功能
- 中文应用操作:理解和操作多种中文应用,如高德地图、大众点评、哔哩哔哩和小红书等。
- 任务自动化执行:接受用户指令后,自动拆分任务步骤,在对应应用中准确执行,如点单、播放视频等。
- 高质量 GUI 定位:准确定位屏幕上的按钮、输入框、标签等 GUI 元素。
- OCR 定位与识别:识别屏幕中的文本内容,根据文本描述执行相应操作。
AgentCPM-GUI的技术原理
- 预训练:基于大规模中文安卓应用界面数据进行预训练,覆盖常见的按钮、输入框、标签、图标等通用 GUI 控件。基于高质量的 GUI Grounding 预训练,提升模型对视觉界面元素的理解和定位能力。具备 OCR Grounding 能力,准确定位和识别屏幕中的文本内容。
- 强化微调(RFT):设计动作格式奖励、动作类型奖励、动作参数奖励三个维度的奖励函数,引导模型自主生成高质量的思维链过程。在奖励函数的引导下,模型不断优化自身策略,获取更高的奖励,提升任务的执行成功率。
- 紧凑动作空间设计:基于紧凑的 JSON 格式,将动作平均长度压缩至 9.7 个 token,减少推理时的计算和内存需求。紧凑的动作空间设计让模型更适合在移动设备上部署,加快端侧推理速度,缓解隐私安全问题。
AgentCPM-GUI的项目地址
- GitHub仓库:https://github.com/OpenBMB/AgentCPM-GUI
- HuggingFace模型库:https://huggingface.co/openbmb/AgentCPM-GUI
AgentCPM-GUI的应用场景
- 智能助手:帮助用户基于语音或文字指令完成各种应用操作,如点外卖、播放音乐等。
- 自动化测试:用在自动化测试中文应用的功能和界面,提高测试效率。
- 老年关怀:简化老年人使用智能手机的操作,如视频通话、查看天气等。
- 视障人士辅助:结合语音指令和屏幕阅读器,帮助视障人士更便捷地使用应用。
- 企业应用自动化:自动化执行企业中的重复性任务,如数据录入和报表生成,提高效率。
🧭 文中关联 AI 工具官网与参数卡(语宙 AI 导航)
❓ 常见问题解答(FAQ)
AgentCPM-GUI适合哪些中文应用?
它主要面向中文安卓应用操作,文中提到可用于高德地图、大众点评、哔哩哔哩、小红书等场景,适合需要界面理解、点击、输入和流程执行的移动端任务。
AgentCPM-GUI为什么适合端侧部署?
因为它采用紧凑的 JSON 动作格式,将平均动作长度压缩到 9.7 个 token,能减少推理计算和内存需求,更利于在移动设备上运行,也有助于降低隐私风险。
AgentCPM-GUI的核心技术优势是什么?
核心优势包括中文安卓界面大规模预训练、GUI Grounding 能力、OCR 定位识别,以及强化微调带来的任务执行优化,因此在中文界面理解和操作上表现突出。
🔬 语宙深潜追问 · 进阶实操拆解
端侧部署最先卡在哪?
通常卡在算力、内存和系统兼容性。要优先压缩视觉编码和动作策略,减少长链推理;同时针对目标机型做分辨率、权限和控件树适配,才能稳定跑起来。
中文安卓场景怎么提升成功率?
关键是做本地化数据和控件映射。把常见中文 App 的页面结构、按钮语义和任务轨迹纳入训练,再加入失败回退策略与多步确认,能显著降低误触和卡死。
🗳️ 读者观点微投票 · 您的实战立场是?
端侧GUI智能体会取代云端方案吗?
