Prompt 语宙Prompt 语宙
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
阅读: AgentCPM-GUI – 清华联合面壁智能开源的端侧GUI智能体模型
Share
通知 阅读更多
Font Resizer字体
Font Resizer字体
Prompt 语宙Prompt 语宙
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
已有帐户? 登陆
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
AgentCPM-GUI – 清华联合面壁智能开源的端侧GUI智能体模型
Prompt 语宙 > AIGC 资讯 > AgentCPM-GUI – 清华联合面壁智能开源的端侧GUI智能体模型
AIGC 资讯

AgentCPM-GUI – 清华联合面壁智能开源的端侧GUI智能体模型

Prompt 语宙研究院
最近更新: 2026年6月7日 下午8:03
AI智能体 HuggingFace 哔哩哔哩 大模型微调 开源大模型
SHARE
⚡ Prompt 语宙 AI 导读 · 30 秒核心看点
  • 基于 MiniCPM-V 的开源端侧 GUI Agent,专门强化中文应用理解与操作能力。
  • 在中文 Grounding Benchmark 和 Agent Benchmark 上取得 SOTA,验证了定位与执行能力。
  • 紧凑 JSON 动作空间将平均动作压缩至 9.7 token,更适合移动端部署。

AgentCPM-GUI是什么

AgentCPM-GUI 是清华大学和面壁智能团队联合推出的开源端侧 GUI Agent ,针对中文应用优化。模型基于 MiniCPM-V(80 亿参数)构建,能接受智能手机截图作为输入,自主执行用户指定的任务。模型基于大规模中文安卓应用界面数据预训练,显著提升对 GUI 元素的理解和定位能力。AgentCPM-GUI 在中文 Grounding Benchmark 和 Agent Benchmark 上均取得 SOTA 性能,是首个针对中文应用精细优化的开源 GUI Agent。

阅读目录
  • AgentCPM-GUI是什么
  • AgentCPM-GUI的主要功能
  • AgentCPM-GUI的技术原理
  • AgentCPM-GUI的项目地址
  • AgentCPM-GUI的应用场景

AgentCPM-GUI

AgentCPM-GUI的主要功能

  • 中文应用操作:理解和操作多种中文应用,如高德地图、大众点评、哔哩哔哩和小红书等。
  • 任务自动化执行:接受用户指令后,自动拆分任务步骤,在对应应用中准确执行,如点单、播放视频等。
  • 高质量 GUI 定位:准确定位屏幕上的按钮、输入框、标签等 GUI 元素。
  • OCR 定位与识别:识别屏幕中的文本内容,根据文本描述执行相应操作。

AgentCPM-GUI的技术原理

  • 预训练:基于大规模中文安卓应用界面数据进行预训练,覆盖常见的按钮、输入框、标签、图标等通用 GUI 控件。基于高质量的 GUI Grounding 预训练,提升模型对视觉界面元素的理解和定位能力。具备 OCR Grounding 能力,准确定位和识别屏幕中的文本内容。
  • 强化微调(RFT):设计动作格式奖励、动作类型奖励、动作参数奖励三个维度的奖励函数,引导模型自主生成高质量的思维链过程。在奖励函数的引导下,模型不断优化自身策略,获取更高的奖励,提升任务的执行成功率。
  • 紧凑动作空间设计:基于紧凑的 JSON 格式,将动作平均长度压缩至 9.7 个 token,减少推理时的计算和内存需求。紧凑的动作空间设计让模型更适合在移动设备上部署,加快端侧推理速度,缓解隐私安全问题。

AgentCPM-GUI的项目地址

  • GitHub仓库:https://github.com/OpenBMB/AgentCPM-GUI
  • HuggingFace模型库:https://huggingface.co/openbmb/AgentCPM-GUI

AgentCPM-GUI的应用场景

  • 智能助手:帮助用户基于语音或文字指令完成各种应用操作,如点外卖、播放音乐等。
  • 自动化测试:用在自动化测试中文应用的功能和界面,提高测试效率。
  • 老年关怀:简化老年人使用智能手机的操作,如视频通话、查看天气等。
  • 视障人士辅助:结合语音指令和屏幕阅读器,帮助视障人士更便捷地使用应用。
  • 企业应用自动化:自动化执行企业中的重复性任务,如数据录入和报表生成,提高效率。
🧭 文中关联 AI 工具官网与参数卡(语宙 AI 导航)
HuggingFace ↗
HuggingFace:AI模型开发社区,面向大语言模型场景提供便捷实用的在线功能支持,涵盖大模型等实用方向。
哔哩哔哩 ↗
哔哩哔哩高清视频解析下载工具是一个免费的B站视频在线解析提取工具,支持提取B站APP和bilibili网站上的任
哔哩哔哩 ↗
哔哩哔哩(Bilibili)是一个集视频播放、直播、漫画、游戏、社区、电商等多功能于一体的综合性在线娱乐与内容社
❓ 常见问题解答(FAQ)
AgentCPM-GUI适合哪些中文应用?

它主要面向中文安卓应用操作,文中提到可用于高德地图、大众点评、哔哩哔哩、小红书等场景,适合需要界面理解、点击、输入和流程执行的移动端任务。

AgentCPM-GUI为什么适合端侧部署?

因为它采用紧凑的 JSON 动作格式,将平均动作长度压缩到 9.7 个 token,能减少推理计算和内存需求,更利于在移动设备上运行,也有助于降低隐私风险。

AgentCPM-GUI的核心技术优势是什么?

核心优势包括中文安卓界面大规模预训练、GUI Grounding 能力、OCR 定位识别,以及强化微调带来的任务执行优化,因此在中文界面理解和操作上表现突出。

🔬 语宙深潜追问 · 进阶实操拆解
端侧部署最先卡在哪?

通常卡在算力、内存和系统兼容性。要优先压缩视觉编码和动作策略,减少长链推理;同时针对目标机型做分辨率、权限和控件树适配,才能稳定跑起来。

中文安卓场景怎么提升成功率?

关键是做本地化数据和控件映射。把常见中文 App 的页面结构、按钮语义和任务轨迹纳入训练,再加入失败回退策略与多步确认,能显著降低误触和卡死。

🗳️ 读者观点微投票 · 您的实战立场是?
端侧GUI智能体会取代云端方案吗?
🕸️ 语宙向量知识图谱 · 语义强关联深度内链
🔓 所属权威专题:开源大模型与端侧推理 →
  • CogAgent-9B – 智谱AI开源 GLM-PC 的基座模型
  • CogAgent – 清华与智谱AI联合推出的多模态视觉大模型
  • Agent Q – MultiOn公司推出的AI智能体,可以自我学习进化
  • MemGUI-Agent – 浙大联合快手推出的长程手机GUI智能体
🏛️ Prompt 语宙研究院 · Prompt 语宙研究院(paooo.com Research)专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示词工程(Prompt Engineering)与全球高增长 AI 生产力工具实测追踪,致力于为中文开发者与创作者提供一手、可复现的深度技术洞察。
📄 Markdown 纯净版
💡 这篇内容对您有启发吗?
📡 RSS 订阅✨ 提交 AI 工具 / 合作
🚀 Prompt 语宙 AI 创作者生态:探索 2,800+ 全球实用 AI 工具与高精度生图提示词咒语库
🧭 语宙 AI 导航 (ai.paooo.com)🎨 AI 生图 Prompt 库📚 核心专题导航⚡ AIGC 早报生成器
Never AI头像
Sider
Unbounded – 谷歌推出的首款AI生成式无限人生模拟游戏
[AI生图咒语] 例23 – 信息图可视化设计
构建基于大语言模型的系统与产品的策略 [译]
TAGGED:AI智能体HuggingFace哔哩哔哩大模型微调开源大模型
分享
Email 复制链接 打印
Share
Prompt 语宙研究院 头像
ByPrompt 语宙研究院
Follow:
Prompt 语宙研究院(paooo.com Research)专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示词工程(Prompt Engineering)与全球高增长 AI 生产力工具实测追踪,致力于为中文开发者与创作者提供一手、可复现的深度技术洞察。
上一篇 Vibe Draw – AI 3D建模工具,涂鸦草图一键转为3D模型 Vibe Draw – AI 3D建模工具,涂鸦草图一键转为3D模型
下一篇 FlowiseAI – AI应用构建工具,拖拽可视化组件自定义LLM应用 FlowiseAI – AI应用构建工具,拖拽可视化组件自定义LLM应用
Ad image
Ad image

最近更新

花旗银行、摩根大通与美国银行等多家大型商业银行收紧服务条款,明确用户授权第三方 AI 智能体受损需自行担责
哪怕被黑客盗刷也不赔!花旗、摩根大通与美银等五大银行集体改写条款:使用第三方AI智能体风险由客户全权自担,生态入口博弈全面打响
AIGC 资讯
LangSmith for Coding Agents 代码智能体按 PR 结果核算成本与 ROI 官方封面图
340亿美元编码AI开销如何算清账?LangSmith上线代码智能体ROI追踪:按PR结果归因成本、五大工具全统一与线程上下文通胀治理指南
最新趋势
Axiom Math 利用 AI 多智能体集群完成 1.5 万页有限单群分类定理(CFSG)与 7500 页 Stacks 项目数学形式化验证的可视化点阵图
4300万行代码堪比Linux内核!Axiom Math用AI智能体攻克1.5万页“庞大定理”与Stacks项目形式化验证:百个里程碑与分层多智能体架构全拆解
最新趋势
印度具身智能数据初创公司 Humyn Labs 联合创始人 Ishank Gupta(左)与 Manish Agarwal(右)
半年营收破千万且90%来自美国!印度物理AI数据创企Humyn Labs获4700万美元A轮:双摄硬件、2100万债权垫资与20国采集网全拆解
AIGC 资讯

相关推荐

BGE-VL – 智源研究院联合多所高校开源的多模态向量模型
AIGC 资讯

BGE-VL – 智源研究院联合多所高校开源的多模态向量模型

Prompt 语宙研究院
HuggingFace RAG检索增强 大模型微调 开源大模型
Nano Banana 2 Lite – 谷歌推出的轻量级 AI 图像生成模型
AIGC 资讯

Nano Banana 2 Lite – 谷歌推出的轻量级 AI 图像生成模型

Prompt 语宙研究院
AI智能体 AI绘画提示词 Gemini Midjourney Nano Banana
BioEmu – 微软推出的生成式深度学习系统
AIGC 资讯

BioEmu – 微软推出的生成式深度学习系统

Prompt 语宙研究院
AI智能体 HuggingFace 开源大模型
DeepSeek-Coder-V2 – DeepSeek开源的代码语言模型,与GPT4-Turbo相媲美
AIGC 资讯

DeepSeek-Coder-V2 – DeepSeek开源的代码语言模型,与GPT4-Turbo相媲美

Prompt 语宙研究院
AI编程 DeepSeek HuggingFace 大模型微调 开源大模型
/ Prompt 语宙 /

探索生成式 AI 的无限创作潜能,一站式获取前沿 AIGC 资讯、高阶 Prompt 咒语与全球实用 AI 工具。

核心专栏

  • 语宙 AI 工具导航
  • EVA 视觉抠图工坊Hot
  • 出海数字营销宝典
  • AI 生图咒语灵感库
  • 24H 硅谷 AI 情报流

生态与服务

  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作

标签

开源大模型 AI智能体 AI办公效率 AI绘画提示词 OpenAI 大模型微调 Midjourney AI编程 stable diffusion AI视频生成 ChatGPT 3D与空间智能 HuggingFace AI音频与语音 RAG检索增强 Claude Flux AIGC Gemini 通义千问 Anthropic Llama Cursor DeepSeek Prompt AI Agent Kimi 智谱AI 具身智能 YouTube
Prompt 语宙Prompt 语宙
Follow US
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.