# MemGUI-Agent – 浙大联合快手推出的长程手机GUI智能体

- Link: https://paooo.com/aigc-news/24627/
- Published: 2026-07-07T19:31:41+08:00
- Author: 站外新闻

## MemGUI-Agent是什么

MemGUI-Agent 是浙大与快手联合推出的长程手机GUI[智能体](https://paooo.com/trends/)，
专为跨App、多步骤、长链条的移动端自动化任务设计。传统ReAct风格Agent在长程任务中会
因历史记录线性膨胀导致关键信息被稀释，MemGUI-Agent通过 ConAct 协议，让模型在每一步
同时决定如何操作UI和如何整理记忆，实现紧凑且结构化的上下文管理。

阅读目录

 * [MemGUI-Agent是什么](https://paooo.com/aigc-news/24627/#memguiagent%e6%98%af%e4%bb%80%e4%b9%88)
 * [MemGUI-Agent的主要功能](https://paooo.com/aigc-news/24627/#memguiagent%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd)
 * [MemGUI-Agent的技术原理](https://paooo.com/aigc-news/24627/#memguiagent%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86)
 * [如何使用MemGUI-Agent](https://paooo.com/aigc-news/24627/#%e5%a6%82%e4%bd%95%e4%bd%bf%e7%94%a8memguiagent)
 * [MemGUI-Agent的核心优势](https://paooo.com/aigc-news/24627/#memguiagent%e7%9a%84%e6%a0%b8%e5%bf%83%e4%bc%98%e5%8a%bf)
 * [MemGUI-Agent的项目地址](https://paooo.com/aigc-news/24627/#memguiagent%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80)
 * [MemGUI-Agent的同类竞品对比](https://paooo.com/aigc-news/24627/#memguiagent%e7%9a%84%e5%90%8c%e7%b1%bb%e7%ab%9e%e5%93%81%e5%af%b9%e6%af%94)
 * [MemGUI-Agent的应用场景](https://paooo.com/aigc-news/24627/#memguiagent%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af)

![MemGUI-Agent](https://paooo.com/wp-content/uploads/2026/07/MemGUI-Agent-website-
1.avif)

## MemGUI-Agent的主要功能

 * **长程任务执行**：支持跨App、跨页面的复杂自动化流程，平均可处理30步以上的连续
   操作。
 * **主动上下文管理**：通过ConAct协议，Agent自主决定何时压缩历史、何时写入UI事实、
   如何描述当前步骤。
 * **结构化记忆操作**：支持 memory_add、memory_update、memory_delete 等记忆动作，
   持久保存价格、电话、规格等关键UI事实。
 * **端到端模型训练**：提供基于Qwen3-VL-8B的LoRA微调模型MemGUI-8B-SFT，8B参数即可
   胜任长程任务。
 * **全链路开源**：代码、MemGUI-3K数据集、训练/评测pipeline及模型权重全部开放。

## MemGUI-Agent的技术原理

 * **ConAct（Context-as-Action）核心框架**：MemGUI-Agent 将上下文管理从传统的外部
   规则模块或后处理总结器，提升为与UI点击、滑动、输入同级的第一类动作。在每一步推理
   中，模型主动决定该压缩什么历史、该记住什么UI事实、该如何描述当前步骤，使上下文
   更新成为可执行、可训练的策略输出。
 * **三个结构化状态字段**：Agent 将上下文拆分为三个互补字段协同工作**。Folded Action
   History** 负责把已完成的子任务段落压缩为可复用的摘要，避免历史线性膨胀；Folded
   UI State 专门持久保存跨屏幕的关键事实，确保信息在几十步后仍可精准检索；Recent
   Step Record 记录最近一步的屏幕观察、动作意图、执行动作和结果，为后续的历史折叠
   和记忆写入提供可靠的局部原料。
 * **五段结构化输出与记忆操作**：每一步中，模型输出 thinking、folding、tool_call、
   ui_observation 和 action_intent 五个结构化段落。其中 tool_call 可以是常规UI操作，
   也可以是 memory_add、memory_update、memory_delete 等显式记忆操作。

![挖挖GitHub](https://paooo.com/wp-content/uploads/2026/07/wawagithub-62.avif)

微信关注回复“**开源**”，加入**AI开源项目交流群**

## 如何使用MemGUI-Agent

 * **克隆开源代码**：从 GitHub 仓库 `github.com/kwai/MemGUI-Agent` 拉取完整代码与
   训练评测pipeline。
 * **下载数据集**：获取 HuggingFace 上的 MemGUI-3K 数据集。
 * **加载模型权重**：从 HuggingFace 下载 MemGUI-8B-SFT。
 * **配置Android环境**：连接设备或启动模拟器，部署Agent执行环境。
 * **输入任务指令**：以自然语言描述长程目标，Agent即自动规划并执行。

## MemGUI-Agent的核心优势

 * **上下文成本显著降低**：在150步长程区域，ConAct比ReAct平均节省约1500个输入token，
   抑制线性增长。
 * **关键信息精准留存**：通过UI State持久保存完整事实，避免长程任务中的信息稀释与
   幻觉。
 * **小模型大能力**：8B模型经MemGUI-3K训练后，在长程基准上超越多数32B甚至235B基线，
   实现高效部署。
 * **分布外泛化优异**：MemGUI-8B-SFT在MobileWorld上取得17.9%成功率，较基线提升8.5
   个百分点，展现强跨场景迁移能力。
 * **全链路可复现**：从数据构造、模型训练到评测协议完全开源，降低研究门槛。

## MemGUI-Agent的项目地址

 * **项目官网**：https://memgui-agent.github.io/
 * **HuggingFace模型库**：https://huggingface.co/collections/lgy0404/memgui-agent
 * **arXiv技术论文**：https://arxiv.org/pdf/2606.19926

## MemGUI-Agent的同类竞品对比

  |  维度 |  MemGUI-8B-SFT |  OpenMobile-8B |  
   |  **上下文机制** |  ConAct主动管理：折叠历史+结构化记忆+最近记录 |  ReAct被动追加：历史线性膨胀 |  
 |  **平均任务长度** |  支持28.8步以上长程轨迹 |  以短程任务为主 |  
 |  **MobileWorld SR** |  **17.9%**（GUI-Only） |  17.7% |  
 |  **记忆操作** |  原生支持memory_add/update/delete |  无显式记忆动作 |  
 |  **数据开源** |  MemGUI-3K全量开源（2956条轨迹） |  部分开源 |

## MemGUI-Agent的应用场景

 * **跨App信息整合**：自动从电商、地图、社交App收集信息并汇总到笔记软件。
 * **长表单填写**：根据多源信息（邮件、通讯录、日历）自动完成复杂注册或报销流程。
 * **联系人管理与更新**：从社交媒体帖子提取新电话/邮箱，自动更新通讯录并发送短信。
 * **商品比价与记录**：浏览多个电商平台，记录价格、规格参数并生成对比文档。
 * **自动化测试与RPA**：在移动端执行长链条UI回归测试或企业级流程自动化。

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,000+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[⚡ AIGC 早报生成器](https://paooo.com/mtool/)