MemGUI-Agent – 浙大联合快手推出的长程手机GUI智能体

MemGUI-Agent是什么

MemGUI-Agent 是浙大与快手联合推出的长程手机GUI智能体，专为跨App、多步骤、长链条的移动端自动化任务设计。传统ReAct风格Agent在长程任务中会因历史记录线性膨胀导致关键信息被稀释，MemGUI-Agent通过 ConAct 协议，让模型在每一步同时决定如何操作UI和如何整理记忆，实现紧凑且结构化的上下文管理。

MemGUI-Agent的主要功能

• 长程任务执行：支持跨App、跨页面的复杂自动化流程，平均可处理30步以上的连续操作。
• 主动上下文管理：通过ConAct协议，Agent自主决定何时压缩历史、何时写入UI事实、如何描述当前步骤。
• 结构化记忆操作：支持 memory_add、memory_update、memory_delete 等记忆动作，持久保存价格、电话、规格等关键UI事实。
• 端到端模型训练：提供基于Qwen3-VL-8B的LoRA微调模型MemGUI-8B-SFT，8B参数即可胜任长程任务。
• 全链路开源：代码、MemGUI-3K数据集、训练/评测pipeline及模型权重全部开放。

MemGUI-Agent的技术原理

• ConAct（Context-as-Action）核心框架：MemGUI-Agent 将上下文管理从传统的外部规则模块或后处理总结器，提升为与UI点击、滑动、输入同级的第一类动作。在每一步推理中，模型主动决定该压缩什么历史、该记住什么UI事实、该如何描述当前步骤，使上下文更新成为可执行、可训练的策略输出。
• 三个结构化状态字段：Agent 将上下文拆分为三个互补字段协同工作。Folded Action History 负责把已完成的子任务段落压缩为可复用的摘要，避免历史线性膨胀；Folded UI State 专门持久保存跨屏幕的关键事实，确保信息在几十步后仍可精准检索；Recent Step Record 记录最近一步的屏幕观察、动作意图、执行动作和结果，为后续的历史折叠和记忆写入提供可靠的局部原料。
• 五段结构化输出与记忆操作：每一步中，模型输出 thinking、folding、tool_call、ui_observation 和 action_intent 五个结构化段落。其中 tool_call 可以是常规UI操作，也可以是 memory_add、memory_update、memory_delete 等显式记忆操作。

微信关注回复“开源”，加入AI开源项目交流群

如何使用MemGUI-Agent

• 克隆开源代码：从 GitHub 仓库 github.com/kwai/MemGUI-Agent 拉取完整代码与训练评测pipeline。
• 下载数据集：获取 HuggingFace 上的 MemGUI-3K 数据集。
• 加载模型权重：从 HuggingFace 下载 MemGUI-8B-SFT。
• 配置Android环境：连接设备或启动模拟器，部署Agent执行环境。
• 输入任务指令：以自然语言描述长程目标，Agent即自动规划并执行。

MemGUI-Agent的核心优势

• 上下文成本显著降低：在150步长程区域，ConAct比ReAct平均节省约1500个输入token，抑制线性增长。
• 关键信息精准留存：通过UI State持久保存完整事实，避免长程任务中的信息稀释与幻觉。
• 小模型大能力：8B模型经MemGUI-3K训练后，在长程基准上超越多数32B甚至235B基线，实现高效部署。
• 分布外泛化优异：MemGUI-8B-SFT在MobileWorld上取得17.9%成功率，较基线提升8.5个百分点，展现强跨场景迁移能力。
• 全链路可复现：从数据构造、模型训练到评测协议完全开源，降低研究门槛。

MemGUI-Agent的项目地址

• 项目官网：https://memgui-agent.github.io/
• HuggingFace模型库：https://huggingface.co/collections/lgy0404/memgui-agent
• arXiv技术论文：https://arxiv.org/pdf/2606.19926

MemGUI-Agent的同类竞品对比

MemGUI-Agent的应用场景

• 跨App信息整合：自动从电商、地图、社交App收集信息并汇总到笔记软件。
• 长表单填写：根据多源信息（邮件、通讯录、日历）自动完成复杂注册或报销流程。
• 联系人管理与更新：从社交媒体帖子提取新电话/邮箱，自动更新通讯录并发送短信。
• 商品比价与记录：浏览多个电商平台，记录价格、规格参数并生成对比文档。
• 自动化测试与RPA：在移动端执行长链条UI回归测试或企业级流程自动化。