MobA是什么
MobA（Mobile Agent）是上海交通大学团队推出的新型移动智能体，基于多模态大型语言模型（MLLMs）提升移动设备的自动化任务执行能力。MobA采用两级架构：高级全局智能体（GA）负责理解用户指令、管理历史记录和规划任务；低级局部智能体（LA）根据GA的规划执行具体动作。系统内建的反思模块使得MobA能高效处理复杂任务，包括之前未曾遇到的。
MobA的主要功能
- 用户指令理解：理解用户的自然语言指令，转化为可执行的任务。
- 任务规划与分解：高级全局智能体（GA）负责将复杂任务分解为更小、更易于管理的子任务。
- 动作执行：低级局部智能体（LA）根据GA的指导，执行具体的子任务和动作。
- 历史记忆跟踪：GA跟踪历史记忆，在规划新任务时考虑过去的经验和信息。
- 反思与自我优化：集成的反思模块支持MobA在执行任务后进行自我评估，优化未来的任务执行。
- 跨应用操作：处理涉及多个应用程序的复杂任务，实现跨应用的自动化操作。
MobA的技术原理
- 多模态大型语言模型（MLLMs）：基于MLLMs，模型能处理和理解多种类型的数据，如文本、图像等。
- 两级智能体架构：系统由高级全局智能体（GA）和低级局部智能体（LA）组成，分别负责任务规划和动作执行。
- 任务规划模块：GA中的规划模块负责将用户指令分解为一系列子任务，并评估任务的可行性。
- 动作模块：LA中的动作模块负责识别任务是否可以一步完成，并提供相应的动作指令。
- 记忆模块：系统包含记忆模块，用在存储和更新任务执行痕迹、用户偏好和应用信息。
MobA的项目地址
- arXiv技术论文：https://arxiv.org/pdf/2410.13757
MobA的应用场景
- 个人助理：在日常生活中，作为个人助理，帮助用户管理日程、设置提醒、查询信息等。
- 智能家居控制：与智能家居设备集成，基于语音或文本指令控制家中的智能设备，如灯光、温度调节、安全监控等。
- 移动设备自动化：在移动设备上，自动执行复杂的操作流程，如自动填写表单、管理邮件、优化应用设置等。
- 老年人和残疾人士辅助：为老年人和残疾人士提供辅助，简化使用智能设备的过程，提高生活质量。
- 教育和学习：在教育领域，帮助学生获取信息、管理学习资料、甚至辅助完成作业。
