AutoDroid-V2是什么
AutoDroid-V2是清华大学人工智能产业研究院推出的基于小型语言模型（SLM）的移动端GUI自动化脚本代理，能基于代码生成技术提升设备上的GUI代理性能。AutoDroid-V2分析应用的探索历史，自动生成精细的应用文档，指导SLM生成多步脚本完成复杂的用户任务。与传统的逐步GUI代理相比，AutoDroid-V2显著提高了任务完成率和执行效率，减少对大型云模型的依赖，降低用户隐私风险和集中服务成本。AutoDroid-V2在多个基准测试中表现出色，展示了在设备上全面部署GUI代理的潜力。
AutoDroid-V2的主要功能
- 自动化UI任务执行：基于生成和执行多步脚本，自动完成用户在移动设备上的各种UI任务，如打开应用、输入文本、点击按钮等。
- 代码生成与执行：将UI任务自动化问题转化为代码生成问题，用设备上的小型语言模型（SLM）生成可执行的代码脚本，并用代码解释器高效执行脚本。
- 应用文档生成：自动分析应用的探索历史，生成精细的应用文档，记录应用的GUI状态、重要元素及其交互关系，为脚本生成提供指导。
AutoDroid-V2的技术原理
- arXiv技术论文：https://arxiv.org/pdf/2412.18116
AutoDroid-V2的应用场景
- 日常生活辅助：用户在忙碌时，根据消息内容自动回复，如自动回复工作邮件、朋友问候等，避免错过重要信息。
- 日常工作：在会议过程中自动记录会议内容，提取关键信息，生成会议纪要，方便会后回顾和执行相关任务，提高会议效率。
- 应用测试：在应用更新后自动执行回归测试用例，检查新版本应用的功能是否正常，及时发现并修复潜在的bug，确保应用的稳定性和可靠性。
- 智能家居：根据用户的作息习惯和当前环境光线，自动调节家中的灯光亮度和色温，如在晚上自动调暗灯光，营造舒适的睡眠环境，提高生活品质。
- 特殊行业应用：在患者出院后，自动发送随访提醒和健康问卷，收集患者的康复情况，帮助医生及时了解患者的病情变化，提供更好的后续治疗和康复指导。
