# Ferret-UI 2 – 苹果推出的跨平台UI理解多模态大语言模型

- Link: https://paooo.com/aigc-news/25835/
- Published: 2026-07-16T18:18:29+08:00
- Author: Prompt 语宙研究院

⚡ [Prompt](https://paooo.com/ai-image-prompts/) 语宙 AI 导读 · 30 秒核心看点

 * 支持多平台 UI 理解与交互，覆盖 iPhone、Android、iPad、Webpage 和 Apple TV。
 * 通过高分辨率图像编码与自适应 N 网格机制，提升 UI 元素识别精度。
 * 结合 GPT-4o 与 SoM 生成训练数据，增强复杂任务理解和跨平台迁移能力。

## Ferret-UI 2是什么

Ferret-UI 2是苹果公司推出的多模态大型语言模型，用在理解和交互移动用户界面。Ferret-
UI 2能识别和理解各种移动设备屏幕上的UI元素，执行复杂的用户指令，实时观察用户在移动
设备屏幕上的操作，随时准备提供帮助和执行任务。Ferret-UI 2相较于早期版本进行了大幅
改进和更新。基于高分辨率图像编码和先进的数据训练方法，提升UI元素的识别精度和交互
能力，用户能更自然、高效地与智能设备互动。

阅读目录

 * [Ferret-UI 2是什么](https://paooo.com/aigc-news/25835/#ferretui-2%e6%98%af%e4%bb%80%e4%b9%88)
 * [Ferret-UI 2的主要功能](https://paooo.com/aigc-news/25835/#ferretui-2%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd)
 * [Ferret-UI 2的技术原理](https://paooo.com/aigc-news/25835/#ferretui-2%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86)
 * [Ferret-UI 2的项目地址](https://paooo.com/aigc-news/25835/#ferretui-2%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80)
 * [Ferret-UI 2的应用场景](https://paooo.com/aigc-news/25835/#ferretui-2%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af)

![Ferret-UI 2](https://paooo.com/wp-content/uploads/2026/07/Ferret-UI-2-website-
1.avif)

## Ferret-UI 2的主要功能

 * **多平台支持**：Ferret-UI 2能处理包括iPhone、Android、iPad、Webpage和AppleTV在内
   的多种平台的用户界面。
 * **高分辨率图像感知**：基于自适应缩放技术，Ferret-UI 2能在保持原始UI截图分辨率
   的同时，实现更准确的视觉元素识别。
 * **高级任务训练数据生成**：基于GPT-4o和set-of-mark视觉提示，Ferret-UI 2生成用于
   复杂任务的训练数据，提升模型对UI元素空间关系的理解。
 * **用户中心交互**：Ferret-UI 2能理解、执行用户为中心的交互任务，如确认提交、点
   击按钮等，不仅仅是机械点击。
 * **跨平台迁移能力**：Ferret-UI 2展示了强大的跨平台转移能力，能在不同的平台之间
   迁移和适应。

## Ferret-UI 2的技术原理

 * **多模态大型语言模型（MLLM）**：结合视觉感知和语言处理的能力，理解和生成对UI的
   复杂交互。
 * **自适应N网格机制**：基于算法确定最优的网格大小，用最小的分辨率失真和像素变化
   编码UI截图的每个部分。
 * **动态高分辨率图像编码**：用CLIP图像编码器提取全局和局部特征，将特征送入大型语言
   模型（LLM）。
 * ** 视觉采样器**：根据用户指令识别、选择相关的UI区域，输出对UI元素的感知或交互
   描述。
 * ** set-of-mark（SoM）视觉提示**：在生成训练数据时，用SoM提示增强模型对UI元素空间
   关系的理解，特别是在多轮感知和交互问答任务中。
 * **端到端训练**：模型通过端到端的训练过程，从原始数据注释中学习，生成高质量的训练
   数据并优化模型性能。

## Ferret-UI 2的项目地址

 * **arXiv技术论文**：[https://arxiv.org/pdf/2410.18967](https://arxiv.org/pdf/2410.18967)

## Ferret-UI 2的应用场景

 * **智能手机和平板电脑**：Ferret-UI 2能理解、执行用户在iOS和Android设备上的各种
   指令，如导航应用程序、发送消息、设置提醒等。
 * **网络浏览**：在网页浏览中，帮助用户更有效地与网页元素交互，比如点击按钮、填写
   表单、导航链接等。
 * **智能电视**：对于Apple TV等智能电视平台，提供语音控制和其他交互方式，增强用户
   体验。
 * **多任务环境**：在需要同时处理多个应用程序或窗口的场景中，帮助用户更高效地管理
   和切换不同的任务。
 * **辅助技术**：集成到辅助技术中，帮助残障人士通过语音命令或其他输入方式与设备交互。

❓ 常见问题解答（FAQ）

Ferret-UI 2 主要解决什么问题？

Ferret-UI 2 主要用于理解和交互移动及跨平台用户界面，帮助模型识别屏幕上的 UI 元素，
并执行点击、确认、导航等复杂用户指令，提升设备操作的自然度与效率。

Ferret-UI 2 为什么比早期版本更强？

它基于高分辨率图像编码和先进的数据训练方法，增强了 UI 元素识别精度、空间关系理解
和交互能力，因此在复杂任务和跨平台迁移上表现更好。

Ferret-UI 2 可以应用在哪些场景？

可用于智能手机、平板、网页浏览、智能电视、多任务环境和辅助技术场景，适合需要语音
或指令驱动界面操作的用户与应用。

🔬 语宙深潜追问 · 进阶实操拆解

Ferret-UI 2落地自动化要怎么接？

先把UI截图、控件树和任务目标统一成标准输入，再让模型输出可执行动作序列。生产环境
里要加失败重试、状态校验和平台适配层，避免只在单一设备上表现好。

跨平台UI模型为什么难泛化？

因为不同系统的控件命名、布局密度和交互习惯差异很大。要提升泛化，通常需要高分辨率
视觉编码、统一动作空间和跨平台混合训练，而不是只堆更多截图数据。

🗳️ 读者观点微投票 · 您的实战立场是？

跨平台UI理解模型，最先替代的是测试还是操作？

🕸️ 语宙向量知识图谱 · 语义强关联深度内链

[🐋 所属权威专题：DeepSeek 深度实战与部署 →](https://paooo.com/topics/deepseek/)

 * [OmniParser – 微软推出的屏幕解析工具，将UI截图转换为结构化数据](https://paooo.com/aigc-news/26097/)
 * [智谱AI发布GLM-5V-Turbo：原生多模态Coding基座模型，看图写代码能力领先](https://paooo.com/aigc-news/11025/)
 * [UI-TARS – 字节跳动推出的开源原生 GUI 代理模型](https://paooo.com/aigc-news/22609/)
 * [Qwen3.7-Plus – 阿里通义推出的智能体多模态大模型](https://paooo.com/aigc-news/38589/)

[🏛️ Prompt 语宙研究院](https://paooo.com/author/paooo-research/) · Prompt 语宙研究院（
paooo.com Research）专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示
词工程（Prompt Engineering）与全球高增长 AI 生产力工具实测追踪，致力于为中文开发
者与创作者提供一手、可复现的深度技术洞察。

[📄 Markdown 纯净版](https://paooo.com/aigc-news/25835/?format=md)

💡 这篇内容对您有启发吗？

[📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/)

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)
