# ScreenAI – 谷歌推出的可读屏AI视觉模型，可理解UI和信息图表

- Link: https://paooo.com/aigc-news/28130/
- Published: 2026-07-10T00:41:14+08:00
- Author: Prompt 语宙研究院

## ScreenAI是什么

ScreenAI是一个由谷歌的研究人员推出的可读屏AI视觉语言模型，专门设计用于理解和处理
用户界面（UI）和信息图表。该模型基于PaLI架构结合了视觉和语言处理的能力，并借鉴了
Pix2Struct的灵活拼贴策略，使其能够理解和生成与屏幕UI元素相关的文本，如问题回答、
UI导航指令和内容摘要。
 ⌊ScreenAI⌉

阅读目录

 * [ScreenAI是什么](https://paooo.com/aigc-news/28130/#screenai%e6%98%af%e4%bb%80%e4%b9%88)
 * [ScreenAI的主要功能](https://paooo.com/aigc-news/28130/#screenai%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd)
 * [ScreenAI的技术原理](https://paooo.com/aigc-news/28130/#screenai%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86)

 * arXiv研究论文：[https://arxiv.org/abs/2402.04615](https://arxiv.org/abs/2402.04615)
 * GitHub PyTorch实现：[https://github.com/kyegomez/ScreenAI](https://github.com/kyegomez/ScreenAI)

## ScreenAI的主要功能

![ScreenAI的功能](https://paooo.com/wp-content/uploads/2026/07/screenai-features.
avif)

 * **屏幕信息理解**：ScreenAI能够识别和理解UI元素和信息图表的内容，包括它们的类型、
   位置和相互之间的关系。
 * **问题回答（QA）**：ScreenAI可以对获取到的视觉信息的进行理解并回答关于UI和信息
   图表内容的问题。
 * **UI导航**：ScreenAI能够解释导航指令（如“返回”）并识别适当的UI元素进行交互，可
   理解用户意图并能够在界面中准确导航。
 * **内容摘要**：ScreenAI能够简洁地总结屏幕内容，可提炼和概括屏幕信息的核心要点。
 * **适应不同屏幕格式**：ScreenAI能够处理不同分辨率和宽高比的屏幕截图，可以适应移动
   设备和台式机等不同设备的屏幕格式。

## ScreenAI的技术原理

![ScreenAI的架构](https://paooo.com/wp-content/uploads/2026/07/screenai-architecture.
avif)

 * **多模态编码器**：受PaLI架构启发，ScreenAI使用一个多模态编码器块，该块由两个主要
   部分组成：一个视觉编码器和一个语言编码器。视觉编码器基于Vision Transformer (ViT)
   架构，用于将输入的屏幕截图转换为一系列图像嵌入。语言编码器则处理与屏幕截图相关
   的文本信息，如用户界面（UI）元素的标签和描述。
 * **图像和文本融合**：在多模态编码器中，图像嵌入和文本嵌入被结合在一起，以便模型
   能够同时理解视觉内容和与之相关的语言信息。这种融合使得ScreenAI能够处理复杂的屏幕
   交互任务。
 * **自回归解码器**：编码器的输出被传递给一个自回归解码器T5，负责生成文本输出，能够
   根据输入的图像和文本嵌入生成自然语言响应。
 * **自动数据生成**：为了训练ScreenAI，研究人员利用了自动数据生成技术。他们使用PaLM
   2-S语言模型来生成合成的训练数据，这些数据包括屏幕模式和相应的问题-答案对。这种
   方法提高了数据的多样性和复杂性，同时减少了对手动标注的依赖。
 * **图像分割策略**：ScreenAI采用了Pix2Struct技术来处理不同分辨率和宽高比的屏幕截
   图。这种技术允许模型根据输入图像的形状和预定义的最大块数生成任意网格形状的图像
   块，从而使模型能够适应各种屏幕格式。
 * **模型配置和训练**：ScreenAI有不同规模的模型版本，包括670M、2B和5B参数的模型。
   这些模型在预训练阶段使用了不同的起点，例如从PaLI-3的多模态预训练检查点开始。预
   训练任务和微调任务的结合使得模型能够在广泛的任务上进行训练和优化。

[🏛️ Prompt 语宙研究院](https://paooo.com/author/paooo-research/) · Prompt 语宙研究院（
paooo.com Research）专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示
词工程（Prompt Engineering）与全球高增长 AI 生产力工具实测追踪，致力于为中文开发
者与创作者提供一手、可复现的深度技术洞察。

[📄 Markdown 纯净版](https://paooo.com/aigc-news/28130/?format=md)

💡 这篇内容对您有启发吗？

[📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/)

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)