# ScreenAgent – 基于视觉语言模型的计算机控制智能体

- Link: https://paooo.com/aigc-news/28303/
- Published: 2026-07-09T11:31:34+08:00
- Author: Prompt 语宙研究院

⚡ [Prompt](https://paooo.com/ai-image-prompts/) 语宙 AI 导读 · 30 秒核心看点

 * 基于 VLM 直接读屏并生成鼠标、键盘动作，面向真实 GUI 任务控制。
 * 采用“计划-执行-反思”闭环流程，可分解复杂任务并持续修正策略。
 * 配套数据集与 CC-Score 评估，支持训练和衡量计算机控制能力。

## ScreenAgent是什么

ScreenAgent是一个由吉林大学人工智能学院的研究团队开发的计算机控制[智能体](https://paooo.com/trends/)，
该智能体是基于视觉语言模型（VLM）构建的，能够与真实计算机屏幕进行交互。研究人员构
建了一个包含“计划-执行-反思”的运行流程，以引导智能体与计算机屏幕进行持续性的交互。
ScreenAgent的核心功能是通过观察屏幕截图，并输出相应的鼠标和键盘动作来操纵图形用户
界面（GUI），从而执行多步骤的复杂任务。

阅读目录

 * [ScreenAgent是什么](https://paooo.com/aigc-news/28303/#screenagent%e6%98%af%e4%bb%80%e4%b9%88)
 * [ScreenAgent的官网入口](https://paooo.com/aigc-news/28303/#screenagent%e7%9a%84%e5%ae%98%e7%bd%91%e5%85%a5%e5%8f%a3)
 * [ScreenAgent的运行流程](https://paooo.com/aigc-news/28303/#screenagent%e7%9a%84%e8%bf%90%e8%a1%8c%e6%b5%81%e7%a8%8b)
 * [ScreenAgent的技术原理](https://paooo.com/aigc-news/28303/#screenagent%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86)

![ScreenAgent](https://paooo.com/wp-content/uploads/2026/07/screenagent-project-
1.avif)

## ScreenAgent的官网入口

 * 官方GitHub代码库：[https://github.com/niuzaisheng/ScreenAgent](https://github.com/niuzaisheng/ScreenAgent)
 * Arxiv研究论文入口：[https://arxiv.org/abs/2402.07945](https://arxiv.org/abs/2402.07945)

## ScreenAgent的运行流程

![ScreenAgent的运行流程](https://paooo.com/wp-content/uploads/2026/07/screenagent-
operation-flow.avif)

 * **屏幕观察**：ScreenAgent能够观察和理解计算机屏幕上的截图。该特性通过VNC协议实现，
   允许智能体查看桌面操作系统的实时图像。
 * **动作生成**：基于观察到的屏幕截图，ScreenAgent可以生成相应的鼠标和键盘动作。
   这些动作以JSON格式的命令序列输出，包括移动鼠标、点击、双击、滚动、拖动以及键盘
   输入等。
 * **任务规划**：ScreenAgent 能够根据用户的任务提示，分解复杂的任务为一系列子任务，
   并为每个子任务规划相应的动作序列。这涉及到对任务的理解、分解和策略制定。
 * **执行动作**：在规划阶段之后，ScreenAgent执行规划好的子任务，通过发送鼠标和键盘
   动作命令到计算机，以实现用户的目标。
 * **反思评估**：在执行动作之后，ScreenAgent会评估执行的结果，决定是否需要重试当前
   子任务、继续执行下一个子任务，或者调整整个计划。

## ScreenAgent的技术原理

 * **视觉语言模型（VLM）**：
    - VLM是一种结合了视觉和语言处理能力的模型，它可以理解图像内容并生成相应的自然
      语言描述。
    - 在ScreenAgent中，VLM用于解析屏幕截图，理解用户的任务提示，并规划出一系列动作
      来完成任务。
 * **强化学习环境**：
    - ScreenAgent通过VNC协议与真实计算机屏幕交互，创建了一个强化学习环境。在这个
      环境中，智能体可以观察屏幕状态（状态空间），执行动作（动作空间），并根据执行
      结果获得奖励（奖励函数）。
 * **控制流程**：
    - **计划（Planning）**：智能体根据当前屏幕截图和任务提示，分解任务并规划一系列
      子任务和相应的动作序列。
    - **执行（Acting）**：智能体根据规划阶段的输出，通过发送鼠标和键盘动作命令来
      操纵计算机界面。
    - **反思（Reflecting）**：智能体评估执行动作后的结果，决定是否需要重试、继续
      或调整计划。
 * **数据集和评估**：
    - ScreenAgent数据集包含了完成各种日常计算机任务时的屏幕截图和动作序列，用于训练
      和评估模型。
    - CC-Score（Vision Language Computer Control Score）是一个细粒度的评估指标，
      用于衡量智能体在计算机控制任务中的表现。
 * **模型训练**：
    - ScreenAgent 模型通过在 ScreenAgent 数据集上进行训练，学习如何有效地规划、执行
      和反思以完成复杂的计算机控制任务。训练过程中采用多种技术，如监督学习、强化
      学习以及人类反馈循环（RLHF）等。

❓ 常见问题解答（FAQ）

ScreenAgent 是什么？

ScreenAgent 是吉林大学人工智能学院团队开发的计算机控制智能体，基于视觉语言模型构
建。它通过观察屏幕截图理解界面，再输出鼠标和键盘动作，完成多步骤的图形用户界面任务。

ScreenAgent 的核心工作流程是什么？

它采用“计划-执行-反思”三段式流程：先根据任务和屏幕截图规划子任务，再执行鼠标键盘
操作，最后评估结果并决定重试、继续或调整计划，以提升复杂任务完成率。

ScreenAgent 用什么方式评估效果？

文章提到 ScreenAgent 数据集用于训练和评估模型，CC-Score（Vision Language Computer
Control Score）是细粒度评估指标，用来衡量智能体在计算机控制任务中的表现。

🔬 语宙深潜追问 · 进阶实操拆解

计划-执行-反思怎么落地更稳？

把任务拆成可验证子目标，每步执行后做状态检查和失败回滚。关键是限制动作空间、加入
截图对齐校验，并对高风险操作设置人工确认，避免智能体在弹窗、遮挡和页面跳转中失控。

CC-Score 该怎么理解和使用？

它更适合衡量真实界面任务的完成质量，而不只是单步动作准确率。落地时应结合成功率、
平均步数、错误恢复率和耗时一起看，才能判断模型是“会做”还是“做得稳、做得快”。

🗳️ 读者观点微投票 · 您的实战立场是？

屏幕截图驱动的电脑智能体靠谱吗？

🕸️ 语宙向量知识图谱 · 语义强关联深度内链

[🤖 所属权威专题：AI Agent 智能体工作流 →](https://paooo.com/topics/ai-agents/)

 * [CogAgent-9B – 智谱AI开源 GLM-PC 的基座模型](https://paooo.com/aigc-news/24568/)
 * [ScreenAI – 谷歌推出的可读屏AI视觉模型，可理解UI和信息图表](https://paooo.com/aigc-news/28130/)
 * [PC Agent – 上海交大联合 GAIR 推出的电脑智能体AI系统](https://paooo.com/aigc-news/24655/)
 * [VideoAgent – 斯坦福联合多所研究机构推出自改进的视频生成系统](https://paooo.com/aigc-news/26212/)

[🏛️ Prompt 语宙研究院](https://paooo.com/author/paooo-research/) · Prompt 语宙研究院（
paooo.com Research）专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示
词工程（Prompt Engineering）与全球高增长 AI 生产力工具实测追踪，致力于为中文开发
者与创作者提供一手、可复现的深度技术洞察。

[📄 Markdown 纯净版](https://paooo.com/aigc-news/28303/?format=md)

💡 这篇内容对您有启发吗？

[📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/)

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)
