Prompt 语宙Prompt 语宙
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
阅读: ScreenAgent – 基于视觉语言模型的计算机控制智能体
Share
通知 阅读更多
Font Resizer字体
Font Resizer字体
Prompt 语宙Prompt 语宙
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
已有帐户? 登陆
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
ScreenAgent – 基于视觉语言模型的计算机控制智能体
Prompt 语宙 > AIGC 资讯 > ScreenAgent – 基于视觉语言模型的计算机控制智能体
AIGC 资讯

ScreenAgent – 基于视觉语言模型的计算机控制智能体

Prompt 语宙研究院
最近更新: 2026年7月9日 上午11:31
AI办公效率 AI智能体 大模型微调 开源大模型
SHARE
⚡ Prompt 语宙 AI 导读 · 30 秒核心看点
  • 基于 VLM 直接读屏并生成鼠标、键盘动作,面向真实 GUI 任务控制。
  • 采用“计划-执行-反思”闭环流程,可分解复杂任务并持续修正策略。
  • 配套数据集与 CC-Score 评估,支持训练和衡量计算机控制能力。

ScreenAgent是什么

ScreenAgent是一个由吉林大学人工智能学院的研究团队开发的计算机控制智能体,该智能体是基于视觉语言模型(VLM)构建的,能够与真实计算机屏幕进行交互。研究人员构建了一个包含“计划-执行-反思”的运行流程,以引导智能体与计算机屏幕进行持续性的交互。ScreenAgent的核心功能是通过观察屏幕截图,并输出相应的鼠标和键盘动作来操纵图形用户界面(GUI),从而执行多步骤的复杂任务。

阅读目录
  • ScreenAgent是什么
  • ScreenAgent的官网入口
  • ScreenAgent的运行流程
  • ScreenAgent的技术原理

ScreenAgent

ScreenAgent的官网入口

  • 官方GitHub代码库:https://github.com/niuzaisheng/ScreenAgent
  • Arxiv研究论文入口:https://arxiv.org/abs/2402.07945

ScreenAgent的运行流程

ScreenAgent的运行流程

  • 屏幕观察:ScreenAgent能够观察和理解计算机屏幕上的截图。该特性通过VNC协议实现,允许智能体查看桌面操作系统的实时图像。
  • 动作生成:基于观察到的屏幕截图,ScreenAgent可以生成相应的鼠标和键盘动作。这些动作以JSON格式的命令序列输出,包括移动鼠标、点击、双击、滚动、拖动以及键盘输入等。
  • 任务规划:ScreenAgent 能够根据用户的任务提示,分解复杂的任务为一系列子任务,并为每个子任务规划相应的动作序列。这涉及到对任务的理解、分解和策略制定。
  • 执行动作:在规划阶段之后,ScreenAgent执行规划好的子任务,通过发送鼠标和键盘动作命令到计算机,以实现用户的目标。
  • 反思评估:在执行动作之后,ScreenAgent会评估执行的结果,决定是否需要重试当前子任务、继续执行下一个子任务,或者调整整个计划。

ScreenAgent的技术原理

  • 视觉语言模型(VLM):
    • VLM是一种结合了视觉和语言处理能力的模型,它可以理解图像内容并生成相应的自然语言描述。
    • 在ScreenAgent中,VLM用于解析屏幕截图,理解用户的任务提示,并规划出一系列动作来完成任务。
  • 强化学习环境:
    • ScreenAgent通过VNC协议与真实计算机屏幕交互,创建了一个强化学习环境。在这个环境中,智能体可以观察屏幕状态(状态空间),执行动作(动作空间),并根据执行结果获得奖励(奖励函数)。
  • 控制流程:
    • 计划(Planning):智能体根据当前屏幕截图和任务提示,分解任务并规划一系列子任务和相应的动作序列。
    • 执行(Acting):智能体根据规划阶段的输出,通过发送鼠标和键盘动作命令来操纵计算机界面。
    • 反思(Reflecting):智能体评估执行动作后的结果,决定是否需要重试、继续或调整计划。
  • 数据集和评估:
    • ScreenAgent数据集包含了完成各种日常计算机任务时的屏幕截图和动作序列,用于训练和评估模型。
    • CC-Score(Vision Language Computer Control Score)是一个细粒度的评估指标,用于衡量智能体在计算机控制任务中的表现。
  • 模型训练:
    • ScreenAgent 模型通过在 ScreenAgent 数据集上进行训练,学习如何有效地规划、执行和反思以完成复杂的计算机控制任务。训练过程中采用多种技术,如监督学习、强化学习以及人类反馈循环(RLHF)等。
❓ 常见问题解答(FAQ)
ScreenAgent 是什么?

ScreenAgent 是吉林大学人工智能学院团队开发的计算机控制智能体,基于视觉语言模型构建。它通过观察屏幕截图理解界面,再输出鼠标和键盘动作,完成多步骤的图形用户界面任务。

ScreenAgent 的核心工作流程是什么?

它采用“计划-执行-反思”三段式流程:先根据任务和屏幕截图规划子任务,再执行鼠标键盘操作,最后评估结果并决定重试、继续或调整计划,以提升复杂任务完成率。

ScreenAgent 用什么方式评估效果?

文章提到 ScreenAgent 数据集用于训练和评估模型,CC-Score(Vision Language Computer Control Score)是细粒度评估指标,用来衡量智能体在计算机控制任务中的表现。

🔬 语宙深潜追问 · 进阶实操拆解
计划-执行-反思怎么落地更稳?

把任务拆成可验证子目标,每步执行后做状态检查和失败回滚。关键是限制动作空间、加入截图对齐校验,并对高风险操作设置人工确认,避免智能体在弹窗、遮挡和页面跳转中失控。

CC-Score 该怎么理解和使用?

它更适合衡量真实界面任务的完成质量,而不只是单步动作准确率。落地时应结合成功率、平均步数、错误恢复率和耗时一起看,才能判断模型是“会做”还是“做得稳、做得快”。

🗳️ 读者观点微投票 · 您的实战立场是?
屏幕截图驱动的电脑智能体靠谱吗?
🕸️ 语宙向量知识图谱 · 语义强关联深度内链
🤖 所属权威专题:AI Agent 智能体工作流 →
  • CogAgent-9B – 智谱AI开源 GLM-PC 的基座模型
  • ScreenAI – 谷歌推出的可读屏AI视觉模型,可理解UI和信息图表
  • PC Agent – 上海交大联合 GAIR 推出的电脑智能体AI系统
  • VideoAgent – 斯坦福联合多所研究机构推出自改进的视频生成系统
🏛️ Prompt 语宙研究院 · Prompt 语宙研究院(paooo.com Research)专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示词工程(Prompt Engineering)与全球高增长 AI 生产力工具实测追踪,致力于为中文开发者与创作者提供一手、可复现的深度技术洞察。
📄 Markdown 纯净版
💡 这篇内容对您有启发吗?
📡 RSS 订阅✨ 提交 AI 工具 / 合作
🚀 Prompt 语宙 AI 创作者生态:探索 2,800+ 全球实用 AI 工具与高精度生图提示词咒语库
🧭 语宙 AI 导航 (ai.paooo.com)🎨 AI 生图 Prompt 库📚 核心专题导航⚡ AIGC 早报生成器
AgentGen – 微软联合港大推出的提高AI大模型规划能力的框架
700TOPS算力对齐99.99%、首发量产Armv9车规CPU!新芯航途重磅发布X7 Ultra智驾芯片:以“大模型定义芯片”重构端到端车载计算全景深度拆解
BookAI
OpenAI 和 Elon Musk [译]
Lyria 2 – DeepMind 推出的 AI 音乐生成模型
TAGGED:AI办公效率AI智能体大模型微调开源大模型
分享
Email 复制链接 打印
Share
Prompt 语宙研究院 头像
ByPrompt 语宙研究院
Follow:
Prompt 语宙研究院(paooo.com Research)专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示词工程(Prompt Engineering)与全球高增长 AI 生产力工具实测追踪,致力于为中文开发者与创作者提供一手、可复现的深度技术洞察。
上一篇 onewebot2 – 微信AI机器人一键运行包,双击exe直接使用 onewebot2 – 微信AI机器人一键运行包,双击exe直接使用
下一篇 Fish Speech – 开源的高效文本到语音合成TTS工具 Fish Speech – 开源的高效文本到语音合成TTS工具
Ad image
Ad image

最近更新

NVIDIA Vera Rubin 亮相 MLPerf 评测并在训练与端点测试中领先
单GPU训练性能翻倍且智能体每瓦吞吐暴增10倍!NVIDIA Vera Rubin首战MLPerf大获全胜:DeepSeek-V3千卡扩展效率97%与Agentic端点推理全景深度拆解
AIGC 资讯
美国商务部大楼与半导体出口管制新规
算力超1200万TPP即触发许可且限期90天整改!美国商务部突发全球数据中心新规:封死离岸云端远程租用算力与废止AI扩散规则全景深度拆解
AIGC 资讯
AI 原生 CRM 初创公司 Dreamteam 获 5300 万美元融资,挑战 Salesforce 与 HubSpot
斩获5300万美元对标Salesforce!前Freshworks高管创办AI原生CRM Dreamteam:基于Company Brain虚拟记忆与自动化智能体流水线深度拆解
AI 工具
Optimizely 谈营销智能体落地:企业需将审核从输出转向输入
告别Vibe Coding虚火!Optimizely解密企业级营销智能体落地法则:从“输出审核”走向“输入约束”、专用Harness架构与800落地页规模化实战
最新趋势

相关推荐

TuriX-CUA:开源AI桌面智能体,自动识别屏幕、操作鼠标键盘,真正解放双手
AI 工具AIGC 资讯

TuriX-CUA:开源AI桌面智能体,自动识别屏幕、操作鼠标键盘,真正解放双手

Prompt 语宙研究院
AI智能体 MCP协议 多模态大模型 开源项目 桌面自动化
[AI生图咒语] 例206 – 国风工笔八仙长卷插画
1
AI 生图 Prompt动漫与插画

[AI生图咒语] 例206 – 国风工笔八仙长卷插画

Prompt 语宙研究院
AI绘画提示词 Midjourney stable diffusion 开源大模型
WorldScore – 斯坦福大学推出的世界生成模型统一评估基准
AIGC 资讯

WorldScore – 斯坦福大学推出的世界生成模型统一评估基准

Prompt 语宙研究院
3D与空间智能 AI视频生成 HuggingFace 开源大模型
清华微软联手开源Kronos:全球首个金融K线图基础模型,预测精度碾压传统方法
AI 工具AIGC 资讯

清华微软联手开源Kronos:全球首个金融K线图基础模型,预测精度碾压传统方法

Prompt 语宙研究院
Kronos K线图基础模型 微软亚洲研究院 时间序列预测 清华大学
/ Prompt 语宙 /

探索生成式 AI 的无限创作潜能,一站式获取前沿 AIGC 资讯、高阶 Prompt 咒语与全球实用 AI 工具。

核心专栏

  • Remaker AI
  • BGRemaker 抠图Hot
  • AIGC 工具
  • Prompt 咒语生成器
  • 去水印工具

生态与服务

  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作

标签

开源大模型 AI智能体 AI办公效率 AI绘画提示词 OpenAI 大模型微调 Midjourney AI编程 stable diffusion AI视频生成 ChatGPT 3D与空间智能 HuggingFace AI音频与语音 RAG检索增强 Claude Flux AIGC Gemini 通义千问 Anthropic Llama Cursor DeepSeek Prompt AI Agent Kimi 智谱AI 具身智能 YouTube
Prompt 语宙Prompt 语宙
Follow US
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.