Prompt 语宙Prompt 语宙
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
阅读: 上海交大开源PC Agent-E框架:仅312条数据训练,性能暴涨241%超越Claude 3.7
Share
通知 阅读更多
Font Resizer字体
Font Resizer字体
Prompt 语宙Prompt 语宙
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
已有帐户? 登陆
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
上海交大开源PC Agent-E框架:仅312条数据训练,性能暴涨241%超越Claude 3.7
Prompt 语宙 > AI 工具 > 上海交大开源PC Agent-E框架:仅312条数据训练,性能暴涨241%超越Claude 3.7
AI 工具AIGC 资讯

上海交大开源PC Agent-E框架:仅312条数据训练,性能暴涨241%超越Claude 3.7

Prompt 语宙研究院
最近更新: 2026年6月7日 下午8:28
Claude 3.7 Sonnet PC Agent-E 上海交通大学 数据增强 智能体训练
SHARE
⚡ Prompt 语宙 AI 导读 · 30 秒核心看点
  • 仅312条人类标注轨迹即可训练桌面智能体,核心在于高质量数据增强而非堆量。
  • 通过思维链补全与轨迹增强,PC Agent-E在WindowsAgentArena-V2上实现241%性能提升。
  • 基于Qwen2.5-VL-72B训练,面向办公自动化、软件测试等真实桌面任务更具落地价值。

💡 站外导读:当前AI智能体在桌面自动化领域面临数据获取成本高、泛化能力弱的核心痛点。传统方法需要海量高质量标注数据,但人工收集成本高昂且效率低下。上海交通大学联合SII推出的PC Agent-E框架,仅用312条人类标注轨迹,通过创新的数据增强技术实现241%的性能提升,在WindowsAgentArena-V2基准测试中超越Claude 3.7 Sonnet,为开源电脑智能体树立新标杆。

PC Agent-E是什么

PC Agent-E是上海交通大学和SII联合推出的高效智能体训练框架。框架用312条人类标注的计算机使用轨迹,基于Claude 3.7 Sonnet模型合成多样化的行动决策,显著提升数据质量。框架包含轨迹收集、思维链补全、轨迹增强和代理训练四个关键部分。PC Agent-E在WindowsAgentArena-V2基准测试中取得241%的性能提升,超越Claude 3.7 Sonnet的extended thinking模式,成为Windows系统上开源电脑智能体的新一代SOTA。

阅读目录
  • PC Agent-E是什么
  • PC Agent-E的主要功能
  • PC Agent-E的技术原理
  • PC Agent-E的项目地址
  • PC Agent-E的应用场景
      • 📝 站长洞察 (Editor’s Insight)

PC Agent-E

PC Agent-E的主要功能

  • 高效训练:仅需312条人类标注轨迹,基于数据增强显著提升模型性能。
  • 跨平台泛化:在OSWorld基准测试中,展示强大的跨平台能力,适用于不同操作系统。
  • 任务执行:支持完成多种复杂任务,如文件操作、软件使用、网页浏览等。
  • 数据增强:基于合成多样化行动决策,丰富轨迹数据,提升模型泛化能力。

PC Agent-E的技术原理

  • 轨迹收集(Trajectory Collection):基于PC Tracker工具记录人类操作轨迹,包括任务描述、屏幕截图和键盘/鼠标操作。用简单的标注过程,收集少量高质量的人类操作轨迹。
  • 思维链补全(Thought Completion):基于Claude 3.7 Sonnet模型为每个动作步骤添加背后的思考逻辑。基于提供任务描述、历史动作和当前状态,生成符合人类思维的推理过程。
  • 轨迹增强(Trajectory Boost):为轨迹的每一步合成更多的动作决策,捕捉任务的多样性。用Claude 3.7 Sonnet模型,为每一步生成多个合理的动作决策,丰富轨迹数据。
  • 代理训练(Agent Training):在开源模型Qwen2.5-VL-72B的基础上进行训练。用简单的端到端训练框架,确保模型能够高效学习并执行任务。
  • 评估与验证:在WindowsAgentArena-V2和OSWorld基准测试中验证模型性能。调整合成动作数量,验证轨迹增强方法对性能提升的关键作用。

PC Agent-E的项目地址

  • 项目官网:https://gair-nlp.github.io/PC-Agent-E/
  • GitHub仓库:https://github.com/GAIR-NLP/PC-Agent-E
  • HuggingFace模型库:https://huggingface.co/henryhe0123/PC-Agent-E
  • arXiv技术论文:https://arxiv.org/pdf/2505.13909

PC Agent-E的应用场景

  • 自动化办公:自动完成文档编辑、数据分析等任务,提高办公效率。
  • 软件测试:模拟用户操作,发现软件中的错误和问题,提升软件质量。
  • 教育辅助:作为虚拟助教,帮助学生完成计算机操作任务,提供即时指导。
  • 辅助残障人士:提供辅助操作功能,方便残障人士使用计算机。
  • 跨平台兼容:在不同操作系统之间迁移和执行任务,实现无缝切换。

📝 站长洞察 (Editor’s Insight)

PC Agent-E的发布标志着AI Agent训练范式的重要转变:从’数据规模驱动’转向’数据质量与多样性驱动’。在当前大模型参数竞赛逐渐饱和的背景下,这一框架展示了通过智能数据增强实现小样本高效训练的可行性,这与行业追求’更少数据、更强性能’的趋势高度契合。框架中的思维链补全与轨迹增强技术,本质上是在构建一个’合成数据引擎’,让AI能够自我学习并扩展操作策略。这种技术路径对推动AI Agent在办公自动化、软件测试等真实场景的落地具有重要意义,也为中小企业和研究机构降低了开发门槛。未来,结合多模态理解与跨平台泛化能力,PC Agent-E有望成为下一代桌面AI Agent的重要基础设施。

🧭 文中关联 AI 工具官网与参数卡(语宙 AI 导航)
Claude ↗
Anthropic 打造的新一代安全人工智能模型,具备超长上下文理解能力,最强代码伴侣。
HuggingFace ↗
HuggingFace:AI模型开发社区,面向大语言模型场景提供便捷实用的在线功能支持,涵盖大模型等实用方向。
❓ 常见问题解答(FAQ)
PC Agent-E为什么只用312条数据就能提升性能?

因为它不是单纯依赖数据规模,而是用Claude 3.7 Sonnet对少量人类轨迹进行思维链补全和多样化动作合成,显著提升数据质量与覆盖度,从而放大训练效果。

PC Agent-E超越Claude 3.7 Sonnet了吗?

文章摘录显示,PC Agent-E在WindowsAgentArena-V2基准测试中取得241%的性能提升,并超越Claude 3.7 Sonnet的extended thinking模式,成为Windows系统开源电脑智能体的新一代SOTA。

PC Agent-E适合哪些桌面自动化场景?

适合自动化办公、软件测试、教育辅助、残障人士辅助操作以及跨平台任务执行等场景,可完成文件操作、软件使用、网页浏览等复杂桌面任务。

🔬 语宙深潜追问 · 进阶实操拆解
思维链补全适合哪些任务?

适合步骤清晰、可拆解、反馈明确的桌面操作任务,如文件管理、表格处理和网页表单。它能补足轨迹中缺失的中间意图,但前提是动作空间稳定、环境可复现,否则容易把噪声放大。

如何把Agent迁移到新系统?

先抽象成通用操作原语,再做少量新环境轨迹微调和UI元素映射。关键是把窗口、控件和状态表示标准化,并加上失败重试与人类接管机制,降低跨版本和跨软件的脆弱性。

🗳️ 读者观点微投票 · 您的实战立场是?
312条数据就能训出桌面Agent吗?
🕸️ 语宙向量知识图谱 · 语义强关联深度内链
💻 所属权威专题:Claude & AI 编程 / MCP →
  • Agent Q – MultiOn公司推出的AI智能体,可以自我学习进化
  • PC Agent – 上海交大联合 GAIR 推出的电脑智能体AI系统
  • 上海交大ML-Master登顶MLE-bench:AI专家Agent如何用“探索-推理融合”范式超越微软、OpenAI?
  • 阿里通义重磅开源AgentScope Tuner:一站式自动优化引擎,让AI智能体越用越聪明
🏛️ Prompt 语宙研究院 · Prompt 语宙研究院(paooo.com Research)专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示词工程(Prompt Engineering)与全球高增长 AI 生产力工具实测追踪,致力于为中文开发者与创作者提供一手、可复现的深度技术洞察。
📄 Markdown 纯净版
💡 这篇内容对您有启发吗?
📡 RSS 订阅✨ 提交 AI 工具 / 合作
🚀 Prompt 语宙 AI 创作者生态:探索 2,800+ 全球实用 AI 工具与高精度生图提示词咒语库
🧭 语宙 AI 导航 (ai.paooo.com)🎨 AI 生图 Prompt 库📚 核心专题导航⚡ AIGC 早报生成器
FlowGPT
LinFusion – 新加坡国立推出图像生成模型,单GPU一分钟生成16K图像
Google Vids引入Gemini Omni模型 上传自拍+音频就能定制专属数字分身
单张 RTX 5090 跑满 720P 实时渲染!VAST 重磅开源世界模型渲染器 EdenLive:解密状态与视觉解耦架构
Still-Moving – DeepMind推出的AI视频生成框架
TAGGED:Claude 3.7 SonnetPC Agent-E上海交通大学数据增强智能体训练
分享
Email 复制链接 打印
Share
Prompt 语宙研究院 头像
ByPrompt 语宙研究院
Follow:
Prompt 语宙研究院(paooo.com Research)专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示词工程(Prompt Engineering)与全球高增长 AI 生产力工具实测追踪,致力于为中文开发者与创作者提供一手、可复现的深度技术洞察。
上一篇 CAR:字节跳动×复旦重磅推出!自适应推理框架让大模型效率飙升,准确率再攀新高 CAR:字节跳动×复旦重磅推出!自适应推理框架让大模型效率飙升,准确率再攀新高
下一篇 人大高瓴与蚂蚁联合发布LLaDA-V:纯扩散架构多模态大模型刷新SOTA! 人大高瓴与蚂蚁联合发布LLaDA-V:纯扩散架构多模态大模型刷新SOTA!
Ad image
Ad image

最近更新

WordPress 7.2版本更新与默认随机重定向、Secrets API撤回及MCP核心能力拆解封面图
官方博客竟把关闭过滤器写错了!WordPress 7.2前瞻全拆解:默认/random/暗藏隐私与SEO风险、Secrets API紧急撤回与3项MCP只读能力落地
AI 工具
Anthropic上市募资与算力长约的隐喻:现金光环上升,数据中心暗链延伸,治理水晶承受张力与阻力冲击。
募资超1070亿美元却背负9000亿算力长约!Anthropic史上最大IPO背后的三大隐忧:1040亿年内亏损、地方抵制潮与PBC治理死结
AIGC 资讯
微软Copilot与Claude/ChatGPT价格战隐喻:发光玻璃表格堡垒守住Excel,数据流高效汇聚,企业AI竞争升级
3000万付费仅吃下4.5亿席位不到7%!微软Ignite正面叫板Claude与ChatGPT:月均30美元VS 205美元价格战与Excel保卫战全拆解
AIGC 资讯
联想AI推理时代的端边云全栈算力插画:玻璃拟态服务器核心发光,光流连接云端与边缘节点,呈现营收与订单增长动能。
AI营收暴涨80%且握5300亿服务器订单!联想Q2单季营收首破2000亿、净利狂飙166%:端边云全栈算力如何接住推理时代红利?
AIGC 资讯

相关推荐

灵动声纹与情感释放:Google DeepMind推出Lyria 3.5音乐生成模型
AIGC 资讯

灵动声纹与情感释放:Google DeepMind推出Lyria 3.5音乐生成模型

Prompt 语宙研究院
AI绘画提示词 AI视频生成 AI音频与语音 Gemini
Hibiki – Kyutai Labs 推出的实时语音翻译模型
AIGC 资讯

Hibiki – Kyutai Labs 推出的实时语音翻译模型

Prompt 语宙研究院
AI音频与语音 HuggingFace 开源大模型
琅琊 – 中国科学院海洋研究所自主研发的海洋大模型1.0版本
AIGC 资讯

琅琊 – 中国科学院海洋研究所自主研发的海洋大模型1.0版本

Prompt 语宙研究院
AI智能体 大模型微调 开源大模型
Leffa – Meta 开源的图像生成框架,精确控制人物的外观和姿势
AIGC 资讯

Leffa – Meta 开源的图像生成框架,精确控制人物的外观和姿势

Prompt 语宙研究院
3D与空间智能 HuggingFace stable diffusion 大模型微调 开源大模型
/ Prompt 语宙 /

探索生成式 AI 的无限创作潜能,一站式获取前沿 AIGC 资讯、高阶 Prompt 咒语与全球实用 AI 工具。

核心专栏

  • 语宙 AI 工具导航
  • EVA 视觉抠图工坊Hot
  • 出海数字营销宝典
  • AI 生图咒语灵感库
  • 24H 硅谷 AI 情报流

生态与服务

  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作

标签

开源大模型 AI智能体 AI办公效率 AI绘画提示词 OpenAI 大模型微调 Midjourney AI编程 stable diffusion AI视频生成 ChatGPT 3D与空间智能 HuggingFace AI音频与语音 RAG检索增强 Claude Flux AIGC Gemini 通义千问 Anthropic Llama Cursor DeepSeek Prompt AI Agent Kimi 智谱AI 具身智能 YouTube
Prompt 语宙Prompt 语宙
Follow US
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.