# 上海交大开源PC Agent-E框架：仅312条数据训练，性能暴涨241%超越Claude 3.7

- Link: https://paooo.com/aigc-news/16987/
- Published: 2026-06-30T08:12:22+08:00
- Author: Prompt 语宙研究院

⚡ [Prompt](https://paooo.com/ai-image-prompts/) 语宙 AI 导读 · 30 秒核心看点

 * 仅312条人类标注轨迹即可训练桌面[智能体](https://paooo.com/trends/)，核心在于高
   质量数据增强而非堆量。
 * 通过思维链补全与轨迹增强，PC Agent-E在WindowsAgentArena-V2上实现241%性能提升。
 * 基于Qwen2.5-VL-72B训练，面向办公自动化、软件测试等真实桌面任务更具落地价值。

> **💡 站外导读：**当前AI智能体在桌面自动化领域面临数据获取成本高、泛化能力弱的核心
> 痛点。传统方法需要海量高质量标注数据，但人工收集成本高昂且效率低下。上海交通大学
> 联合SII推出的PC Agent-E框架，仅用312条人类标注轨迹，通过创新的数据增强技术实现
> 241%的性能提升，在WindowsAgentArena-V2基准测试中超越Claude 3.7 Sonnet，为开源电脑
> 智能体树立新标杆。

## PC Agent-E是什么

PC Agent-E是上海交通大学和SII联合推出的高效智能体训练框架。框架用312条人类标注的
计算机使用轨迹，基于[Claude](https://paooo.com/aigc-news/) 3.7 Sonnet模型合成多样
化的行动决策，显著提升数据质量。框架包含轨迹收集、思维链补全、轨迹增强和代理训练
四个关键部分。PC Agent-E在WindowsAgentArena-V2基准测试中取得241%的性能提升，超越
[Claude 3.7 Sonnet](https://ai-bot.cn/claude-3-7-sonnet/)的extended thinking模式，
成为Windows系统上开源电脑智能体的新一代SOTA。

阅读目录

 * [PC Agent-E是什么](https://paooo.com/aigc-news/16987/#pc-agente%e6%98%af%e4%bb%80%e4%b9%88)
 * [PC Agent-E的主要功能](https://paooo.com/aigc-news/16987/#pc-agente%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd)
 * [PC Agent-E的技术原理](https://paooo.com/aigc-news/16987/#pc-agente%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86)
 * [PC Agent-E的项目地址](https://paooo.com/aigc-news/16987/#pc-agente%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80)
 * [PC Agent-E的应用场景](https://paooo.com/aigc-news/16987/#pc-agente%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af)
       * [📝 站长洞察 (Editor’s Insight)](https://paooo.com/aigc-news/16987/#%f0%9f%93%9d-%e7%ab%99%e9%95%bf%e6%b4%9e%e5%af%9f-editor8217s-insight)

![PC Agent-E](https://paooo.com/wp-content/uploads/2026/05/PC-Agent-E-website-1.
avif)

## PC Agent-E的主要功能

 * **高效训练**：仅需312条人类标注轨迹，基于数据增强显著提升模型性能。
 * **跨平台泛化**：在OSWorld基准测试中，展示强大的跨平台能力，适用于不同操作系统。
 * **任务执行**：支持完成多种复杂任务，如文件操作、软件使用、网页浏览等。
 * **数据增强**：基于合成多样化行动决策，丰富轨迹数据，提升模型泛化能力。

## PC Agent-E的技术原理

 * **轨迹收集（Trajectory Collection**）：基于PC Tracker工具记录人类操作轨迹，包括
   任务描述、屏幕截图和键盘/鼠标操作。用简单的标注过程，收集少量高质量的人类操作
   轨迹。
 * **思维链补全（Thought Completion）**：基于Claude 3.7 Sonnet模型为每个动作步骤
   添加背后的思考逻辑。基于提供任务描述、历史动作和当前状态，生成符合人类思维的推理
   过程。
 * **轨迹增强（Trajectory Boost）**：为轨迹的每一步合成更多的动作决策，捕捉任务的
   多样性。用Claude 3.7 Sonnet模型，为每一步生成多个合理的动作决策，丰富轨迹数据。
 * **代理训练（Agent Training）**：在开源模型Qwen2.5-VL-72B的基础上进行训练。用简单
   的端到端训练框架，确保模型能够高效学习并执行任务。
 * **评估与验证**：在WindowsAgentArena-V2和OSWorld基准测试中验证模型性能。调整合成
   动作数量，验证轨迹增强方法对性能提升的关键作用。

## PC Agent-E的项目地址

 * **项目官网**：[https://gair-nlp.github.io/PC-Agent-E/](https://gair-nlp.github.io/PC-Agent-E/?utm_source=ai-bot.cn)
 * **GitHub仓库**：[https://github.com/GAIR-NLP/PC-Agent-E](https://github.com/GAIR-NLP/PC-Agent-E)
 * **HuggingFace模型库**：[https://huggingface.co/henryhe0123/PC-Agent-E](https://huggingface.co/henryhe0123/PC-Agent-E)
 * **arXiv技术论文**：[https://arxiv.org/pdf/2505.13909](https://arxiv.org/pdf/2505.13909)

## PC Agent-E的应用场景

 * **自动化办公**：自动完成文档编辑、数据分析等任务，提高办公效率。
 * **软件测试**：模拟用户操作，发现软件中的错误和问题，提升软件质量。
 * **教育辅助**：作为虚拟助教，帮助学生完成计算机操作任务，提供即时指导。
 * **辅助残障人士**：提供辅助操作功能，方便残障人士使用计算机。
 * **跨平台兼容**：在不同操作系统之间迁移和执行任务，实现无缝切换。

#### 📝 站长洞察 (Editor’s Insight)

PC Agent-E的发布标志着AI Agent训练范式的重要转变：从’数据规模驱动’转向’数据质量与
多样性驱动’。在当前[大模型](https://paooo.com/ai-study/)参数竞赛逐渐饱和的背景下，
这一框架展示了通过智能数据增强实现小样本高效训练的可行性，这与行业追求’更少数据、
更强性能’的趋势高度契合。框架中的思维链补全与轨迹增强技术，本质上是在构建一个’合成
数据引擎’，让AI能够自我学习并扩展操作策略。这种技术路径对推动AI Agent在办公自动化、
软件测试等真实场景的落地具有重要意义，也为中小企业和研究机构降低了开发门槛。未来，
结合多模态理解与跨平台泛化能力，PC Agent-E有望成为下一代桌面AI Agent的重要基础设施。

🧭 文中关联 AI 工具官网与参数卡（语宙 AI 导航）

**Claude ↗**

Anthropic 打造的新一代安全人工智能模型，具备超长上下文理解能力，最强代码伴侣。

**HuggingFace ↗**

HuggingFace：AI模型开发社区，面向大语言模型场景提供便捷实用的在线功能支持，涵盖大
模型等实用方向。

❓ 常见问题解答（FAQ）

PC Agent-E为什么只用312条数据就能提升性能？

因为它不是单纯依赖数据规模，而是用Claude 3.7 Sonnet对少量人类轨迹进行思维链补全和
多样化动作合成，显著提升数据质量与覆盖度，从而放大训练效果。

PC Agent-E超越Claude 3.7 Sonnet了吗？

文章摘录显示，PC Agent-E在WindowsAgentArena-V2基准测试中取得241%的性能提升，并超越
Claude 3.7 Sonnet的extended thinking模式，成为Windows系统开源电脑智能体的新一代SOTA。

PC Agent-E适合哪些桌面自动化场景？

适合自动化办公、软件测试、教育辅助、残障人士辅助操作以及跨平台任务执行等场景，可
完成文件操作、软件使用、网页浏览等复杂桌面任务。

🔬 语宙深潜追问 · 进阶实操拆解

思维链补全适合哪些任务？

适合步骤清晰、可拆解、反馈明确的桌面操作任务，如文件管理、表格处理和网页表单。它
能补足轨迹中缺失的中间意图，但前提是动作空间稳定、环境可复现，否则容易把噪声放大。

如何把Agent迁移到新系统？

先抽象成通用操作原语，再做少量新环境轨迹微调和UI元素映射。关键是把窗口、控件和状态
表示标准化，并加上失败重试与人类接管机制，降低跨版本和跨软件的脆弱性。

🗳️ 读者观点微投票 · 您的实战立场是？

312条数据就能训出桌面Agent吗？

🕸️ 语宙向量知识图谱 · 语义强关联深度内链

[💻 所属权威专题：Claude & AI 编程 / MCP →](https://paooo.com/topics/claude-mcp-coding/)

 * [Agent Q – MultiOn公司推出的AI智能体，可以自我学习进化](https://paooo.com/aigc-news/27459/)
 * [PC Agent – 上海交大联合 GAIR 推出的电脑智能体AI系统](https://paooo.com/aigc-news/24655/)
 * [上海交大ML-Master登顶MLE-bench：AI专家Agent如何用“探索-推理融合”范式超越微软、OpenAI？](https://paooo.com/aigc-news/14576/)
 * [阿里通义重磅开源AgentScope Tuner：一站式自动优化引擎，让AI智能体越用越聪明](https://paooo.com/aigc-news/10836/)

[🏛️ Prompt 语宙研究院](https://paooo.com/author/paooo-research/) · Prompt 语宙研究院（
paooo.com Research）专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示
词工程（Prompt Engineering）与全球高增长 AI 生产力工具实测追踪，致力于为中文开发
者与创作者提供一手、可复现的深度技术洞察。

[📄 Markdown 纯净版](https://paooo.com/aigc-news/16987/?format=md)

💡 这篇内容对您有启发吗？

[📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/)

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)
