# ComAct – 上海AI Lab等推出软件自动化操作的研究范式

- Link: https://paooo.com/aigc-news/23992/
- Published: 2026-07-07T13:43:20+08:00
- Author: 站外新闻

## ComAct是什么

ComAct（COM-as-Action）是重新定义专业软件自动化操作的研究范式，由Jiaxin Ai等人提出。
范式将Windows的Component Object Model（COM）识别为统一的可执行抽象，把专业软件交互
从脆弱的顺序性视觉控制转变为确定性的程序合成，解决GUI-based智能体在长程任务中的错误
累积问题，以及API-based方法受限于异构协议和闭源接口的困境。

阅读目录

 * [ComAct是什么](https://paooo.com/aigc-news/23992/#comact%e6%98%af%e4%bb%80%e4%b9%88)
 * [ComAct的主要功能](https://paooo.com/aigc-news/23992/#comact%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd)
 * [ComAct的技术原理](https://paooo.com/aigc-news/23992/#comact%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86)
 * [如何使用ComAct](https://paooo.com/aigc-news/23992/#%e5%a6%82%e4%bd%95%e4%bd%bf%e7%94%a8comact)
 * [ComAct的官网地址](https://paooo.com/aigc-news/23992/#comact%e7%9a%84%e5%ae%98%e7%bd%91%e5%9c%b0%e5%9d%80)
 * [ComAct的核心优势](https://paooo.com/aigc-news/23992/#comact%e7%9a%84%e6%a0%b8%e5%bf%83%e4%bc%98%e5%8a%bf)
 * [ComAct的应用场景](https://paooo.com/aigc-news/23992/#comact%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af)

![ComAct](https://paooo.com/wp-content/uploads/2026/07/ComAct-1.avif)

## ComAct的主要功能

 * **COM-as-Action 范式转换**：将专业软件交互从脆弱的顺序性视觉控制（GUI）转变为
   确定性的程序合成，利用 Windows COM 接口作为统一的可执行抽象，直接调用软件内部
   结构化编程接口。
 * **ComCADBench 基准测试**：构建首个评估智能体操作真实工业 CAD 软件的基准，包含
   1,000 个任务，覆盖 SolidWorks、Inventor、AutoCAD 三大平台及 3D 建模、2D 草图、
   装配、工程图等七项工程活动。
 * **ComActor 自校正智能体**：采用三阶段渐进式训练框架——文本到代码监督微调（SFT）、
   基于多轮交互轨迹的智能体 SFT、以及基于连续几何奖励的 GRPO 强化学习，使智能体能够
   生成 COM 脚本、读取终端反馈、诊断并重写失败步骤。
 * **ComForge 可扩展训练平台**：支持并发托管 1,000+ 个 Docker 化 Windows 环境，预
   装真实 CAD 软件，提供 `code_execute`（COM 脚本）、`gui_action`（鼠标/键盘）和`
   reset` 三种动作类型，实现大规模并行训练与评估。
 * **跨应用工作流整合**：COM 作为统一的语义化编程接口，天然支持跨多种专业软件（Microsoft
   Office、Adobe 套件、工业 CAD 等）的协同操作与复杂工作流编排。
 * **长程任务鲁棒执行**：通过生成单一确定性脚本替代数百个易出错的顺序 GUI 操作，
   消除长程错误累积，在长程多任务管道中保持 80% 以上的端到端成功率，显著优于传统
   GUI-based 智能体。

![挖挖GitHub](https://paooo.com/wp-content/uploads/2026/07/wawagithub-5.avif)

微信关注回复“**开源**”，加入**AI开源项目交流群**

## ComAct的技术原理

 * **COM-as-Action 范式转换**：将 Windows Component Object Model（COM）识别为一种
   统一的可执行抽象，把专业软件交互从脆弱的顺序性视觉控制（GUI）重新定义为确定性的
   程序合成，直接通过结构化编程接口调用软件内部功能。
 * **验证过的指令-代码对数据构建**：通过专门的数据构建流程合成经过验证的指令-COM
   代码语料库，确保训练数据在语法和语义层面的正确性，为监督微调提供高质量基础。
 * **三阶段渐进式训练框架**：
    - **阶段一（文本到代码 SFT）**：在验证语料库上进行监督微调，使模型学习生成语法
      有效的 COM 脚本；
    - **阶段二（Agentic SFT）**：基于多轮交互轨迹和屏幕截图/终端反馈进行迭代调试
      训练，使智能体具备从执行失败中自我恢复的能力；
    - **阶段三（GRPO 强化学习）**：采用组相对策略优化（Group Relative Policy Optimization），
      结合基于 Chamfer Distance 的连续几何奖励，直接优化任务级几何保真度，弥合”语法
      正确但几何不符”的差距。
 * **自校正执行循环**：智能体生成 COM 脚本后执行，读取终端返回的 traceback 或执行
   结果，自主诊断错误原因并重写失败步骤，形成”生成-执行-反馈-修正”的闭环。
 * **ComForge 可扩展基础设施**：基于 Docker 化 Windows 容器构建训练平台，并发托管
   1,000+ 个预装真实 CAD 软件的环境，支持 `code_execute`（COM 脚本）、`gui_action`（
   鼠标/键盘）和 `reset` 三种动作类型，实现大规模并行训练与评估。
 * **跨应用统一动作空间**：利用 COM 在语义对象层面运行的特性，将不同专业软件（SolidWorks、
   AutoCAD、Inventor、Microsoft Office 等）的异构接口统一为标准化的可执行动作空间，
   天然支持跨应用工作流编排。

## 如何使用ComAct

 * **环境准备（ComForge）**：部署 Docker 化 Windows 容器环境，预装目标专业软件（
   如 SolidWorks、AutoCAD、Inventor），ComForge 支持并发托管 1,000+ 个并行实例用于
   训练或评估。
 * **任务指令输入**：向 ComActor 智能体输入自然语言指令（如”创建一个带圆角的立方体
   并生成工程图”），智能体将其解析为对应的 COM 操作目标。
 * **COM 脚本生成**：ComActor 基于三阶段训练能力，自动生成语法有效的 COM 脚本（如
   Python 调用 COM 接口），直接操控软件内部对象模型，而非模拟鼠标点击。
 * **执行与反馈循环**：脚本在 ComForge 环境中执行，智能体读取终端返回的执行结果或
   错误 traceback（traceback），自主诊断问题并重写失败步骤，形成自校正闭环。
 * **结果验证与输出**：任务完成后，智能体输出最终生成的文件（如 3D 模型、工程图纸），
   并通过连续几何奖励机制（Chamfer Distance）验证几何保真度。
 * **跨应用工作流编排**：利用 COM 统一接口，串联多个专业软件完成复杂管道任务（如
   在 CAD 中建模 → 导出 → 在 Excel 中生成 BOM 表）。

## ComAct的官网地址

 * **项目官网**：https://knowledgexlab.github.io/ComAct/
 * **GitHub仓库**：https://github.com/KnowledgeXLab/ComAct
 * **arViv技术论文**：https://arxiv.org/pdf/2606.13239

## ComAct的核心优势

 * **确定性程序合成替代脆弱视觉控制**：将专业软件交互从依赖像素定位的顺序性 GUI 
   操作转变为生成单一确定性 COM 脚本，从根本上消除长程错误累积，避免传统 GUI-based
   智能体”一步错、步步错”的级联失效。
 * **统一可执行抽象跨越异构接口**：利用 Windows COM 作为统一的语义化编程接口，整合
   SolidWorks、AutoCAD、Inventor、Microsoft Office 等多种专业软件的异构协议，天然
   支持跨应用复杂工作流编排。
 * **破解闭源软件工具匮乏难题**：COM 接口在语义对象层面暴露应用程序内部功能，即使
   面对源代码不公开的商业软件，也能提供高保真的本地 API 级访问能力，突破 API-based
   方法受限于不可访问商业接口的瓶颈。
 * **长程任务鲁棒性显著领先**：在长程多任务管道中保持 **80% 以上的端到端成功率**，
   而传统 GUI-based 基线模型在 ComCADBench 上任务成功率接近 **0%**，展现出极强的
   长程规划与执行韧性。
 * **自校正与迭代调试能力**：通过 Agentic SFT 训练，智能体具备”生成-执行-读取 traceback-
   诊断-重写”的闭环能力，能够从 COM 脚本执行失败中自主恢复，无需人工干预。
 * **直接优化几何保真度**：第三阶段 GRPO 强化学习引入基于 Chamfer Distance 的连续
   几何奖励，直接优化任务级几何精度，弥合”语法正确但几何不符”的执行差距。

## ComAct的应用场景

 * **工业 CAD 自动化设计**：在 SolidWorks、AutoCAD、Inventor 等真实工业 CAD 软件
   中，将自然语言需求自动转换为 COM 脚本执行，覆盖 3D 建模、2D 草图、装配体设计、
   工程图生成、质量属性分析、干涉检测等全流程工程活动。
 * **长程多任务管道编排**：串联复杂设计管道任务，例如从概念建模 → 详细零件设计 →
   装配验证 → 工程图输出 → BOM 表生成，通过单一确定性脚本替代数百个易出错的顺序 
   GUI 操作，保持端到端高成功率。
 * **跨应用协同工作流**：用 COM 统一接口整合 Microsoft Office（Excel、Word）、Adobe
   套件与工业 CAD 软件，实现如”CAD 模型变更后自动更新 Excel 物料清单并生成 Word 
   技术报告”的跨应用自动化。
 * **设计验证与质量检测**：自动执行干涉检测、几何尺寸验证、质量属性计算等分析任务，
   通过连续几何奖励机制确保输出结果的几何保真度，辅助工程师快速排查设计冲突。
 * **参数化批量建模**：根据输入参数批量生成或修改标准化零件/装配体，适用于需要大量
   重复性建模任务的场景（如标准件库生成、系列产品变型设计），显著提升设计效率。