# 港大重磅开源CLI-Anything：一键将GIMP、Blender等软件代码库转为AI Agent原生工具，彻底告别脆弱GUI自动化

- Link: https://paooo.com/aigc-news/11304/
- Published: 2026-06-10T06:42:22+08:00
- Author: Prompt 语宙研究院

⚡ [Prompt](https://paooo.com/ai-image-prompts/) 语宙 AI 导读 · 30 秒核心看点

 * 一键把开源软件“编译”为[Agent](https://paooo.com/trends/)可调用的CLI，替代易失效
   的截图识别+模拟点击。
 * 支持GIMP、Blender、LibreOffice等真实软件接入，并提供JSON输出、REPL等Agent友好
   能力。
 * 项目在9款专业软件上完成1436个测试用例，验证了生产级稳定性与可落地性。

> **💡 站外导读：**当前AI Agent自动化仍深陷“截图识别+模拟点击”的GUI困境：界面元素
> 稍有变动便导致任务失败，脆弱不堪。与此同时，专业软件功能强大却“人机绑定”，难以
> 被Agent原生调用。香港大学HKUDS实验室开源的CLI-Anything，正直击这一核心痛点，它
> 能一键将任意开源软件代码库转化为结构化、可编程的命令行接口，让GIMP、Blender等专业
> 工具瞬间“Agent化”，开辟软件自动化新路径。

## CLI-Anything是什么

CLI-Anything 是香港大学数据科学实验室（HKUDS）开源的工具，能将任意开源软件的代码
库一键转化为 AI Agent 可用的命令行接口（CLI）。工具通过 7 阶段自动化流程（分析、
设计、实现、测试等），让 GIMP、Blender、LibreOffice 等专业软件摆脱脆弱的 GUI 自动
化，变为稳定、结构化、可编程的 Agent 原生工具，实现”今天的软件为人而生，明天的用户
是 Agent”的愿景。

阅读目录

 * [CLI-Anything是什么](https://paooo.com/aigc-news/11304/#clianything%e6%98%af%e4%bb%80%e4%b9%88)
 * [CLI-Anything的主要功能](https://paooo.com/aigc-news/11304/#clianything%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd)
 * [CLI-Anything的技术原理](https://paooo.com/aigc-news/11304/#clianything%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86)
 * [CLI-Anything的项目地址](https://paooo.com/aigc-news/11304/#clianything%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80)
 * [CLI-Anything的应用场景](https://paooo.com/aigc-news/11304/#clianything%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af)
       * [📝 站长洞察 (Editor’s Insight)](https://paooo.com/aigc-news/11304/#%f0%9f%93%9d-%e7%ab%99%e9%95%bf%e6%b4%9e%e5%af%9f-editor8217s-insight)

![CLI-Anything](https://paooo.com/wp-content/uploads/2026/05/CLI-Anything-website-
1-1.avif)

## CLI-Anything的主要功能

 * **一键生成 CLI**：通过单条命令自动完成从源码分析到发布的 7 阶段全流程，将任意
   开源软件转化为 Agent 可用的命令行工具。
 * **真实软件集成**：直接操作现有专业软件（如 GIMP、Blender、LibreOffice），调用
   真实应用程序处理项目文件。
 * **告别 GUI 自动化**：摒弃截图识别和模拟点击的脆弱方案，采用纯命令行交互，消除
   UI 元素变动导致的失效风险。
 * **结构化输出**：支持 REPL 交互模式和脚本子命令双模式，内置 `--json` 标志输出结构
   化数据，便于 Agent 直接消费解析。
 * **生产级测试保障**：在 9 个专业软件上完成 1436 个测试用例验证，包含单元测试、
   E2E 测试及真实软件调用，确保 100% 通过率。

## CLI-Anything的技术原理

 * **源码静态分析与 GUI 映射**：通过扫描目标软件的源代码，识别图形界面中的操作逻辑、
   事件处理和 API 调用，将人类点击、拖拽等 GUI 操作映射为可编程的函数接口。
 * **架构设计与状态建模**：基于分析结果设计命令组结构，构建状态模型管理软件运行时
   的上下文（如当前项目、选中对象、编辑历史），定义统一的输入输出格式规范。
 * **CLI 框架自动生成**：用代码生成技术，基于 Click 等 Python CLI 框架自动构建命令
   行接口，包含 REPL 交互环境、JSON 序列化输出、撤销/重做机制等 Agent 友好特性。
 * **真实软件调用封装**：生成的 CLI 不重新实现功能，通过调用软件原生 API、脚本接口
   或无头模式（headless）直接驱动真实应用程序，确保功能完整性和兼容性。
 * **测试驱动验证**：支持自动生成并执行单元测试和端到端测试，验证生成的 CLI 与目标
   软件各版本的行为一致性，确保生产环境可靠性。

## CLI-Anything的项目地址

 * **GitHub仓库**：https://github.com/HKUDS/CLI-Anything

## CLI-Anything的应用场景

 * **多媒体内容创作**：让 AI Agent 直接调用 Blender 进行 3D 建模渲染、使用 GIMP 
   处理图像、通过 Audacity 编辑音频，实现自动化内容生产流水线。
 * **文档自动化处理**：驱动 LibreOffice 批量生成报告、转换格式、填充数据，替代传统
   模板引擎完成复杂版式文档的智能化生成。
 * **视频后期制作**：控制 OBS、Kdenlive、Shotcut 等专业工具，实现自动剪辑、特效添加、
   多轨道合成与批量导出，大幅提升视频生产效率。
 * **设计工作流集成**：将 Inkscape、Krita 等设计软件接入 Agent 系统，完成矢量图生成、
   批量素材处理、品牌视觉规范自动化执行。
 * **科研与工程计算**：扩展至 CAD、EDA、科学计算工具领域，让 Agent 直接操作专业软件
   完成仿真分析、电路设计、数据可视化等复杂任务。

#### 📝 站长洞察 (Editor’s Insight)

CLI-Anything的发布，标志着AI Agent与软件交互范式正经历根本性跃迁。它超越了单纯的
API封装，通过深度源码分析与自动化工程，将人类GUI操作“编译”为Agent原生理解的CLI语言。
这不仅是技术突破，更是对“软件为谁而设计”命题的深刻回答——未来软件的“用户”将是Agent。
其7阶段流程与生产级测试保障，解决了从实验室到产业落地的关键可靠性瓶颈。该项目预示
着一个新趋势：所有专业软件都将标配“Agent接口层”，如同今天的数据库拥有SQL。这是构
建下一代自主Agent系统的基础设施级创新，为[AIGC](https://paooo.com/aigc-news/)、自动
化办公、科研计算等领域打开了真正的规模化、工程化应用大门。

❓ 常见问题解答（FAQ）

CLI-Anything能把哪些软件转成CLI？

文章提到它可将任意开源软件代码库转为AI Agent可用的命令行接口，示例包括GIMP、Blender、
LibreOffice、Audacity、OBS、Kdenlive、Shotcut、Inkscape、Krita等专业软件。

CLI-Anything为什么比GUI自动化更稳定？

因为它不依赖截图识别和模拟点击，而是通过源码分析、API/脚本接口或无头模式直接驱动
真实软件，避免UI元素变化导致的任务失败，更适合Agent稳定调用。

CLI-Anything的测试结果说明了什么？

文章称该项目在9个专业软件上完成1436个测试用例，包含单元测试、E2E测试和真实软件调
用，且达到100%通过率，说明其生成的CLI具备较强可靠性。

🔬 语宙深潜追问 · 进阶实操拆解

CLI-Anything为何比GUI自动化更可靠？

因为CLI直接操作软件原生接口，少了坐标漂移、窗口遮挡和渲染差异等不稳定因素。它把“
看屏幕点按钮”变成“调用确定性命令”，更适合批量执行、回归测试和长链路任务。

如何把现有软件改造成Agent原生工具？

先梳理高频任务，把界面操作映射成可组合命令，再补齐参数校验、错误码和帮助文档。最后
用测试集覆盖关键工作流，确保Agent调用时能获得稳定反馈，而不是依赖脆弱的视觉识别。

🗳️ 读者观点微投票 · 您的实战立场是？

把GUI软件改成[AI工具](https://ai.paooo.com/)，真能彻底替代自动化吗？

🕸️ 语宙向量知识图谱 · 语义强关联深度内链

[🤖 所属权威专题：AI Agent 智能体工作流 →](https://paooo.com/topics/ai-agents/)

 * [港大开源 Nanobot：仅4000行代码打造全能AI助手，43万行代码实现99%生产力](https://paooo.com/aigc-news/11717/)
 * [港大OpenHarness开源：仅1.1万行代码复刻98% Claude Code功能，轻量级AI Agent框架新标杆](https://paooo.com/aigc-news/10908/)
 * [AutoAgent – 港大推出的 AI 智能体框架，零代码创建智能助手](https://paooo.com/aigc-news/20585/)
 * [OpenAI Agent Kit：AI智能体开发神器！一键构建生产级Agent，可视化拖拽+多工具集成](https://paooo.com/aigc-news/13253/)

[🏛️ Prompt 语宙研究院](https://paooo.com/author/paooo-research/) · Prompt 语宙研究院（
paooo.com Research）专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示
词工程（Prompt Engineering）与全球高增长 AI 生产力工具实测追踪，致力于为中文开发
者与创作者提供一手、可复现的深度技术洞察。

[📄 Markdown 纯净版](https://paooo.com/aigc-news/11304/?format=md)

💡 这篇内容对您有启发吗？

[📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/)

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)
