# Cradle – 通用计算机控制的多模态AI Agent框架

- Link: https://paooo.com/aigc-news/27433/
- Published: 2026-07-09T19:17:00+08:00
- Author: Prompt 语宙研究院

⚡ [Prompt](https://paooo.com/ai-image-prompts/) 语宙 AI 导读 · 30 秒核心看点

 * 无需内部 API、无需额外训练，Cradle 可直接用键盘鼠标控制任意开闭源软件。
 * 框架集成多模态感知、自我反思、任务推断、技能策划与动作规划，形成完整闭环。
 * 已开源论文、代码与项目，适合桌面自动化、网页交互、游戏控制等场景。

## Cradle是什么

Cradle是面向通用计算机控制（General Computer Control, GCC）的多模态AI [Agent](https://paooo.com/trends/)
框架，由昆仑万维携手北京智源人工智能研究院、新加坡南洋理工大学、北京大学等顶尖名校
机构推出的通用计算机控制框架，使AI Agent无需训练便能像人一样直接控制键盘鼠标，不
依赖任何内部API，实现任意开闭源软件交互。 Cradle是迄今为止第一个既能玩多种商业游戏
又能操作各种软件应用的AI框架，其论文、项目、代码均已开源。

![Cradle](https://paooo.com/wp-content/uploads/2026/07/Cradle-website-1.avif)

## Cradle的主要功能

 * **信息收集**：从屏幕图像和可能的声音中提取多模态信息，用于决策制定。
 * **自我反思**：评估先前行动的成功与否，并分析失败原因，以指导后续行动。
 * **任务推断**：根据当前环境和历史信息，推断并选择最佳的下一个任务。
 * **技能策划**：生成和更新与给定任务相关的技能，以适应不同的计算机操作需求。
 * **动作规划**：为键盘和鼠标控制生成具体操作，将策略转化为可执行的命令。

## Cradle的技术原理

 * **多模态输入处理**：Cradle能接收并处理屏幕图像和音频的多模态输入，模拟人类感知
   方式理解计算机界面和环境。
 * **信息提取与理解**：用大型多模态模型（如GPT-4V）来识别图像中的视觉元素、文本信息
   和音频中的指令或反馈。
 * **自我反思机制**：通过反思模块，Cradle评估之前执行动作是否成功，并分析失败原因，
   为调整策略提供依据。
 * **任务推断与规划**：Cradle通过任务推断模块确定当前的优先任务，并在动作规划模块
   中制定出新动作完成任务。
 * **技能生成与更新**：技能策划模块负责根据当前任务生成新的技能或更新现有技能，技能
   以代码函数的形式存在，可以被实例化并执行。
 * **记忆与知识管理**：Cradle拥有长期和短期记忆系统，存储过去的经验和技能，在需要
   时进行检索和应用。

![Cradle](https://paooo.com/wp-content/uploads/2026/07/Cradle-website01.avif)

## Cradle的项目地址

 * **GitHub****仓库**：[https://github.com/BAAI-Agents/Cradle](https://github.com/BAAI-Agents/Cradle)
 * **arXiv****技术论文**：[https://arxiv.org/pdf/2403.03186](https://arxiv.org/pdf/2403.03186)

## Cradle的应用场景

 * **桌面软件自动化**：自动化执行桌面软件中的重复性任务，如文档编辑、表格处理、图像
   编辑等。
 * **网页内容交互**：模拟用户与网页的交互，包括填写表单、点击按钮、导航链接等。
 * **游戏环境**：在游戏环境中，如Red Dead Redemption II，Cradle可控制游戏角色执行
   任务、探索环境、战斗等。
 * **专业软件操作**：在需要专业技能的软件中，如图形设计或视频编辑软件，Cradle可学习
   并执行特定的创作任务。
 * **日常计算机任务**：执行日常计算机使用中的任务，比如文件管理、电子邮件处理、日程
   安排等。

🧭 文中关联 [AI 工具](https://ai.paooo.com/)官网与参数卡（语宙 AI 导航）

**北京智源人工智能研究院 ↗**

北京智源人工智能研究院：系统型创新驱动的研究院，面向AI 综合应用场景提供便捷实用的
在线功能支持。

❓ 常见问题解答（FAQ）

Cradle是什么类型的AI框架？

Cradle 是面向通用计算机控制（GCC）的多模态 AI Agent 框架，核心能力是让 AI 无需依赖
内部 API，直接通过键盘和鼠标操作软件与游戏，实现通用交互控制。

Cradle需要训练后才能使用吗？

不需要。根据文章描述，Cradle 的特点之一就是无需训练即可直接控制计算机界面，通过多
模态输入、任务推断和动作规划完成操作。

Cradle适合哪些实际应用场景？

Cradle 可用于桌面软件自动化、网页内容交互、游戏控制、专业软件操作以及日常计算机任务，
如文件管理、邮件处理和日程安排等。

🔬 语宙深潜追问 · 进阶实操拆解

Cradle最适合从哪些任务开始试点？

优先从重复、低风险、规则明确的桌面任务试点，比如表单录入、批量下载、网页巡检和固定
软件操作。先限定权限、窗口范围和可回滚动作，再逐步扩展到更复杂的跨应用流程。

如何降低通用电脑控制的误操作风险？

要给 Agent 加权限隔离、动作白名单、关键步骤确认和屏幕状态校验。对删除、支付、提交、
发送这类不可逆操作，必须引入人工确认或双重校验，否则很容易把自动化变成事故源。

🗳️ 读者观点微投票 · 您的实战立场是？

无需训练就能操控电脑，Agent 真能替人干活吗？

🕸️ 语宙向量知识图谱 · 语义强关联深度内链

[🤖 所属权威专题：AI Agent 智能体工作流 →](https://paooo.com/topics/ai-agents/)

 * [Agent-S – 基于图形用户界面实现人机交互自动化的代理框架](https://paooo.com/aigc-news/26311/)
 * [Agent Zero：开源AI智能体框架，让AI助手像人一样学习成长与协作](https://paooo.com/aigc-news/14519/)
 * [EvoAgentX – 开源的AI Agent自动化生成与优化框架](https://paooo.com/aigc-news/18767/)
 * [A3 Lab发布GenericAgent：仅3300行代码打造100%任务完成、Token消耗降低85%的自进化AI智能体](https://paooo.com/aigc-news/10691/)

[🏛️ Prompt 语宙研究院](https://paooo.com/author/paooo-research/) · Prompt 语宙研究院（
paooo.com Research）专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示
词工程（Prompt Engineering）与全球高增长 AI 生产力工具实测追踪，致力于为中文开发
者与创作者提供一手、可复现的深度技术洞察。

[📄 Markdown 纯净版](https://paooo.com/aigc-news/27433/?format=md)

💡 这篇内容对您有启发吗？

[📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/)

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)