# 构建全球通用机器人大脑的宏伟项目 [译]

- Link: https://paooo.com/ai-study/8565/
- Published: 2024-09-25T12:16:32+08:00
- Author: 宝玉的分享

⚡ [Prompt](https://paooo.com/ai-image-prompts/) 语宙 AI 导读 · 30 秒核心看点

 * 34 个实验室共建 RT-X，汇聚近百万次真实机器人交互，覆盖 22 种机器人与约 500 种
   技能。
 * 统一模型无需为跨类型控制专门设计特性，仅凭相机观察即可识别机器人类型并输出对应
   动作。
 * 在五个实验室的对比测试中，RT-X 控制器平均成功率高出约 50%，显示出更强鲁棒性。

##  34 个实验室携手共同解决机器人学习难题

![来自世界各地的机器人，例如谷歌的这台机器人，正共享操作物体的数据，助力实现一个
通用的机器人大脑梦想。开放式 X-实体协作](https://paooo.com/wp-content/uploads/2024/
09/a-silver-robot-with-one-arm-lifts-a-dinosaur-from-a-table-full-of-a-clutter-of-
random-objects.jpg)

来自世界各地的机器人，例如谷歌的这台机器人，正共享操作物体的数据，助力实现一个通用
的机器人大脑梦想。开放式 X-实体协作

阅读目录

 * [34 个实验室携手共同解决机器人学习难题](https://paooo.com/ai-study/8565/#34-%e4%b8%aa%e5%ae%9e%e9%aa%8c%e5%ae%a4%e6%90%ba%e6%89%8b%e5%85%b1%e5%90%8c%e8%a7%a3%e5%86%b3%e6%9c%ba%e5%99%a8%e4%ba%ba%e5%ad%a6%e4%b9%a0%e9%9a%be%e9%a2%98)
 * [如何打造一个全能型机器人](https://paooo.com/ai-study/8565/#%e5%a6%82%e4%bd%95%e6%89%93%e9%80%a0%e4%b8%80%e4%b8%aa%e5%85%a8%e8%83%bd%e5%9e%8b%e6%9c%ba%e5%99%a8%e4%ba%ba)
 * [打造能进行推理的机器人](https://paooo.com/ai-study/8565/#%e6%89%93%e9%80%a0%e8%83%bd%e8%bf%9b%e8%a1%8c%e6%8e%a8%e7%90%86%e7%9a%84%e6%9c%ba%e5%99%a8%e4%ba%ba)
 * [RT-X 的未来步伐](https://paooo.com/ai-study/8565/#rtx-%e7%9a%84%e6%9c%aa%e6%9d%a5%e6%ad%a5%e4%bc%90)

**生成式 AI 革命** 的显著成果体现在 ChatGPT、[Midjourney](https://paooo.com/tag/midjourney/)
等工具上。这一革命的核心，是基于这样一个简单的思路：使用一个庞大的神经网络，用互
联网上海量的数据进行训练，然后用它来响应广泛的用户需求。大型语言模型（LLM）可以回答
问题、编写代码、创作诗歌，而图像生成系统则能够创造出逼真的洞穴壁画或当代艺术作品。

那么，为什么这些令人惊叹的 AI 技术还没有转化为像科幻小说中那样有用且广泛应用的机器
人？为什么还没有能够整理桌面、折叠衣服、做早餐的机器人呢？

遗憾的是，成功的生成式 AI 模式——即使用海量互联网数据训练的大型模型——并不容易应用
到机器人学领域。互联网上的数据并不像文本和图像那样充满了机器人交互信息。机器人需要
基于机器人数据来学习，而这些数据通常是实验室研究人员针对特定任务缓慢且费力地创造
的。尽管机器人学习算法取得了巨大进步，但在缺乏充足数据的情况下，我们仍无法让机器
人在实验室之外执行真实世界的任务（比如制作早餐）。目前最引人注目的成果，通常只限于
在单个实验室、单一机器人上实现，且仅涉及几种行为。

如果每台机器人的能力都受限于手动教授它执行新任务所需的时间和努力，那么如果我们能
将多个机器人的经验汇集在一起，让新机器人能够同时从所有机器人那里学习，会怎样呢？
我们决定尝试这种方法。2023 年，我们在谷歌和加州大学伯克利分校的实验室联手北美、欧洲
和亚洲的其他 32 个机器人学实验室共同启动了RT-X 项目，目标是汇集数据、资源和代码，
努力实现通用机器人的梦想。

这是我们从这项努力的第一阶段中学到的经验。

##  如何打造一个全能型机器人

相比之下，人类在这类学习上要更加擅长。我们的大脑只需少量练习，就能适应身体结构的
变化，比如当我们使用工具、骑自行车或开车时。换句话说，虽然我们的身体结构发生变化，
但大脑能迅速适应。RT-X 正在努力在机器人领域实现类似的目标：使得一个深度学习网络能够
控制多种不同的机器人类型，这一能力被称为跨类型控制。关键问题是，一个接受了大量不同
机器人数据训练的深度学习网络是否能够掌握“操作”所有这些机器人的技能，哪怕这些机器
人在外观、物理特性和能力上有很大差异。如果可行，这种方法可能会大幅提升机器人学习
领域对大数据的利用。

RT-X 项目的规模宏大，这是出于必要。该项目的数据集目前已包含近百万次的机器人测试，
涵盖了 22 种类型的机器人，包括市场上一些最常用的机械臂。这些机器人能够执行包括拾取
放置物体、组装及专门任务如电缆布线在内的多种行为。总共大约有 500 种不同的技能和成千上万
种不同物体的交互。这是迄今为止最大的开源真实机器人行为数据集。

出乎意料的是，我们发现可以用相对简单的机器学习方法来处理这些多机器人数据，前提是
我们使用了大型的神经网络模型和大规模的数据集。借鉴目前大型语言模型（例如 [ChatGPT](https://paooo.com/tag/chatgpt/)）
所用的类似模型，我们成功训练出了一种机器人控制算法，这种算法不需要为实现跨类型控制
而特别设计任何特性。就像人类可以用同一颗大脑驾驶汽车或骑自行车一样，一个在 RT-X 
数据集上训练过的模型，能够简单地通过机器人自身相机的观察来识别它正在控制的机器人
类型。比如，当模型通过相机看到一个 UR10 工业臂时，它会发送适合 UR10 的指令；而当
看到一个成本较低的 WidowX 爱好者臂时，则会做出相应的操作。

为了验证我们模型的能力，参与 RT-X 项目合作的五个实验室各自使用我们的模型，与他们
为各自机器人独立开发的最佳控制系统进行了对比测试。每个实验室的测试涉及其研究中使用
的任务，例如拾取和移动物品、开门以及通过夹子布线等。令人称奇的是，这个统一的模型
在各项任务上的表现都超过了各实验室自行开发的最佳方法，平均成功率高出约 50%。

尽管这个结果可能令人惊讶，但我们发现，RT-X 控制器可以利用其他机器人在不同环境下的
丰富经验，来提高在各种设置中的鲁棒性。即使在同一个实验室内，每次机器人执行任务时，
都会遇到略有不同的情况，因此借鉴其他机器人在不同情况下的经验，有助于 RT-X 控制器
应对自然变化和边缘情况。以下是这些任务范围的几个示例：

![构建全球通用机器人大脑的宏伟项目 [译] - 配图 2](https://spectrum.ieee.org/media-
library/image.gif?id=51012338&width=878&quality=85)

![构建全球通用机器人大脑的宏伟项目 [译] - 配图 3](https://spectrum.ieee.org/media-
library/image.gif?id=51012379&width=878&quality=85)

![构建全球通用机器人大脑的宏伟项目 [译]](https://paooo.com/wp-content/uploads/2024/
09/image.gif)

##  打造能进行推理的机器人

受到我们成功整合多种机器人类型数据的启发，我们进一步探索了如何把这些数据融入到具备
更深层次推理能力的系统中。仅凭机器人数据来学习复杂的语义推理是非常困难的。尽管机器
人数据能展现一系列_物理_能力，但更复杂的任务，比如“把苹果从罐子和橙子之间移开”，
还需要理解图像中物体间的语义联系、基本常识，以及其他与机器人物理能力无直接关联的
象征性知识。

因此，我们决定加入另一个庞大的数据源：互联网规模的图像和文本数据。我们使用了一种
已经擅长理解自然语言与图像之间联系的任务的大型视觉语言模型。这种模型与 ChatGPT 或
Bard等公众可用的模型相似。这些模型被训练用来对包含图像的提示做出文本回应，以解决
视觉问答、图像标注等开放式视觉理解任务。我们发现，只需将这些模型训练为对机器人指令（
如“把香蕉放在盘子上”）作出机器人动作的回应，就能轻松将它们适配到机器人控制中。我们
将这种方法应用在了 RT-X 合作项目中的机器人数据上。

![右侧展示了机器人任务和地图的插图。](https://paooo.com/wp-content/uploads/2024/
09/an-illustration-of-a-map-and-robot-tasks-shown-on-the-right.webp)

右侧展示了机器人任务和地图的插图。

RT-X 模型利用特定机器人手臂执行不同任务的图像或文本描述，产生一系列具体动作，使任何
机器人手臂都能够执行这些任务。我们收集了来自世界各地机器人实验室的众多机器人执行
的各种任务数据，构建了一个开源数据集，目的是训练机器人执行通用而有用的任务。CHRIS
PHILPOT

为了评估互联网获取的智能与多机器人数据的结合效果，我们使用谷歌的移动操纵机器人对
RT-X 模型进行了测试。我们对其进行了最具挑战性的泛化基准测试。机器人不仅要识别物体
并成功操控它们，还要能够理解复杂的文本命令，并通过逻辑推断来响应，这要求综合文本
和图像中的信息。这种综合能力是人类成为出色的通用解决者的关键之一。我们是否能赋予
机器人至少一些这样的能力？

我们进行了两轮评估。首先，我们使用了一个基准模型，排除了所有不涉及谷歌机器人的泛
化多机器人 RT-X 数据。谷歌机器人专用的数据集实际上是 RT-X 数据集中最大的部分，包含
超过 100,000 个演示。因此，这些其他多机器人数据是否真的有助于本案例还是一个未知数。
随后，我们包含所有这些多机器人数据再次进行了测试。

在最具挑战性的评估场景之一中，谷歌机器人需要完成一个涉及空间关系推理的任务（“把苹果
移动到罐头和橙子之间”）；在另一个任务中，它需要解决基本的数学问题（“把一个物体放在
写有‘2+3’答案的纸上”）。这些挑战旨在测试机器人的推理能力和得出结论的关键技能。

在这个案例中，推理能力（比如理解“在……之间”和“在……上方”这样的概念）来源于视觉 – 语言
模型训练时包含的大规模网络数据。而使得这些推理成果能够在机器人行为上得到应用——也就是
发出正确的指令，驱动机器人手臂移动到指定方向——的能力，则是通过在 RT-X 的多机器人
数据上训练得来的。例如，在下面的视频中，我们让机器人完成了一个它训练数据中没有包含
的任务。

即便没有接受过特定训练，这个谷歌研究机器人也能根据指令“把苹果移动到罐子和橙子之间”。
这种能力是由 RT-X 提供的，这是一个庞大的机器人操控数据集，也是通向通用机器人大脑
的第一步。

尽管这些任务对人类而言非常基础，但对通用机器人来说却是一大挑战。如果没有明确展示“
在……之间”、“靠近”和“在……上方”等概念的机器人演示数据，即使是在众多不同机器人数据上
进行训练的系统也难以理解这些指令的含义。通过整合视觉 – 语言模型中的大规模网络知识，
我们的整体系统能够解决这类问题。它从网络规模的训练中提取出语义概念（本案例中为空间
关系），并从多机器人的 RT-X 数据中学习物理行为（比如拾起和移动物体）。出乎意料的是，
我们发现引入多机器人数据使得谷歌机器人在这类任务上的泛化能力提高了三倍。这一结果
表明，多机器人 RT-X 数据不仅有助于获取各种物理技能，还能更好地将这些技能与视觉 –
语言模型中的语义和符号知识结合起来。这种结合赋予了机器人一定程度的常识，未来可能
使机器人能够理解像“给我拿早餐”这样复杂而微妙的用户指令，并执行相应的行动。

##  RT-X 的未来步伐

RT-X 项目向我们展示了机器人学习社区齐心协力的巨大潜力。通过这种跨机构合作，我们成功
构建了一个包含多样化机器人数据的数据集，并在多个机器人上进行了全面评估——这是任何
单独机构所无法实现的。鉴于机器人学社区无法仅靠网络数据进行训练，我们必须自行创造
训练数据。我们期待更多研究者能够向 RT-X 数据库 贡献他们的数据，并加入这一合作行列。
我们还计划提供工具、模型和基础设施，支持跨不同载体的研究。我们的目标不仅仅是实现
实验室间数据的共享，更希望 RT-X 能成为推动数据标准、可复用模型以及新技术和算法发展
的协作平台。

我们早期的成果预示着大型跨载体机器人模型将如何革新这一领域。正如大语言模型精通各种
基于语言的任务，未来我们或许可以用一个统一的基础模型来处理多种现实世界中的机器人
任务。可能通过微调或直接对一个预训练的基础模型进行指令输入，就能实现新的机器人技能。
就像你可以直接让 ChatGPT 讲故事而不需要先对其进行特定故事的训练，类似地，你可以让
一个机器人在蛋糕上写“生日快乐”，而无需先教它如何使用裱花袋或手写文字的样式。当然，
为了让这些模型拥有更广泛的通用能力，我们还需要做更多的研究。目前我们的实验主要集中
在单臂、两指夹持器进行的简单操控任务上。

随着更多实验室投身于跨载体研究，我们希望推动单一神经网络控制多种机器人的边界。这些
进步可能包括利用来自虚拟环境的多样化模拟数据、处理具有不同手臂或手指数量的机器人、
使用各种传感器（如深度相机和触觉感应器）以及整合操控和移动行为。RT-X 已经为这些工作
铺平了道路，但最激动人心的技术进展还在前方等待着我们。

这只是开始。我们希望通过这一步，共同开启机器人学的新未来：在这个未来里，通用的机器
人大脑能够驱动任何机器人，从全球所有机器人共享的数据中受益。这样，我们将一同塑造
一个机器人技术的新纪元，其中高度通用的机器人大脑能为世界各地的各种机器人提供智能
支持。

🧭 文中关联 [AI 工具](https://ai.paooo.com/)官网与参数卡（语宙 AI 导航）

**Midjourney ↗**

目前地表最强的 AI 图像生成引擎，基于 Discord 频道运作，擅长极具艺术感的视觉重构。

**ChatGPT ↗**

OpenAI 研发的通用人工智能对话大模型，支持多模态交互与深度推理。

❓ 常见问题解答（FAQ）

RT-X 项目到底解决了什么问题？

RT-X 主要解决机器人学习数据稀缺、难以跨机器人复用的问题。它把多个实验室的真实机器
人数据汇集起来，让一个模型学会控制不同类型的机器人，而不是只会单一实验室、单一机械
臂的任务。

RT-X 为什么能提升机器人控制效果？

因为它使用了大规模、多机器人、多环境的真实数据训练统一控制器。模型能从其他机器人
和场景中借鉴经验，因此在面对环境变化、边缘情况时更鲁棒，测试中平均成功率还高于各
实验室最佳方法约 50%。

RT-X 和大语言模型有什么相似之处？

相似点在于都依赖“大模型+大数据”的思路。RT-X 借鉴 LLM 的训练方式，用大型神经网络学习
海量机器人数据，并进一步结合视觉语言模型，把图像和文本知识引入机器人控制，增强语
义理解能力。

🔬 语宙深潜追问 · 进阶实操拆解

多实验室机器人数据怎么统一训练？

关键是先统一动作空间、观测格式和任务标注，再做跨机器人映射与数据清洗。实操上要处理
不同机械臂自由度、相机视角和控制频率差异，否则模型学到的是实验室偏差而不是通用能力。

通用机器人模型落地最先卡在哪？

通常卡在数据分布、硬件差异和安全约束三处。要先选高频、低风险任务做闭环验证，再逐步
扩展到更复杂场景；同时必须保留失败检测、动作限幅和人工接管机制，避免“看起来会做，
实际上不能用”。

🗳️ 读者观点微投票 · 您的实战立场是？

通用机器人大脑真能靠统一模型实现吗？

🕸️ 语宙向量知识图谱 · 语义强关联深度内链

[⚡ 所属权威专题：OpenAI GPT 与 Sora 生态 →](https://paooo.com/topics/openai-gpt-sora/)

 * [推动高级机器人技术的未来发展 [译]](https://paooo.com/ai-study/8507/)
 * [智源研究院开源RoboBrain-X0：全球首个跨本体具身模型，零样本驱动多形态机器人](https://paooo.com/aigc-news/13380/)
 * [蚂蚁灵波科技开源LingBot-VA：首个通用机器人视频-动作世界模型，30次演示学会新技能](https://paooo.com/aigc-news/11479/)
 * [不再只做大模型“大脑”！OpenAI 官网一次性释出 19 个硬件核心岗位：亲自下场造本体，揭秘通用机器人与物理世界工作站研发布局](https://paooo.com/trends/40188/)

[🏛️ 宝玉的分享](https://paooo.com/author/baoyu/) · 前沿大模型翻译与提示词工程实战
分享专栏，聚焦海外一手 AI 技术动态与工程实践。

[📄 Markdown 纯净版](https://paooo.com/ai-study/8565/?format=md)

💡 这篇内容对您有启发吗？

[📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/)

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)
