# RDT – 清华开源的双臂机器人扩散基础模型

- Link: https://paooo.com/aigc-news/24839/
- Published: 2026-07-10T01:48:29+08:00
- Author: Prompt 语宙研究院

## RDT是什么

RDT（Robotics Diffusion Transformer）是清华大学AI研究院TSAIL团队推出的全球最大的
双臂机器人操作任务扩散基础模型。RDT具备十亿参数量，能在无需人类操控的情况下，自主
完成复杂任务，如调酒和遛狗。RDT基于模仿学习人类动作，展现出强大的泛化能力和操作精度，
能处理未见过的物体和场景。清华团队已将RDT的代码、模型和训练数据集开源，推动机器人
技术的发展和应用。

阅读目录

 * [RDT是什么](https://paooo.com/aigc-news/24839/#rdt%e6%98%af%e4%bb%80%e4%b9%88)
 * [RDT的主要功能](https://paooo.com/aigc-news/24839/#rdt%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd)
 * [RDT的技术原理](https://paooo.com/aigc-news/24839/#rdt%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86)
 * [RDT的项目地址](https://paooo.com/aigc-news/24839/#rdt%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80)
 * [RDT的应用场景](https://paooo.com/aigc-news/24839/#rdt%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af)

![RDT](https://paooo.com/wp-content/uploads/2026/07/RDT-website-1.avif)

## RDT的主要功能

 * **双臂协调操作**：指挥机器人的双臂协同工作，完成复杂的物理任务，例如调酒和遛狗。
 * **自主任务执行**：无需人类直接操控，自主完成之前未见过的全新任务。
 * **高精确度操作**：RDT能进行精确的操作，如控制机器狗走直线，需要极高的操作精度。
 * **语言指令理解**：理解并遵循人类的自然语言指令，执行相应的动作。
 * **少样本学习**：RDT具有强大的学习能力，只需少量演示能学会新技能。

## RDT的技术原理

 * **多模态输入编码**：RDT结合语言、视觉和动作三种模态，基于不同的编码方式处理输入。
    - **动作编码**：具有傅里叶特征的多层感知机（MLP）。
    - **图片编码**：基于经过对齐的SigLIP。
    - **语言编码**：使用T5-XXL语言模型。
 * **Transformer骨干网络**：RDT采用Transformer作为骨干网络，针对机器人操作进行关键
   修改。
    - **QKNorm和RMSNorm**：缓解传感器失灵导致的极端值问题。
    - **非线性MLP解码器**：增强对非线性动力学的近似能力。
    - **交替注入**：平衡图像和文本模态，防止信息淹没。
 * **预训练与微调**：RDT在大规模的具身数据集上进行预训练，获得泛化性，基于高质量
   的双臂微调数据集进行微调，增强双臂操作能力。
 * **统一动作空间**：构建统一的动作空间统一不同机器人数据的格式，让模型从不同数据
   中学习共享的物理规律。
 * **泛化性和操作精度测试**：设计挑战性任务，评估RDT的泛化能力和操作精度，确保在
   实际应用中的有效性。

## RDT的项目地址

 * **项目官网**：[rdt-robotics.github.io/rdt-robotics](https://rdt-robotics.github.io/rdt-robotics/?utm_source=ai-bot.cn)
 * **GitHub仓库**：[https://github.com/thu-ml/RoboticsDiffusionTransformer](https://github.com/thu-ml/RoboticsDiffusionTransformer)
 * **HuggingFace模型库**：[https://huggingface.co/robotics-diffusion-transformer/rdt-1b](https://huggingface.co/robotics-diffusion-transformer/rdt-1b)
 * **arXiv技术论文**：[https://arxiv.org/pdf/2410.07864](https://arxiv.org/pdf/2410.07864)

## RDT的应用场景

 * **餐饮服务**：用在自动化调酒、烹饪和上菜等任务，提高餐饮服务业的效率和创新性。
 * **家庭助理**：在家庭环境中，执行清洁、整理、洗衣等家务任务，还能照顾宠物，如遛狗。
 * **医疗辅助**：辅助医护人员进行一些常规的护理工作，比如分发药物、搬运医疗设备等。
 * **工业自动化**：在制造业中，用在精密的装配工作、质量检测及物料搬运等任务。
 * **灾难救援**：在灾难现场执行搜索和救援任务，尤其是在人类难以到达或者危险的环境
   中。

[🏛️ Prompt 语宙研究院](https://paooo.com/author/paooo-research/) · Prompt 语宙研究院（
paooo.com Research）专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示
词工程（Prompt Engineering）与全球高增长 AI 生产力工具实测追踪，致力于为中文开发
者与创作者提供一手、可复现的深度技术洞察。

[📄 Markdown 纯净版](https://paooo.com/aigc-news/24839/?format=md)

💡 这篇内容对您有启发吗？

[📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/)

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)