# EMMA – Waymo推出的端到端自动驾驶多模态模型

- Link: https://paooo.com/aigc-news/25957/
- Published: 2026-07-17T07:48:29+08:00
- Author: Prompt 语宙研究院

⚡ [Prompt](https://paooo.com/ai-image-prompts/) 语宙 AI 导读 · 30 秒核心看点

 * 基于Gemini的端到端多模态架构，把驾驶任务统一到语言空间中处理。
 * 可直接输出规划轨迹、3D对象检测和道路图元素，强化复杂场景理解与推理。
 * 论文在nuScenes和Waymo开放数据集上表现先进，但仍受帧数与算力成本限制。

## EMMA是什么

EMMA是Waymo基于Gemini模型推出的端到端自动驾驶多模态模型，能将原始相机传感器数据直接
映射到驾驶特定输出，如规划轨迹、感知对象和道路图元素。EMMA将非传感器输入和输出表示
为自然语言文本，用预训练大型语言模型的世界知识，在统一的语言空间中联合处理多种驾驶
任务。EMMA在nuScenes运动规划和Waymo开放数据集上展现了先进性能，但存在局限性，如处理
图像帧数量有限、缺少精确3D传感方式集成和高计算成本。模型能推动自动驾驶模型架构的
发展，提高自动驾驶系统在复杂场景中的泛化和推理能力。

阅读目录

 * [EMMA是什么](https://paooo.com/aigc-news/25957/#emma%e6%98%af%e4%bb%80%e4%b9%88)
 * [EMMA的主要功能](https://paooo.com/aigc-news/25957/#emma%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd)
 * [EMMA的技术原理](https://paooo.com/aigc-news/25957/#emma%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86)
 * [EMMA的项目地址](https://paooo.com/aigc-news/25957/#emma%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80)
 * [EMMA的应用场景](https://paooo.com/aigc-news/25957/#emma%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af)

![EMMA](https://paooo.com/wp-content/uploads/2026/07/EMMA-website-1.avif)

## EMMA的主要功能

 * **端到端运动规划**：
    - 直接从原始相机传感器数据生成自动驾驶车辆的未来轨迹。
    - 将轨迹转化为车辆特定的控制动作，如加速和转向。
 * **3D对象检测**：用摄像头为主要传感器，检测和识别周围的物体，如车辆、行人和骑行者。
 * **道路图元素识别**：识别和构建道路图，包括车道线、交通标志等关键道路元素。
 * **场景理解**：理解整个场景的上下文，包括临时道路阻塞和其他影响驾驶的情况。
 * **多任务处理**：在统一的语言空间中联合处理多种驾驶任务，用任务特定的提示生成输出。
 * **链式思维推理**：基于链式思维推理提升模型的决策能力和可解释性，让模型在预测未来
   轨迹时能阐述其决策理由。

## EMMA的技术原理

 * **多模态大型语言模型（MLLMs）**：基于预训练的MLLMs，如Gemini，模型在广泛的互联
   网规模数据上训练，拥有丰富的“世界知识”。
 * **自然语言表示**：所有非传感器输入和输出（如导航指令、车辆状态、轨迹和3D位置）
   表示为自然语言文本。
 * **视觉问题回答（VQA）**：将驾驶任务重新构想为VQA问题，基于Gemini的预训练能力，
   保留广泛的世界知识。
 * **自回归模型**：用自回归Gemini模型处理交错的文本和视觉输入，生成文本输出。
 * **端到端训练**：基于端到端训练，直接从传感器数据生成驾驶动作，消除模块间符号化
   接口的需求。

## EMMA的项目地址

 * **arXiv技术论文**：[https://arxiv.org/pdf/2410.23262](https://arxiv.org/pdf/2410.23262)

## EMMA的应用场景

 * **城市和郊区驾驶**：EMMA能处理复杂的城市交通环境及郊区道路条件，提供实时的驾驶
   决策和轨迹规划。
 * **交通拥堵和复杂路口**：在交通拥堵或多路口场景中，EMMA能进行有效的路径规划和决策，
   确保安全高效的导航。
 * **特殊天气和光照条件**：EMMA能适应不同的天气和光照条件，如雨、雾或夜间驾驶，保持
   稳定的驾驶性能。
 * **施工区域和临时道路封闭**：基于场景理解能力，EMMA能识别施工区域和临时道路封闭
   情况，做出相应的驾驶调整。
 * **紧急情况响应**：在遇到紧急情况，如突然出现的障碍物或动物时，EMMA能迅速做出反应，
   采取避让或减速等措施。

🧭 文中关联 [AI 工具](https://ai.paooo.com/)官网与参数卡（语宙 AI 导航）

**Gemini ↗**

Google推出的AI聊天对话机器人Gemini。

❓ 常见问题解答（FAQ）

EMMA是什么自动驾驶模型？

EMMA是Waymo基于Gemini推出的端到端自动驾驶多模态模型。它把相机传感器输入直接映射为
轨迹、感知对象和道路图元素，并用自然语言统一表示多种驾驶任务。

EMMA相比传统自动驾驶方案有什么优势？

EMMA减少了模块间符号化接口依赖，能在统一语言空间里联合处理规划、检测和场景理解等
任务，借助预训练[大模型](https://paooo.com/ai-study/)的世界知识提升复杂场景下的泛
化与推理能力。

EMMA目前有哪些局限性？

文章提到EMMA仍有局限，包括可处理的图像帧数量有限、缺少精确3D传感方式集成，以及高
计算成本。这些因素会影响其落地效率和系统扩展性。

🔬 语宙深潜追问 · 进阶实操拆解

端到端自动驾驶为何还要多模态？

因为单靠轨迹预测不够，系统还要理解车道、目标物和交通语义。多模态能把视觉、地图和
行为线索统一到一个模型里，提升复杂场景下的整体决策一致性。

EMMA这类模型落地瓶颈在哪？

主要卡在时序长度、3D空间建模和算力成本。真实上车时需要更长帧序列、更强的传感器融合
和更严格的安全冗余，因此论文指标好不等于量产可用。

🗳️ 读者观点微投票 · 您的实战立场是？

自动驾驶端到端模型，最该先突破什么？

🕸️ 语宙向量知识图谱 · 语义强关联深度内链

[🔓 所属权威专题：开源大模型与端侧推理 →](https://paooo.com/topics/open-source-llm/)

 * [OpenEMMA – 德克萨斯联合多伦多等大学开源的端到端自动驾驶多模态模型](https://paooo.com/aigc-news/23392/)
 * [EMMA-X – 新加坡科技设计大学推出的具身多模态动作模型](https://paooo.com/aigc-news/24765/)
 * [小米全球首个开源跨领域具身大模型MiMo-Embodied发布：重塑自动驾驶与机器人智能](https://paooo.com/ai-tool/12911/)
 * [MM1.5 – 苹果推出的升级版多模态大模型](https://paooo.com/aigc-news/26347/)

[🏛️ Prompt 语宙研究院](https://paooo.com/author/paooo-research/) · Prompt 语宙研究院（
paooo.com Research）专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示
词工程（Prompt Engineering）与全球高增长 AI 生产力工具实测追踪，致力于为中文开发
者与创作者提供一手、可复现的深度技术洞察。

[📄 Markdown 纯净版](https://paooo.com/aigc-news/25957/?format=md)

💡 这篇内容对您有启发吗？

[📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/)

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)
