---
title: "EMMA – Waymo推出的端到端自动驾驶多模态模型"
url: "https://paooo.com/aigc-news/25957/"
author: "Prompt 语宙研究院"
published_at: "2026-07-17T07:48:29+08:00"
updated_at: "2026-07-17T07:48:29+08:00"
categories: "AIGC 资讯"
tags: "3D与空间智能, AI智能体, Gemini, Llama, 开源大模型"
source: "Prompt 语宙 (https://paooo.com)"
ai_tools_directory: "语宙 AI 导航 (https://ai.paooo.com)"
---

# EMMA – Waymo推出的端到端自动驾驶多模态模型

> 来源：[Prompt 语宙 (paooo.com)](https://paooo.com/aigc-news/25957/) · 作者：Prompt 语宙研究院 · 发布时间：2026-07-17

## AI 30 秒核心看点 (TL;DR)

- 基于Gemini的端到端多模态架构，把驾驶任务统一到语言空间中处理。
- 可直接输出规划轨迹、3D对象检测和道路图元素，强化复杂场景理解与推理。
- 论文在nuScenes和Waymo开放数据集上表现先进，但仍受帧数与算力成本限制。

## EMMA是什么

EMMA是Waymo基于Gemini模型推出的端到端自动驾驶多模态模型，能将原始相机传感器数据直接映射到驾驶特定输出，如规划轨迹、感知对象和道路图元素。EMMA将非传感器输入和输出表示为自然语言文本，用预训练大型语言模型的世界知识，在统一的语言空间中联合处理多种驾驶任务。EMMA在nuScenes运动规划和Waymo开放数据集上展现了先进性能，但存在局限性，如处理图像帧数量有限、缺少精确3D传感方式集成和高计算成本。模型能推动自动驾驶模型架构的发展，提高自动驾驶系统在复杂场景中的泛化和推理能力。

## EMMA的主要功能

- **端到端运动规划**：

直接从原始相机传感器数据生成自动驾驶车辆的未来轨迹。

- 将轨迹转化为车辆特定的控制动作，如加速和转向。

- **3D对象检测**：用摄像头为主要传感器，检测和识别周围的物体，如车辆、行人和骑行者。

- **道路图元素识别**：识别和构建道路图，包括车道线、交通标志等关键道路元素。

- **场景理解**：理解整个场景的上下文，包括临时道路阻塞和其他影响驾驶的情况。

- **多任务处理**：在统一的语言空间中联合处理多种驾驶任务，用任务特定的提示生成输出。

- **链式思维推理**：基于链式思维推理提升模型的决策能力和可解释性，让模型在预测未来轨迹时能阐述其决策理由。

## EMMA的技术原理

- **多模态大型语言模型（MLLMs）**：基于预训练的MLLMs，如Gemini，模型在广泛的互联网规模数据上训练，拥有丰富的“世界知识”。

- **自然语言表示**：所有非传感器输入和输出（如导航指令、车辆状态、轨迹和3D位置）表示为自然语言文本。

- **视觉问题回答（VQA）**：将驾驶任务重新构想为VQA问题，基于Gemini的预训练能力，保留广泛的世界知识。

- **自回归模型**：用自回归Gemini模型处理交错的文本和视觉输入，生成文本输出。

- **端到端训练**：基于端到端训练，直接从传感器数据生成驾驶动作，消除模块间符号化接口的需求。

## EMMA的项目地址

- **arXiv技术论文**：[https://arxiv.org/pdf/2410.23262](https://arxiv.org/pdf/2410.23262)

## EMMA的应用场景

- **城市和郊区驾驶**：EMMA能处理复杂的城市交通环境及郊区道路条件，提供实时的驾驶决策和轨迹规划。

- **交通拥堵和复杂路口**：在交通拥堵或多路口场景中，EMMA能进行有效的路径规划和决策，确保安全高效的导航。

- **特殊天气和光照条件**：EMMA能适应不同的天气和光照条件，如雨、雾或夜间驾驶，保持稳定的驾驶性能。

- **施工区域和临时道路封闭**：基于场景理解能力，EMMA能识别施工区域和临时道路封闭情况，做出相应的驾驶调整。

- **紧急情况响应**：在遇到紧急情况，如突然出现的障碍物或动物时，EMMA能迅速做出反应，采取避让或减速等措施。

## 常见问题解答 (FAQ)

### EMMA是什么自动驾驶模型？
EMMA是Waymo基于Gemini推出的端到端自动驾驶多模态模型。它把相机传感器输入直接映射为轨迹、感知对象和道路图元素，并用自然语言统一表示多种驾驶任务。

### EMMA相比传统自动驾驶方案有什么优势？
EMMA减少了模块间符号化接口依赖，能在统一语言空间里联合处理规划、检测和场景理解等任务，借助预训练大模型的世界知识提升复杂场景下的泛化与推理能力。

### EMMA目前有哪些局限性？
文章提到EMMA仍有局限，包括可处理的图像帧数量有限、缺少精确3D传感方式集成，以及高计算成本。这些因素会影响其落地效率和系统扩展性。

---
探索 2,800+ 全球实用 AI 工具与官方直达入口：[语宙 AI 导航 (https://ai.paooo.com/)](https://ai.paooo.com/)
