Prompt 语宙Prompt 语宙
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
阅读: OpenEMMA – 德克萨斯联合多伦多等大学开源的端到端自动驾驶多模态模型
Share
通知 阅读更多
Font Resizer字体
Font Resizer字体
Prompt 语宙Prompt 语宙
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
已有帐户? 登陆
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
OpenEMMA – 德克萨斯联合多伦多等大学开源的端到端自动驾驶多模态模型
Prompt 语宙 > AIGC 资讯 > OpenEMMA – 德克萨斯联合多伦多等大学开源的端到端自动驾驶多模态模型
AIGC 资讯

OpenEMMA – 德克萨斯联合多伦多等大学开源的端到端自动驾驶多模态模型

Prompt 语宙研究院
最近更新: 2026年6月9日 上午4:37
3D与空间智能 AI智能体 大模型微调 开源大模型
SHARE
⚡ Prompt 语宙 AI 导读 · 30 秒核心看点
  • 联合多所高校开源,OpenEMMA把自动驾驶任务统一为多模态推理与端到端轨迹规划。
  • 通过链式思维生成速度与曲率向量,并结合YOLO提升3D边界框预测准确性。
  • 可用于城市道路、高速、停车、夜间和复杂天气等场景,输出更可解释。

OpenEMMA是什么

OpenEMMA是德州农工大学、密歇根大学和多伦多大学共同开源的端到端自动驾驶多模态模型框架,基于预训练的多模态大型语言模型(MLLMs)处理视觉数据和复杂驾驶场景的推理。框架基于链式思维推理过程,显著提高模型在轨迹规划和感知任务中的性能,同时集成专门优化的YOLO模型提高3D边界框预测的准确性。OpenEMMA提供了一个平台,促进更广泛的研究和开发,推动自动驾驶技术的进步。

阅读目录
  • OpenEMMA是什么
  • OpenEMMA的主要功能
  • OpenEMMA的技术原理
  • OpenEMMA的项目地址
  • OpenEMMA的应用场景

OpenEMMA

OpenEMMA的主要功能

  • 端到端轨迹规划:直接从传感器输入学习驾驶动作,实现从感知到决策的端到端优化,无需符号化接口。
  • 多模态数据处理:框架处理前向摄像头图像和文本历史 ego 车辆状态作为输入,将驾驶任务框架化为视觉问答(VQA)问题。
  • 链式思维推理:采用链式思维推理过程,指导模型生成关键对象的详细描述、行为洞察和元驾驶决策。
  • 3D对象检测:集成微调的YOLO模型,OpenEMMA能精确检测3D道路上的对象,提高对象检测的准确性。
  • 人类可读输出:基于MLLM的预存世界知识,OpenEMMA能为场景理解等感知任务产生可解释的、人类可读的输出。

OpenEMMA的技术原理

  • 预训练的MLLMs:基于预训练的MLLMs,处理复杂的视觉数据,推理驾驶场景。
  • 链式思维推理过程:基于链式思维推理,模型能生成速度向量和曲率向量,向量用在计算车辆的未来轨迹。
  • 速度和曲率向量:给定速度和曲率向量,模型首先整合每个时间步的航向角,然后计算速度的x和y分量,最终用积分速度分量计算最终轨迹。
  • 对象检测增强:为克服MLLMs在空间推理上的局限,集成一个专门优化用在3D边界框预测的YOLO模型。
  • 端到端规划与推理:OpenEMMA遵循基于指令的方法,提示MLLMs产生人类可解释的知识,将轨迹生成任务分解为人类可解释的组成部分,反映驾驶过程。

OpenEMMA的项目地址

  • GitHub仓库:https://github.com/taco-group/OpenEMMA
  • arXiv技术论文:https://arxiv.org/pdf/2412.15208

OpenEMMA的应用场景

  • 城市道路驾驶:在复杂的城市交通环境中,处理多变的交通信号、行人、自行车和其他车辆,为自动驾驶车辆提供实时决策和轨迹规划。
  • 高速公路驾驶:在高速公路上,处理高速行驶中的车辆,进行车道保持、超车、避障等操作的决策支持。
  • 停车和低速驾驶:在停车场或低速环境中,帮助自动驾驶车辆进行精确的停车操作,避免障碍物,能在狭小空间中导航。
  • 夜间驾驶:OpenEMMA能在低光照条件下工作,提供夜间驾驶时的决策支持,包括对象检测和轨迹规划。
  • 复杂天气条件:在雨、雾等复杂天气条件下,辅助自动驾驶车辆保持安全行驶,减少天气对驾驶的影响。
❓ 常见问题解答(FAQ)
OpenEMMA是什么模型?

OpenEMMA是德州农工大学、密歇根大学和多伦多大学共同开源的端到端自动驾驶多模态模型框架。它基于预训练MLLM处理视觉输入与驾驶场景推理,并将驾驶任务框架化为可解释的多模态推理问题。

OpenEMMA相比传统自动驾驶方案有什么优势?

它将感知、推理和轨迹规划整合为端到端流程,减少对符号化接口的依赖;同时通过链式思维推理提升可解释性,并集成优化后的YOLO模型增强3D对象检测与边界框预测精度。

OpenEMMA适合哪些驾驶场景?

适合城市道路、高速公路、停车与低速驾驶、夜间驾驶以及雨雾等复杂天气场景。文章强调它能为这些环境中的对象检测、轨迹规划和决策支持提供帮助。

🔬 语宙深潜追问 · 进阶实操拆解
多模态端到端如何避免黑盒失控?

核心是把可解释约束塞回训练和推理链路,例如加入轨迹约束、风险评分和规则校验。落地时别直接全权接管,先在仿真和封闭场景验证,再逐步扩大 ODD。

YOLO增强3D检测适合量产吗?

适合做感知增强,但量产还要看时延、算力和长尾场景稳定性。若目标是车规落地,必须配合冗余传感器、故障降级和严格回归测试,不能只看离线指标。

🗳️ 读者观点微投票 · 您的实战立场是?
端到端自动驾驶还该继续押注多模态吗?
🕸️ 语宙向量知识图谱 · 语义强关联深度内链
🐋 所属权威专题:DeepSeek 深度实战与部署 →
  • EMMA – Waymo推出的端到端自动驾驶多模态模型
  • EMMA-X – 新加坡科技设计大学推出的具身多模态动作模型
  • 小米全球首个开源跨领域具身大模型MiMo-Embodied发布:重塑自动驾驶与机器人智能
  • MM-Eureka – 上海AI Lab联合上交大等推出的多模态推理模型
🏛️ Prompt 语宙研究院 · Prompt 语宙研究院(paooo.com Research)专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示词工程(Prompt Engineering)与全球高增长 AI 生产力工具实测追踪,致力于为中文开发者与创作者提供一手、可复现的深度技术洞察。
📄 Markdown 纯净版
💡 这篇内容对您有启发吗?
📡 RSS 订阅✨ 提交 AI 工具 / 合作
🚀 Prompt 语宙 AI 创作者生态:探索 2,800+ 全球实用 AI 工具与高精度生图提示词咒语库
🧭 语宙 AI 导航 (ai.paooo.com)🎨 AI 生图 Prompt 库📚 核心专题导航⚡ AIGC 早报生成器
京东AI Agent与腾讯元宝正式打通小程序生态,用户可在对话中直接购物下单
HumanDiT – 浙大联合字节推出的姿态引导人体视频生成框架
2023 年度 AI 大事记 [译]
Siri 迎来全面 AI 进化!苹果正式发布 iOS27首个公开测试版
版权风波还没散,专利大棒又落下:Anthropic首次被推上专利侵权被告席
TAGGED:3D与空间智能AI智能体大模型微调开源大模型
分享
Email 复制链接 打印
Share
Prompt 语宙研究院 头像
ByPrompt 语宙研究院
Follow:
Prompt 语宙研究院(paooo.com Research)专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示词工程(Prompt Engineering)与全球高增长 AI 生产力工具实测追踪,致力于为中文开发者与创作者提供一手、可复现的深度技术洞察。
上一篇 Mobile-Agent – 阿里开源的自主多模态移动设备智能体 Mobile-Agent – 阿里开源的自主多模态移动设备智能体
下一篇 Claude 3.7 Sonnet – Anthropic 推出的首款混合推理模型 Claude 3.7 Sonnet – Anthropic 推出的首款混合推理模型
Ad image
Ad image

最近更新

Anthropic 纳斯达克上市后的商业化抉择:面对 8954 亿美元算力承诺,“绝不做广告”承诺与华尔街营收压力正面碰撞
超级碗刚嘲讽完OpenAI,转头面临8954亿美元算力账单!Anthropic上市后“绝不做广告”誓言与智能体商业化博弈全拆解
最新趋势
OpenAI 官方发布《Perplexity and Intelligence》专题主视觉:首席科学家 Jakub Pachocki 提议以对数困惑度作为全球前沿 AI 发展共享安全标尺
OpenAI首席科学家首次公开内部困惑度曲线!GPT-3.5至0.76跃迁揭秘:用Cross-Entropy Loss为AI设限速红线全拆解
AIGC 资讯
Atlassian AI 与产品工艺负责人 Sherif Mansour 做客 Lenny 播客,拆解全员 AI 构建者实验、初级人才赋能与产品工艺三角
取消PM头衔全员AI造产品,1个月就翻车退回!Atlassian AI掌门揭秘:初级员工多用38%AI却产Slop、工艺三角与Rovo外挂全拆解
AI 工具
GitHub Changelog 官方发布主图:GitHub Copilot CLI 1.0.113+ 公测支持 Microsoft Entra 身份登录与双轨企业推理
免GitHub账号直接终端跑AI!Copilot CLI上线Microsoft Entra登录:接入Work IQ MCP与Agent 365全链路审计拆解
AI 工具

相关推荐

Suno 正式推出 Visuals AI 图像与视频生成功能,支持对齐歌曲歌词口型及时间轴剪辑
AIGC 资讯

接上MiniMax H3直接唱出嘴型!Suno重磅推出Visuals功能:15秒MV剪辑、独立积分与“先修音质”社区争议全拆解

Prompt 语宙研究院
AI视频生成 AI音乐 MiniMax H3 Suno 多模态
荷兰奶源 草原 奶牛
3
背景

荷兰奶源 草原 奶牛

lilizhu
3D与空间智能 AI绘画提示词 Midjourney stable diffusion 奶牛 草原 荷兰奶源
酷炫彩球 Prompt
自然

酷炫彩球 Prompt

OZ
3D与空间智能 AI绘画提示词 Midjourney Prompt 彩色 球
ChatMCP – AI 聊天客户端,基于 MCP 支持多语言和自动化安装
AIGC 资讯

ChatMCP – AI 聊天客户端,基于 MCP 支持多语言和自动化安装

Prompt 语宙研究院
AI智能体 Claude Ollama OpenAI 大模型微调
/ Prompt 语宙 /

探索生成式 AI 的无限创作潜能,一站式获取前沿 AIGC 资讯、高阶 Prompt 咒语与全球实用 AI 工具。

核心专栏

  • 语宙 AI 工具导航
  • EVA 视觉抠图工坊Hot
  • 出海数字营销宝典
  • AI 生图咒语灵感库
  • 24H 硅谷 AI 情报流

生态与服务

  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作

标签

开源大模型 AI智能体 AI办公效率 AI绘画提示词 OpenAI 大模型微调 Midjourney AI编程 stable diffusion AI视频生成 ChatGPT 3D与空间智能 HuggingFace AI音频与语音 RAG检索增强 Claude Flux AIGC Gemini 通义千问 Anthropic Llama Cursor DeepSeek Prompt AI Agent Kimi 智谱AI 具身智能 Claude Code
Prompt 语宙Prompt 语宙
Follow US
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.