# ENEL – 上海 AI Lab 推出的无编码器3D大型多模态模型

- Link: https://paooo.com/aigc-news/21989/
- Published: 2026-06-09T03:33:28+08:00
- Author: Prompt 语宙研究院

⚡ [Prompt](https://paooo.com/ai-image-prompts/) 语宙 AI 导读 · 30 秒核心看点

 * 去掉传统 3D 编码器后，ENEL 直接把点云转成离散标记与文本拼接输入 LLM。
 * 通过混合语义损失与分层几何聚合，兼顾高级语义提取和局部几何细节理解。
 * 7B 模型在 3D 分类、字幕生成和 VQA 上表现强，部分指标可对标 13B 模型。

## ENEL是什么

ENEL（Exploring the Potential of Encoder-free Architectures in 3D LMMs）是创新的
无编码器3D大型多模态模型（3D LMM），解决传统编码器架构在3D理解任务中的局限性。ENEL
通过去除3D编码器，直接将点云数据转换为离散的点标记，与文本标记拼接后输入到大型语言
模型（LLM）中。模型通过两种关键策略实现高效语义编码和几何结构理解：一是LLM嵌入的
语义编码策略，通过混合语义损失提取高级语义；二是分层几何聚合策略，使LLM能关注点云
的局部细节。

阅读目录

 * [ENEL是什么](https://paooo.com/aigc-news/21989/#enel%e6%98%af%e4%bb%80%e4%b9%88)
 * [ENEL的主要功能](https://paooo.com/aigc-news/21989/#enel%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd)
 * [ENEL的技术原理](https://paooo.com/aigc-news/21989/#enel%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86)
 * [ENEL的项目地址](https://paooo.com/aigc-news/21989/#enel%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80)
 * [ENEL的应用场景](https://paooo.com/aigc-news/21989/#enel%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af)

ENEL的7B模型在多个3D任务上表现出色，包括3D对象分类、3D对象字幕生成和3D视觉问答（
VQA）。在Objaverse基准测试中，ENEL-7B的字幕生成任务GPT分数达到50.92%，分类任务达到
55.0%，在3D MM-Vet数据集的VQA任务中达到42.7%，均与现有的13B模型（如ShapeLLM）相当。
ENEL的无编码器架构在语义编码方面表现出色，能更好地捕捉点云与文本之间的语义相关性。

![ENEL](https://paooo.com/wp-content/uploads/2026/06/ENEL-website-1.avif)

## ENEL的主要功能

 * **无编码器架构**：ENEL去除了传统的3D编码器，直接将点云数据通过标记嵌入模块转换
   为离散点标记，与文本标记拼接后输入到LLM中。避免了编码器架构中常见的点云分辨率
   限制和语义嵌入不匹配问题。
 * **高级语义提取**：ENEL通过LLM嵌入的语义编码策略，在预训练阶段引入混合语义损失（
   Hybrid Semantic Loss），能提取点云的高级语义特征，同时保留关键的几何结构。
 * **局部几何感知**：在指令调优阶段，ENEL采用分层几何聚合策略，使LLM能主动感知点
   云的局部细节。通过聚合和传播操作，将局部几何信息融入LLM的早期层，实现对复杂3D
   结构的精细理解。
 * **多任务3D理解**：ENEL在多个3D任务上表现出色，包括3D对象分类、3D对象字幕生成和
   3D视觉问答（VQA）。7B模型在Objaverse基准测试中达到了55.0%的分类准确率和50.92%
   的字幕生成GPT分数，性能与13B的ShapeLLM相当。
 * **高效语义对齐**：ENEL通过无编码器架构实现了点云与文本模态之间的高效语义对齐，
   能更好地捕捉两者之间的语义相关性，为3D多模态任务提供了更强大的语义基础。

## ENEL的技术原理

 * **LLM嵌入的语义编码（LLM-embedded Semantic Encoding）**：在预训练阶段，ENEL通过
   探索不同的点云自监督损失（如掩码建模损失、重建损失、对比损失和知识蒸馏损失），
   提出了一种混合语义损失（Hybrid Semantic Loss）。这种损失函数能将点云的高级语义
   信息嵌入到LLM中，替代传统3D编码器的功能。
 * **分层几何聚合（Hierarchical Geometry Aggregation）**：在指令调优阶段，ENEL引入
   了分层几何聚合策略。策略通过在LLM的早期层中对点云进行聚合和传播操作，将归纳偏
   置融入LLM，能关注点云的局部细节。具体而言，使用最远点采样（FPS）和k近邻（k-NN）
   算法对点云进行下采样和聚合，逐步整合点云的细粒度语义信息。

## ENEL的项目地址

 * **Github仓库**：[https://github.com/Ivan-Tang-3D/ENEL](https://github.com/Ivan-Tang-3D/ENEL)
 * **arXiv技术论文**：[https://arxiv.org/pdf/2502.09620](https://arxiv.org/pdf/2502.09620)

## ENEL的应用场景

 * **3D对象分类**：ENEL能对3D对象进行高效的分类，适用于工业自动化、机器人视觉和自动
   驾驶等领域，能快速识别和分类复杂的3D物体。
 * **3D对象字幕生成：**可用于生成对3D模型的描述性文本，帮助用户快速理解3D场景中的
   关键信息，适用于虚拟现实（VR）、增强现实（AR）以及3D建模工具中。
 * **3D视觉问答（VQA）**：能回答与3D场景相关的问题，例如在医学影像分析、建筑设计
   和教育领域中，帮助用户快速获取3D数据中的关键信息。
 * **复杂3D几何结构理解**：适用于需要精确理解复杂几何形状的场景，如航空航天、汽车
   制造和珠宝设计等领域，能帮助工程师和设计师更好地理解和优化3D模型。

❓ 常见问题解答（FAQ）

ENEL无编码器3D模型有什么优势？

ENEL去除传统3D编码器，直接把点云转成离散点标记输入LLM，减少点云分辨率限制和语义嵌入
不匹配问题，更利于点云与文本的高效语义对齐。

ENEL在3D任务上的效果怎么样？

文中给出的结果显示，ENEL-7B在Objaverse上字幕生成GPT分数为50.92%，分类准确率为55.0%；
在3D MM-Vet的VQA任务中达到42.7%，整体接近部分13B模型。

ENEL适合哪些3D应用场景？

它适用于3D对象分类、3D对象字幕生成、3D视觉问答以及复杂3D几何结构理解，可用于机器
人视觉、VR/AR、建筑设计、医学影像和工业制造等场景。

🔬 语宙深潜追问 · 进阶实操拆解

无编码器 3D 模型的核心优势在哪？

核心是减少手工特征和编码器堆叠，把点云离散化后直接交给 LLM 统一建模，能降低系统复杂
度并提升跨任务迁移。代价是对 token 设计、空间顺序和上下文长度更敏感。

3D 分类和 VQA 怎么做更稳？

先把点云预处理标准化，包括采样密度、坐标归一化和噪声过滤，再用任务分头微调。评测
时要同时看整体准确率和跨类别鲁棒性，否则很容易在常见物体上好看、在长尾场景里失真。

🗳️ 读者观点微投票 · 您的实战立场是？

3D 多模态直接喂点云，真能替代编码器吗？

🕸️ 语宙向量知识图谱 · 语义强关联深度内链

[🐋 所属权威专题：DeepSeek 深度实战与部署 →](https://paooo.com/topics/deepseek/)

 * [MindLLM – 耶鲁联合剑桥等机构推出的医疗领域 AI 模型](https://paooo.com/aigc-news/21357/)
 * [SANA 1.5 – 英伟联合MIT、清北等机构推出的文生图新框架](https://paooo.com/aigc-news/22311/)
 * [小红书hi lab重磅开源dots.llm1：1420亿参数MoE大模型，性能对标Qwen2.5-72B](https://paooo.com/aigc-news/14968/)
 * [09-18 AIGC 早报](https://paooo.com/aigc-morning/4565/)

[🏛️ Prompt 语宙研究院](https://paooo.com/author/paooo-research/) · Prompt 语宙研究院（
paooo.com Research）专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示
词工程（Prompt Engineering）与全球高增长 AI 生产力工具实测追踪，致力于为中文开发
者与创作者提供一手、可复现的深度技术洞察。

[📄 Markdown 纯净版](https://paooo.com/aigc-news/21989/?format=md)

💡 这篇内容对您有启发吗？

[📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/)

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)
