Prompt 语宙Prompt 语宙
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
阅读: ENEL – 上海 AI Lab 推出的无编码器3D大型多模态模型
Share
通知 阅读更多
Font Resizer字体
Font Resizer字体
Prompt 语宙Prompt 语宙
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
已有帐户? 登陆
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
ENEL – 上海 AI Lab 推出的无编码器3D大型多模态模型
Prompt 语宙 > AIGC 资讯 > ENEL – 上海 AI Lab 推出的无编码器3D大型多模态模型
AIGC 资讯

ENEL – 上海 AI Lab 推出的无编码器3D大型多模态模型

Prompt 语宙研究院
最近更新: 2026年6月9日 上午3:33
3D与空间智能 大模型微调 开源大模型
SHARE
⚡ Prompt 语宙 AI 导读 · 30 秒核心看点
  • 去掉传统 3D 编码器后,ENEL 直接把点云转成离散标记与文本拼接输入 LLM。
  • 通过混合语义损失与分层几何聚合,兼顾高级语义提取和局部几何细节理解。
  • 7B 模型在 3D 分类、字幕生成和 VQA 上表现强,部分指标可对标 13B 模型。

ENEL是什么

ENEL(Exploring the Potential of Encoder-free Architectures in 3D LMMs)是创新的无编码器3D大型多模态模型(3D LMM),解决传统编码器架构在3D理解任务中的局限性。ENEL通过去除3D编码器,直接将点云数据转换为离散的点标记,与文本标记拼接后输入到大型语言模型(LLM)中。模型通过两种关键策略实现高效语义编码和几何结构理解:一是LLM嵌入的语义编码策略,通过混合语义损失提取高级语义;二是分层几何聚合策略,使LLM能关注点云的局部细节。

阅读目录
  • ENEL是什么
  • ENEL的主要功能
  • ENEL的技术原理
  • ENEL的项目地址
  • ENEL的应用场景

ENEL的7B模型在多个3D任务上表现出色,包括3D对象分类、3D对象字幕生成和3D视觉问答(VQA)。在Objaverse基准测试中,ENEL-7B的字幕生成任务GPT分数达到50.92%,分类任务达到55.0%,在3D MM-Vet数据集的VQA任务中达到42.7%,均与现有的13B模型(如ShapeLLM)相当。ENEL的无编码器架构在语义编码方面表现出色,能更好地捕捉点云与文本之间的语义相关性。

ENEL

ENEL的主要功能

  • 无编码器架构:ENEL去除了传统的3D编码器,直接将点云数据通过标记嵌入模块转换为离散点标记,与文本标记拼接后输入到LLM中。避免了编码器架构中常见的点云分辨率限制和语义嵌入不匹配问题。
  • 高级语义提取:ENEL通过LLM嵌入的语义编码策略,在预训练阶段引入混合语义损失(Hybrid Semantic Loss),能提取点云的高级语义特征,同时保留关键的几何结构。
  • 局部几何感知:在指令调优阶段,ENEL采用分层几何聚合策略,使LLM能主动感知点云的局部细节。通过聚合和传播操作,将局部几何信息融入LLM的早期层,实现对复杂3D结构的精细理解。
  • 多任务3D理解:ENEL在多个3D任务上表现出色,包括3D对象分类、3D对象字幕生成和3D视觉问答(VQA)。7B模型在Objaverse基准测试中达到了55.0%的分类准确率和50.92%的字幕生成GPT分数,性能与13B的ShapeLLM相当。
  • 高效语义对齐:ENEL通过无编码器架构实现了点云与文本模态之间的高效语义对齐,能更好地捕捉两者之间的语义相关性,为3D多模态任务提供了更强大的语义基础。

ENEL的技术原理

  • LLM嵌入的语义编码(LLM-embedded Semantic Encoding):在预训练阶段,ENEL通过探索不同的点云自监督损失(如掩码建模损失、重建损失、对比损失和知识蒸馏损失),提出了一种混合语义损失(Hybrid Semantic Loss)。这种损失函数能将点云的高级语义信息嵌入到LLM中,替代传统3D编码器的功能。
  • 分层几何聚合(Hierarchical Geometry Aggregation):在指令调优阶段,ENEL引入了分层几何聚合策略。策略通过在LLM的早期层中对点云进行聚合和传播操作,将归纳偏置融入LLM,能关注点云的局部细节。具体而言,使用最远点采样(FPS)和k近邻(k-NN)算法对点云进行下采样和聚合,逐步整合点云的细粒度语义信息。

ENEL的项目地址

  • Github仓库:https://github.com/Ivan-Tang-3D/ENEL
  • arXiv技术论文:https://arxiv.org/pdf/2502.09620

ENEL的应用场景

  • 3D对象分类:ENEL能对3D对象进行高效的分类,适用于工业自动化、机器人视觉和自动驾驶等领域,能快速识别和分类复杂的3D物体。
  • 3D对象字幕生成:可用于生成对3D模型的描述性文本,帮助用户快速理解3D场景中的关键信息,适用于虚拟现实(VR)、增强现实(AR)以及3D建模工具中。
  • 3D视觉问答(VQA):能回答与3D场景相关的问题,例如在医学影像分析、建筑设计和教育领域中,帮助用户快速获取3D数据中的关键信息。
  • 复杂3D几何结构理解:适用于需要精确理解复杂几何形状的场景,如航空航天、汽车制造和珠宝设计等领域,能帮助工程师和设计师更好地理解和优化3D模型。
❓ 常见问题解答(FAQ)
ENEL无编码器3D模型有什么优势?

ENEL去除传统3D编码器,直接把点云转成离散点标记输入LLM,减少点云分辨率限制和语义嵌入不匹配问题,更利于点云与文本的高效语义对齐。

ENEL在3D任务上的效果怎么样?

文中给出的结果显示,ENEL-7B在Objaverse上字幕生成GPT分数为50.92%,分类准确率为55.0%;在3D MM-Vet的VQA任务中达到42.7%,整体接近部分13B模型。

ENEL适合哪些3D应用场景?

它适用于3D对象分类、3D对象字幕生成、3D视觉问答以及复杂3D几何结构理解,可用于机器人视觉、VR/AR、建筑设计、医学影像和工业制造等场景。

🔬 语宙深潜追问 · 进阶实操拆解
无编码器 3D 模型的核心优势在哪?

核心是减少手工特征和编码器堆叠,把点云离散化后直接交给 LLM 统一建模,能降低系统复杂度并提升跨任务迁移。代价是对 token 设计、空间顺序和上下文长度更敏感。

3D 分类和 VQA 怎么做更稳?

先把点云预处理标准化,包括采样密度、坐标归一化和噪声过滤,再用任务分头微调。评测时要同时看整体准确率和跨类别鲁棒性,否则很容易在常见物体上好看、在长尾场景里失真。

🗳️ 读者观点微投票 · 您的实战立场是?
3D 多模态直接喂点云,真能替代编码器吗?
🕸️ 语宙向量知识图谱 · 语义强关联深度内链
🐋 所属权威专题:DeepSeek 深度实战与部署 →
  • MindLLM – 耶鲁联合剑桥等机构推出的医疗领域 AI 模型
  • SANA 1.5 – 英伟联合MIT、清北等机构推出的文生图新框架
  • 小红书hi lab重磅开源dots.llm1:1420亿参数MoE大模型,性能对标Qwen2.5-72B
  • 09-18 AIGC 早报
🏛️ Prompt 语宙研究院 · Prompt 语宙研究院(paooo.com Research)专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示词工程(Prompt Engineering)与全球高增长 AI 生产力工具实测追踪,致力于为中文开发者与创作者提供一手、可复现的深度技术洞察。
📄 Markdown 纯净版
💡 这篇内容对您有启发吗?
📡 RSS 订阅✨ 提交 AI 工具 / 合作
🚀 Prompt 语宙 AI 创作者生态:探索 2,800+ 全球实用 AI 工具与高精度生图提示词咒语库
🧭 语宙 AI 导航 (ai.paooo.com)🎨 AI 生图 Prompt 库📚 核心专题导航⚡ AIGC 早报生成器
LeRobot – HuggingFace推出的开源AI聊天机器人项目
Whisper
亲手制作 transformer:无需训练! [译]
退一步,看得更远:通过抽象引发大语言模型中的推理 [译]
Retinex-Diffusion – AI图像照明控制框架,让图像明暗更自然、细腻
TAGGED:3D与空间智能大模型微调开源大模型
分享
Email 复制链接 打印
Share
Prompt 语宙研究院 头像
ByPrompt 语宙研究院
Follow:
Prompt 语宙研究院(paooo.com Research)专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示词工程(Prompt Engineering)与全球高增长 AI 生产力工具实测追踪,致力于为中文开发者与创作者提供一手、可复现的深度技术洞察。
上一篇 MoBA – Moonshot AI 提出的新型注意力机制 MoBA – Moonshot AI 提出的新型注意力机制
下一篇 SPRIGHT – 专注于空间关系的大型视觉语言数据集 SPRIGHT – 专注于空间关系的大型视觉语言数据集
Ad image
Ad image

最近更新

GitHub Changelog 官方发布主图:GitHub Copilot CLI 1.0.113+ 公测支持 Microsoft Entra 身份登录与双轨企业推理
免GitHub账号直接终端跑AI!Copilot CLI上线Microsoft Entra登录:接入Work IQ MCP与Agent 365全链路审计拆解
AI 工具
The Verge 报道主图:《以撒的结合:忏悔+》因游戏音频文件残留 Suno 元数据遭 Steam 玩家差评轰炸并紧急移除
《以撒的结合》翻车!Suno元数据抓包引爆差评轰炸:AI资产供应链污染与Steam披露红线全拆解
AIGC 资讯
Hello Partner 深度报道主图:2026 年黑五消费前夕 Barclays 与 KPMG 对英国消费者使用 AI 工具比价给出悬殊数据
55%用AI找黑五折扣还是仅12%问大模型?Barclays与KPMG调研打架真相:零点击比价、84%返利盲区与联盟归因断层全拆解
AI 工具
The Verge 专题主视觉:开发者正借助 Claude Code 与 Codex 等 AI 编程工具改造电视、相机与嵌入式硬件固件
从电视去广告到PS5跑老盘!Vibe Coding正席卷消费硬件固件:Take-Two预警强硬DRM反制与ESP32安全替代路径全拆解
最新趋势

相关推荐

RD-Agent – 微软亚洲研究院推出开源的自动化研究与开发工具
AIGC 资讯

RD-Agent – 微软亚洲研究院推出开源的自动化研究与开发工具

Prompt 语宙研究院
AI办公效率 AI智能体 AI编程 开源大模型
R2R – AI 检索增强生成应用开发平台,支持多模态内容处理、混合搜索、知识图谱构建
AIGC 资讯

R2R – AI 检索增强生成应用开发平台,支持多模态内容处理、混合搜索、知识图谱构建

Prompt 语宙研究院
AI智能体 Next.js RAG检索增强 开源大模型
topical plot
强化 AI 学习

小语种成功“破解”了 GPT-4 的限制[译]

宝玉的分享
AI智能体 ChatGPT OpenAI 大模型微调
Forrester 复盘 Optimizely 供应链攻击事件主视觉图:解析营销实验工具如何沦为客户端恶意脚本分发通道
AIGC 资讯

178家顶级网站遭A/B测试工具“投毒”!Forrester复盘Optimizely供应链攻击:仅15%站点靠CSP躲过一劫

Prompt 语宙研究院
CSP策略 Forrester MarTech Optimizely 供应链安全
/ Prompt 语宙 /

探索生成式 AI 的无限创作潜能,一站式获取前沿 AIGC 资讯、高阶 Prompt 咒语与全球实用 AI 工具。

核心专栏

  • 语宙 AI 工具导航
  • EVA 视觉抠图工坊Hot
  • 出海数字营销宝典
  • AI 生图咒语灵感库
  • 24H 硅谷 AI 情报流

生态与服务

  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作

标签

开源大模型 AI智能体 AI办公效率 AI绘画提示词 OpenAI 大模型微调 Midjourney AI编程 stable diffusion AI视频生成 ChatGPT 3D与空间智能 HuggingFace AI音频与语音 RAG检索增强 Claude Flux AIGC Gemini 通义千问 Anthropic Llama Cursor DeepSeek Prompt AI Agent Kimi 智谱AI 具身智能 Claude Code
Prompt 语宙Prompt 语宙
Follow US
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.