Prompt 语宙Prompt 语宙
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
阅读: SpatialLM – 群核科技开源的空间理解多模态模型
Share
通知 阅读更多
Font Resizer字体
Font Resizer字体
Prompt 语宙Prompt 语宙
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
已有帐户? 登陆
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
SpatialLM – 群核科技开源的空间理解多模态模型
Prompt 语宙 > AIGC 资讯 > SpatialLM – 群核科技开源的空间理解多模态模型
AIGC 资讯

SpatialLM – 群核科技开源的空间理解多模态模型

Prompt 语宙研究院
最近更新: 2026年6月8日 上午4:47
3D与空间智能 AI智能体 HuggingFace 大模型微调 开源大模型
SHARE
⚡ Prompt 语宙 AI 导读 · 30 秒核心看点
  • 用普通手机视频即可重建结构化 3D 场景,降低空间数据采集门槛。
  • 结合点云重建与大语言模型,输出可用于机器人训练的场景代码。
  • 适用于具身智能、自动导航、AR/VR 和建筑设计等空间理解任务。

SpatialLM是什么

SpatialLM 是群核科技开源的空间理解多模态模型,赋予机器人和智能系统类似人类的空间认知能力。通过分析普通手机拍摄的视频,能重建出详细的 3D 场景布局,标注出房间结构、家具摆放、通道宽度等信息。模型基于大语言模型框架,结合点云重建和结构化表示技术,将视频中的场景转化为结构化的 3D 模型,为具身智能训练提供了高效的基础框架。

阅读目录
  • SpatialLM是什么
  • SpatialLM的主要功能
  • SpatialLM的技术原理
  • SpatialLM的项目地址
  • SpatialLM的应用场景

SpatialLM

SpatialLM的主要功能

  • 视频生成 3D 场景:SpatialLM 可以将普通手机拍摄的视频转化为详细的 3D 场景布局。通过分析视频中的每一帧画面,重建出场景的三维结构,包括房间布局、家具摆放、通道宽度等信息。
  • 空间认知与推理:模型突破了传统大语言模型对物理世界几何与空间关系的理解局限,赋予机器类似人类的空间认知和解析能力。能对场景中的物体进行语义理解,生成结构化的 3D 场景布局,标注出物体的三维坐标、尺寸参数和类别信息。
  • 低成本数据采集:SpatialLM 不需要借助复杂的传感器或智能穿戴设备,普通手机或相机拍摄的视频即可作为数据输入。大大降低了开发者的数据采集门槛,使更多企业和研究者能够快速开展相关研究。
  • 具身智能训练:SpatialLM 为具身智能领域提供了基础的空间理解训练框架。企业可以针对特定场景对模型进行微调,实现机器人在复杂环境中的导航、避障和任务执行能力。结合群核科技的空间智能训练平台 SpatialVerse,机器人可以在仿真环境中完成技能学习,形成从认知到行动的完整闭环。
  • 虚拟场景生成:SpatialLM 可以将现实世界的数据转化为虚拟环境中的丰富场景。通过其合成数据引擎,可以泛化生成亿万级新场景,为虚拟现实、增强现实和游戏开发等领域提供强大的支持。

SpatialLM的技术原理

  • 视频输入与点云重建:SpatialLM 使用 MASt3R-SLAM 技术处理输入的 RGB 视频。将视频拆解为帧,提取物体的细节空间点,计算其深度和位置,生成高密度的 3D 点云模型。
  • 点云编码与特征提取:点云数据被编码器转化为紧凑的特征向量。保留了场景中物体的关键几何和语义信息。
  • 大语言模型生成场景代码:通过大语言模型(LLM),将点云特征转化为结构化的场景代码。包含空间结构的坐标和尺寸,标注了物体的语义边界框(如“沙发 – 长 1.8 米 – 距墙 0.5 米”)。
  • 结构化 3D 布局生成:场景代码被进一步转换为结构化的 3D 场景布局,明确标注出每个物体的三维坐标、尺寸参数和类别信息。可以被可视化工具还原为可交互的 3D 场景。
  • 物理规则嵌入:SpatialLM 内置了物理常识(如“家具不能悬空”“通道宽度≥0.8 米”),确保生成的 3D 场景符合物理规则。

SpatialLM的项目地址

  • Github仓库:https://github.com/manycore-research/SpatialLM
  • HuggingFace模型库:https://huggingface.co/manycore-research/SpatialLM-Llama-1B

SpatialLM的应用场景

  • 具身智能训练:SpatialLM 能帮助机器人在虚拟环境中进行障碍规避、物体抓取等任务的训练。
  • 自动导航:在机器人导航任务中,SpatialLM 可以实时解析环境中的空间信息,帮助机器人避开障碍物并规划最优路径。
  • AR/VR 领域:SpatialLM 能将现实世界的场景快速转化为虚拟环境中的丰富场景,支持增强现实和虚拟现实应用的开发。
  • 建筑设计与规划:SpatialLM 可以分析建筑物的 3D 点云数据,识别出墙体、门窗等结构信息,帮助建筑设计和规划人员更高效地进行设计工作。
  • 教育与培训:教育工作者可以用 SpatialLM 开发教育软件,帮助学生学习 3D 建模和空间视觉能力。通过直观的 3D 场景生成和解析,学生能更好地理解空间关系和几何概念。
🧭 文中关联 AI 工具官网与参数卡(语宙 AI 导航)
HuggingFace ↗
HuggingFace:AI模型开发社区,面向大语言模型场景提供便捷实用的在线功能支持,涵盖大模型等实用方向。
❓ 常见问题解答(FAQ)
SpatialLM 是什么模型?

SpatialLM 是群核科技开源的空间理解多模态模型,核心能力是把普通手机拍摄的视频转成结构化 3D 场景布局,并标注房间结构、家具位置、通道宽度等空间信息。

SpatialLM 需要什么设备采集数据?

不需要复杂传感器或智能穿戴设备,普通手机或相机拍摄的视频即可作为输入。这样能显著降低空间数据采集门槛,方便开发者和研究者快速开展实验。

SpatialLM 适合哪些应用场景?

它适合具身智能训练、机器人自动导航、AR/VR 场景生成、建筑设计与规划,以及教育培训等场景,尤其适合需要理解空间关系和生成 3D 结构的任务。

🔬 语宙深潜追问 · 进阶实操拆解
普通手机视频做空间理解要注意什么?

关键是相机轨迹稳定、覆盖完整和光照变化可控。落地时要先做关键帧筛选、房间分割和家具实例化,再输出结构化场景图,避免直接追求高精网格导致鲁棒性下降。

这种模型最适合哪些应用场景?

最适合室内导航、AR标注、家居理解和具身智能前置感知。若要进产品,建议优先做“空间语义层”而非纯3D重建,因为业务更关心可检索、可交互的结构信息。

🗳️ 读者观点微投票 · 您的实战立场是?
手机视频重建3D场景,真能落地吗?
🕸️ 语宙向量知识图谱 · 语义强关联深度内链
🐋 所属权威专题:DeepSeek 深度实战与部署 →
  • 群核科技SpatialLM 1.5深度解析:用自然语言秒生3D场景,重塑室内设计与机器人训练
  • SpatialGen重磅开源:群核科技发布革命性3D场景生成模型,一键创建时空一致的沉浸式空间
  • SenseNova-Vision – 商汤开源的理解生成统一视觉大模型
  • SpatialVLA – 上海 AI Lab 联合上科大等推出的空间具身通用操作模型
🏛️ Prompt 语宙研究院 · Prompt 语宙研究院(paooo.com Research)专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示词工程(Prompt Engineering)与全球高增长 AI 生产力工具实测追踪,致力于为中文开发者与创作者提供一手、可复现的深度技术洞察。
📄 Markdown 纯净版
💡 这篇内容对您有启发吗?
📡 RSS 订阅✨ 提交 AI 工具 / 合作
🚀 Prompt 语宙 AI 创作者生态:探索 2,800+ 全球实用 AI 工具与高精度生图提示词咒语库
🧭 语宙 AI 导航 (ai.paooo.com)🎨 AI 生图 Prompt 库📚 核心专题导航⚡ AIGC 早报生成器
[AI生图咒语] 例384 – 十国传统服饰时尚拼贴
Compose AI
Klap
Meta开源Omnilingual ASR:1600+语言语音识别系统,含500种低资源语言,70亿参数模型下载
Caden AI
TAGGED:3D与空间智能AI智能体HuggingFace大模型微调开源大模型
分享
Email 复制链接 打印
Share
Prompt 语宙研究院 头像
ByPrompt 语宙研究院
Follow:
Prompt 语宙研究院(paooo.com Research)专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示词工程(Prompt Engineering)与全球高增长 AI 生产力工具实测追踪,致力于为中文开发者与创作者提供一手、可复现的深度技术洞察。
上一篇 URM – 阿里妈妈推出的世界知识大模型 URM – 阿里妈妈推出的世界知识大模型
下一篇 HoloPart – 港大联合 VAST 开源生成完整可编辑部件的 3D 模型 HoloPart – 港大联合 VAST 开源生成完整可编辑部件的 3D 模型
Ad image
Ad image

最近更新

NVIDIA Vera Rubin 亮相 MLPerf 评测并在训练与端点测试中领先
单GPU训练性能翻倍且智能体每瓦吞吐暴增10倍!NVIDIA Vera Rubin首战MLPerf大获全胜:DeepSeek-V3千卡扩展效率97%与Agentic端点推理全景深度拆解
AIGC 资讯
美国商务部大楼与半导体出口管制新规
算力超1200万TPP即触发许可且限期90天整改!美国商务部突发全球数据中心新规:封死离岸云端远程租用算力与废止AI扩散规则全景深度拆解
AIGC 资讯
AI 原生 CRM 初创公司 Dreamteam 获 5300 万美元融资,挑战 Salesforce 与 HubSpot
斩获5300万美元对标Salesforce!前Freshworks高管创办AI原生CRM Dreamteam:基于Company Brain虚拟记忆与自动化智能体流水线深度拆解
AI 工具
Optimizely 谈营销智能体落地:企业需将审核从输出转向输入
告别Vibe Coding虚火!Optimizely解密企业级营销智能体落地法则:从“输出审核”走向“输入约束”、专用Harness架构与800落地页规模化实战
最新趋势

相关推荐

AI 操作指南 [译]
强化 AI 学习

AI 操作指南 [译]

宝玉的分享
AI办公效率 AI智能体 AI编程 大模型微调 开源大模型
浙大蚂蚁联手破局:DRA-Ctrl跨模态图片编辑框架,用视频生成模型精准编辑图像
AI 工具AIGC 资讯

浙大蚂蚁联手破局:DRA-Ctrl跨模态图片编辑框架,用视频生成模型精准编辑图像

Prompt 语宙研究院
AIGC DRA-Ctrl 图像生成 视频生成模型 跨模态图片编辑
Fashion-VDM – 谷歌和华盛顿大学联合推出的虚拟试穿技术
AIGC 资讯

Fashion-VDM – 谷歌和华盛顿大学联合推出的虚拟试穿技术

Prompt 语宙研究院
3D与空间智能 AI视频生成 stable diffusion
Matrix3D – 南大联合Apple、港科大推出的统一摄影测量模型
AIGC 资讯

Matrix3D – 南大联合Apple、港科大推出的统一摄影测量模型

Prompt 语宙研究院
3D与空间智能 AI绘画提示词 开源大模型
/ Prompt 语宙 /

探索生成式 AI 的无限创作潜能,一站式获取前沿 AIGC 资讯、高阶 Prompt 咒语与全球实用 AI 工具。

核心专栏

  • Remaker AI
  • BGRemaker 抠图Hot
  • AIGC 工具
  • Prompt 咒语生成器
  • 去水印工具

生态与服务

  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作

标签

开源大模型 AI智能体 AI办公效率 AI绘画提示词 OpenAI 大模型微调 Midjourney AI编程 stable diffusion AI视频生成 ChatGPT 3D与空间智能 HuggingFace AI音频与语音 RAG检索增强 Claude Flux AIGC Gemini 通义千问 Anthropic Llama Cursor DeepSeek Prompt AI Agent Kimi 智谱AI 具身智能 YouTube
Prompt 语宙Prompt 语宙
Follow US
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.