# SpatialLM – 群核科技开源的空间理解多模态模型

- Link: https://paooo.com/aigc-news/20879/
- Published: 2026-06-08T04:47:26+08:00
- Author: Prompt 语宙研究院

⚡ [Prompt](https://paooo.com/ai-image-prompts/) 语宙 AI 导读 · 30 秒核心看点

 * 用普通手机视频即可重建结构化 3D 场景，降低空间数据采集门槛。
 * 结合点云重建与大语言模型，输出可用于机器人训练的场景代码。
 * 适用于具身智能、自动导航、AR/VR 和建筑设计等空间理解任务。

## SpatialLM是什么

SpatialLM 是群核科技开源的空间理解多模态模型，赋予机器人和智能系统类似人类的空间
认知能力。通过分析普通手机拍摄的视频，能重建出详细的 3D 场景布局，标注出房间结构、
家具摆放、通道宽度等信息。模型基于大语言模型框架，结合点云重建和结构化表示技术，
将视频中的场景转化为结构化的 3D 模型，为具身智能训练提供了高效的基础框架。

阅读目录

 * [SpatialLM是什么](https://paooo.com/aigc-news/20879/#spatiallm%e6%98%af%e4%bb%80%e4%b9%88)
 * [SpatialLM的主要功能](https://paooo.com/aigc-news/20879/#spatiallm%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd)
 * [SpatialLM的技术原理](https://paooo.com/aigc-news/20879/#spatiallm%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86)
 * [SpatialLM的项目地址](https://paooo.com/aigc-news/20879/#spatiallm%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80)
 * [SpatialLM的应用场景](https://paooo.com/aigc-news/20879/#spatiallm%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af)

![SpatialLM](https://paooo.com/wp-content/uploads/2026/06/SpatialLM-website-1.avif)

## SpatialLM的主要功能

 * **视频生成 3D 场景**：SpatialLM 可以将普通手机拍摄的视频转化为详细的 3D 场景布局。
   通过分析视频中的每一帧画面，重建出场景的三维结构，包括房间布局、家具摆放、通道
   宽度等信息。
 * **空间认知与推理**：模型突破了传统大语言模型对物理世界几何与空间关系的理解局限，
   赋予机器类似人类的空间认知和解析能力。能对场景中的物体进行语义理解，生成结构化
   的 3D 场景布局，标注出物体的三维坐标、尺寸参数和类别信息。
 * **低成本数据采集**：SpatialLM 不需要借助复杂的传感器或智能穿戴设备，普通手机或
   相机拍摄的视频即可作为数据输入。大大降低了开发者的数据采集门槛，使更多企业和研究者
   能够快速开展相关研究。
 * **具身智能训练**：SpatialLM 为具身智能领域提供了基础的空间理解训练框架。企业可以
   针对特定场景对模型进行微调，实现机器人在复杂环境中的导航、避障和任务执行能力。
   结合群核科技的空间智能训练平台 SpatialVerse，机器人可以在仿真环境中完成技能学习，
   形成从认知到行动的完整闭环。
 * **虚拟场景生成**：SpatialLM 可以将现实世界的数据转化为虚拟环境中的丰富场景。通过
   其合成数据引擎，可以泛化生成亿万级新场景，为虚拟现实、增强现实和游戏开发等领域
   提供强大的支持。

## SpatialLM的技术原理

 * **视频输入与点云重建**：SpatialLM 使用 MASt3R-SLAM 技术处理输入的 RGB 视频。将
   视频拆解为帧，提取物体的细节空间点，计算其深度和位置，生成高密度的 3D 点云模型。
 * **点云编码与特征提取**：点云数据被编码器转化为紧凑的特征向量。保留了场景中物体
   的关键几何和语义信息。
 * **大语言模型生成场景代码**：通过大语言模型（LLM），将点云特征转化为结构化的场景
   代码。包含空间结构的坐标和尺寸，标注了物体的语义边界框（如“沙发 – 长 1.8 米 –
   距墙 0.5 米”）。
 * **结构化 3D 布局生成**：场景代码被进一步转换为结构化的 3D 场景布局，明确标注出
   每个物体的三维坐标、尺寸参数和类别信息。可以被可视化工具还原为可交互的 3D 场景。
 * **物理规则嵌入**：SpatialLM 内置了物理常识（如“家具不能悬空”“通道宽度≥0.8 米”），
   确保生成的 3D 场景符合物理规则。

## SpatialLM的项目地址

 * **Github仓库**：[https://github.com/manycore-research/SpatialLM](https://github.com/manycore-research/SpatialLM)
 * **HuggingFace模型库**：[https://huggingface.co/manycore-research/SpatialLM-Llama-1B](https://huggingface.co/manycore-research/SpatialLM-Llama-1B)

## SpatialLM的应用场景

 * **具身智能训练**：SpatialLM 能帮助机器人在虚拟环境中进行障碍规避、物体抓取等任务
   的训练。
 * **自动导航**：在机器人导航任务中，SpatialLM 可以实时解析环境中的空间信息，帮助
   机器人避开障碍物并规划最优路径。
 * **AR/VR 领域**：SpatialLM 能将现实世界的场景快速转化为虚拟环境中的丰富场景，支持
   增强现实和虚拟现实应用的开发。
 * **建筑设计与规划**：SpatialLM 可以分析建筑物的 3D 点云数据，识别出墙体、门窗等
   结构信息，帮助建筑设计和规划人员更高效地进行设计工作。
 * **教育与培训**：教育工作者可以用 SpatialLM 开发教育软件，帮助学生学习 3D 建模
   和空间视觉能力。通过直观的 3D 场景生成和解析，学生能更好地理解空间关系和几何概念。

🧭 文中关联 [AI 工具](https://ai.paooo.com/)官网与参数卡（语宙 AI 导航）

**HuggingFace ↗**

HuggingFace：AI模型开发社区，面向大语言模型场景提供便捷实用的在线功能支持，涵盖大
模型等实用方向。

❓ 常见问题解答（FAQ）

SpatialLM 是什么模型？

SpatialLM 是群核科技开源的空间理解多模态模型，核心能力是把普通手机拍摄的视频转成
结构化 3D 场景布局，并标注房间结构、家具位置、通道宽度等空间信息。

SpatialLM 需要什么设备采集数据？

不需要复杂传感器或智能穿戴设备，普通手机或相机拍摄的视频即可作为输入。这样能显著
降低空间数据采集门槛，方便开发者和研究者快速开展实验。

SpatialLM 适合哪些应用场景？

它适合具身智能训练、机器人自动导航、AR/VR 场景生成、建筑设计与规划，以及教育培训
等场景，尤其适合需要理解空间关系和生成 3D 结构的任务。

🔬 语宙深潜追问 · 进阶实操拆解

普通手机视频做空间理解要注意什么？

关键是相机轨迹稳定、覆盖完整和光照变化可控。落地时要先做关键帧筛选、房间分割和家具
实例化，再输出结构化场景图，避免直接追求高精网格导致鲁棒性下降。

这种模型最适合哪些应用场景？

最适合室内导航、AR标注、家居理解和具身智能前置感知。若要进产品，建议优先做“空间语
义层”而非纯3D重建，因为业务更关心可检索、可交互的结构信息。

🗳️ 读者观点微投票 · 您的实战立场是？

手机视频重建3D场景，真能落地吗？

🕸️ 语宙向量知识图谱 · 语义强关联深度内链

[🐋 所属权威专题：DeepSeek 深度实战与部署 →](https://paooo.com/topics/deepseek/)

 * [群核科技SpatialLM 1.5深度解析：用自然语言秒生3D场景，重塑室内设计与机器人训练](https://paooo.com/aigc-news/13993/)
 * [SpatialGen重磅开源：群核科技发布革命性3D场景生成模型，一键创建时空一致的沉浸式空间](https://paooo.com/aigc-news/13997/)
 * [SenseNova-Vision – 商汤开源的理解生成统一视觉大模型](https://paooo.com/aigc-news/30076/)
 * [SpatialVLA – 上海 AI Lab 联合上科大等推出的空间具身通用操作模型](https://paooo.com/aigc-news/21278/)

[🏛️ Prompt 语宙研究院](https://paooo.com/author/paooo-research/) · Prompt 语宙研究院（
paooo.com Research）专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示
词工程（Prompt Engineering）与全球高增长 AI 生产力工具实测追踪，致力于为中文开发
者与创作者提供一手、可复现的深度技术洞察。

[📄 Markdown 纯净版](https://paooo.com/aigc-news/20879/?format=md)

💡 这篇内容对您有启发吗？

[📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/)

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)
