# Find3D – 加州理工学院推出的3D部件分割模型

- Link: https://paooo.com/aigc-news/25248/
- Published: 2026-07-12T19:48:29+08:00
- Author: Prompt 语宙研究院

⚡ [Prompt](https://paooo.com/ai-image-prompts/) 语宙 AI 导读 · 30 秒核心看点

 * 支持任意文本查询的开放世界3D部件分割，不受预定义部件集合限制。
 * 借助SAM、Gemini与SigLIP构建自动数据引擎，几乎无需人工注释即可训练。
 * 在Objaverse-General、ShapeNet-Part、PartNet-E等数据集上表现突出，推理速度比基
   线快6到300倍。

## Find3D是什么

Find3D是加州理工学院推出的3D部件分割模型，能根据任意文本查询分割任意对象的任何部分。
Find3D用一个强大的数据引擎自动从互联网上的3D资产生成训练数据，并用对比训练方法训练
一个可扩展的3D模型。Find3D在包括Objaverse-General、ShapeNet-Part和PartNet-E在内的
多个数据集上展现出色性能，实现高达3倍于次佳方法的平均交并比（mIoU）提升，能处理来自
iPhone照片和AI生成图像的野外3D构建。

阅读目录

 * [Find3D是什么](https://paooo.com/aigc-news/25248/#find3d%e6%98%af%e4%bb%80%e4%b9%88)
 * [Find3D的主要功能](https://paooo.com/aigc-news/25248/#find3d%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd)
 * [Find3D的技术原理](https://paooo.com/aigc-news/25248/#find3d%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86)
 * [Find3D的项目地址](https://paooo.com/aigc-news/25248/#find3d%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80)
 * [Find3D的应用场景](https://paooo.com/aigc-news/25248/#find3d%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af)

![Find3D](https://paooo.com/wp-content/uploads/2026/07/Find3D-website-1.avif)

## Find3D的主要功能

 * **开放世界3D部分分割**：识别和分割任何物体的任何部分，只需用文本查询即可，不受
   预定义部分集的限制。
 * **无需人工注释**：用数据引擎自动从互联网上的3D资产生成训练数据，无需人工注释。
 * **高性能与泛化能力**：在多个数据集上表现出色，与次佳方法相比，平均交并比（mIoU）
   提高3倍。
 * **快速推理**：比现有基线快6到300倍，显著提高推理速度。
 * **鲁棒性**：在不同的物体姿态和查询条件下保持稳定的分割效果。
 * **查询灵活性**：支持不同类型的文本查询，包括不同粒度和描述风格的部分查询。

## Find3D的技术原理

 * **数据引擎**：
    - 用2D基础模型（如SAM和Gemini）自动注释3D对象。
    - 将3D资产渲染成多个视图，每个视图传递给SAM进行分割。
    - 对于SAM返回的每个掩码，查询Gemini以获取相应的部分名称，形成（掩码，文本）对。
    - 将部分名称嵌入到视觉和语言基础模型（如SigLIP）的潜在嵌入空间中。
    - 基于投影几何将掩码反投影到3D点云中，形成（点，文本嵌入）对。
 * **模型训练**：
    - 基于Transformer的点云模型，该模型将点云视为序列，并执行块注意力。
    - 模型返回的点特征与文本嵌入的余弦相似度进行任何自由形式文本的查询。
    - 用对比学习目标处理标签的多义性和部分可见性问题，支持在数据引擎生成的数据上
      进行可扩展训练。
 * **对比学习目标**：
    - 解决每个点具有多个标签的问题，及由于每个掩码只覆盖部分视图而导致的未标记点
      问题。
    - 基于对比学习目标，让模型能学习到鲁棒的特征表示，在开放世界中实现准确的部分
      分割。

## Find3D的项目地址

 * **项目官网**：[ziqi-ma.github.io/find3dsite](https://ziqi-ma.github.io/find3dsite/?utm_source=ai-bot.cn)
 * **GitHub仓库**：[https://github.com/ziqi-ma/Find3D](https://github.com/ziqi-ma/Find3D)
 * **arXiv技术论文**：[https://arxiv.org/pdf/2411.13550v1](https://arxiv.org/pdf/2411.13550v1)
 * **在线体验Demo**：[https://huggingface.co/spaces/ziqima/Find3D](https://huggingface.co/spaces/ziqima/Find3D)

## Find3D的应用场景

 * **机器人视觉与操作**：在机器人领域，帮助机器人识别和定位物体的特定部分，进行精确
   的抓取、操作或交互。
 * **虚拟现实（VR）和增强现实（AR）**：在VR/AR应用中，提供对虚拟物体的更深层次理解，
   增强用户与虚拟环境的交互体验。
 * **计算机辅助设计（CAD）**：在CAD软件中，帮助设计师快速识别和编辑3D模型的特定部分，
   提高设计效率。
 * **游戏开发**：在游戏开发中，创建更复杂的3D物体交互，如角色装备的更换或物体的破坏
   效果。
 * **建筑和工程**：在建筑和工程领域，帮助分析和理解复杂的3D结构，如建筑模型或机械
   部件。

🧭 文中关联 [AI 工具](https://ai.paooo.com/)官网与参数卡（语宙 AI 导航）

**HuggingFace ↗**

HuggingFace：AI模型开发社区，面向大语言模型场景提供便捷实用的在线功能支持，涵盖大
模型等实用方向。

**Gemini ↗**

Google推出的AI聊天对话机器人Gemini。

❓ 常见问题解答（FAQ）

Find3D适合解决什么3D分割问题？

Find3D主要解决开放世界3D部件分割问题。用户只需输入文本查询，就能识别并分割任意物体
的任意部分，适合不想受限于固定类别或预定义部件集的场景。

Find3D为什么不需要大量人工标注？

它通过数据引擎自动从互联网上的3D资产生成训练数据：先渲染多视图，再用SAM分割、Gemini
命名，最后反投影到点云形成训练对。这样大幅减少人工注释需求。

Find3D在实际应用中有哪些优势？

它不仅在多个数据集上取得更高mIoU，还能保持较强鲁棒性和查询灵活性，推理速度也明显
快于现有基线，适合机器人、VR/AR、CAD、游戏和建筑工程等场景。

🔬 语宙深潜追问 · 进阶实操拆解

文本查询分割任意部件怎么训练？

通常要用大规模自动标注和对比学习，把“物体-部件-文本”三者对齐。训练时要覆盖不同类别、
尺度和遮挡情况，才能让模型学会从自然语言直接定位局部结构，而不是只认固定类别。

3倍mIoU提升为何还能更快推理？

因为它把搜索空间从全局扫描缩到文本引导的局部候选区域，再配合轻量特征匹配和高效后
处理。精度提升来自更强的语义对齐，速度提升来自更少的无效计算。

🗳️ 读者观点微投票 · 您的实战立场是？

开放世界3D分割最该先追精度还是泛化？

🕸️ 语宙向量知识图谱 · 语义强关联深度内链

[🔓 所属权威专题：开源大模型与端侧推理 →](https://paooo.com/topics/open-source-llm/)

 * [SAM2Point – 基于SAM2的零样本3D分割技术，增强3D分割精确度](https://paooo.com/aigc-news/26981/)
 * [LLaMA-Mesh – 清华联合英伟达推出的自然语言生成复杂的3D模型项目](https://paooo.com/aigc-news/25589/)
 * [Step1X-3D – 阶跃星辰联合LightIllusions开源的3D资产生成框架](https://paooo.com/aigc-news/18972/)
 * [PartGen – 牛津大学联合 Meta AI 推出的3D对象生成和重建框架](https://paooo.com/aigc-news/24538/)

[🏛️ Prompt 语宙研究院](https://paooo.com/author/paooo-research/) · Prompt 语宙研究院（
paooo.com Research）专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示
词工程（Prompt Engineering）与全球高增长 AI 生产力工具实测追踪，致力于为中文开发
者与创作者提供一手、可复现的深度技术洞察。

[📄 Markdown 纯净版](https://paooo.com/aigc-news/25248/?format=md)

💡 这篇内容对您有启发吗？

[📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/)

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)