MeshPad – 草图驱动的AI 3D网格生成与编辑工具

MeshPad是什么

MeshPad 是基于草图输入的交互式艺术化网格生成与编辑工具，能将简单的二维草图迅速转化为高质量的 3D 网格模型，支持实时编辑。用户在草图上添加或删除线条，可对 3D 网格进行修改，如删除区域或添加新几何形状。 采用三角形序列表示，通过 Transformer 模型捕捉复杂几何关系，生成高质量网格。推测性预测策略可显著降低计算成本，加速编辑过程，每次编辑仅需几秒，生成的网格质量在 Chamfer 距离上比现有方法提升 22%。

MeshPad的主要功能

• 草图驱动的3D网格生成：用户只需绘制简单的二维草图，MeshPad 能自动将这些草图转化为高质量的三维网格模型。
• 实时交互式编辑：MeshPad 支持用户对生成的3D网格进行实时编辑。用户可以在草图上添加、删除或修改线条，操作会立即反映在3D网格模型上。
• 高效的网格处理：MeshPad 采用三角形序列表示法，能高效处理网格的添加和删除操作。内置的Transformer模型能捕捉复杂的几何关系，生成高质量的网格。
• 高质量网格输出：MeshPad 生成的网格在Chamfer距离上比现有方法提升22%，生成的3D模型更加精确，细节更加丰富。

MeshPad的技术原理

• 三角形序列表示：MeshPad 使用三角形序列表示法来高效处理网格的添加和删除操作。
• Transformer 模型：MeshPad 基于大型 Transformer 模型来捕捉复杂的几何关系。Transformer 模型在处理网格的添加和删除操作时，能递归地生成新的三角形网格，将新生成的网格与现有模型无缝融合。
  • 添加操作（Add）：Transformer 使用自回归模型预测新增三角面片的位置，通过“推测预测”对齐顶点坐标，确保新增部分与原网格完美融合。
  • 删除操作（Del）：通过分类网络分析网格中的顶点，给出“删除标签”，精准去除不需要的部分，不会破坏其他结构。
• 推测性预测策略：MeshPad 引入了一种顶点对齐的推测性预测策略。通过预测顶点的多个输出标记，显著降低了计算成本，加速了编辑过程。每次编辑仅需几秒钟，实现了真正的实时交互体验。
• 实时交互与优化：MeshPad 的交互式设计支持用户通过简单的草图操作（如添加或删除线条）来实时编辑 3D 网格模型。

MeshPad的项目地址

• 项目官网：https://derkleineli.github.io/meshpad/
• arXiv技术论文：https://arxiv.org/pdf/2503.01425

MeshPad的应用场景

• 艺术设计：快速将草图转化为3D雕塑、动画或游戏模型。
• 建筑设计：将手绘草图转化为建筑模型，实时调整设计细节。
• 工业设计：生成和修改产品原型，加速设计迭代过程。