# DiffSplat – 北大联合字节推出的 3D 生成框架

- Link: https://paooo.com/aigc-news/22491/
- Published: 2026-06-08T17:19:14+08:00
- Author: Prompt 语宙研究院

⚡ [Prompt](https://paooo.com/ai-image-prompts/) 语宙 AI 导读 · 30 秒核心看点

 * 从文本或单图快速生成 3D Gaussian Splats，兼顾速度与多视图一致性。
 * 基于预训练文生图扩散模型微调，并引入 3D 渲染损失增强几何一致性。
 * 支持文本、图像及组合输入，还可结合 ControlNet 做可控 3D 生成。

## DiffSplat是什么

DiffSplat是新型的 3D 生成方法，从文本提示和单视图图像快速生成 3D 高斯点阵（Gaussian
Splats）。通过微调预训练的文本到图像扩散模型，基于强大的 2D 先验知识，引入 3D 渲染
损失来确保生成的 3D 内容在多视图下保持一致性。DiffSplat 的核心优势在于其高效性和
灵活性，能在 1~2 秒内生成高质量的 3D 对象，支持文本条件、图像条件或两者的组合输入。
轻量级的重建模型用于构建结构化的高斯表示，为训练提供了高质量的数据支持。

阅读目录

 * [DiffSplat是什么](https://paooo.com/aigc-news/22491/#diffsplat%e6%98%af%e4%bb%80%e4%b9%88)
 * [DiffSplat的主要功能](https://paooo.com/aigc-news/22491/#diffsplat%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd)
 * [DiffSplat的技术原理](https://paooo.com/aigc-news/22491/#diffsplat%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86)
 * [DiffSplat的项目地址](https://paooo.com/aigc-news/22491/#diffsplat%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80)
 * [DiffSplat的应用场景](https://paooo.com/aigc-news/22491/#diffsplat%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af)

![DiffSplat](https://paooo.com/wp-content/uploads/2026/06/DiffSplat-website-1.avif)

## DiffSplat的主要功能

 * **从文本或图像生成 3D 高斯点阵**：DiffSplat 能直接从文本提示或单视图图像生成 
   3D 高斯点阵（Gaussian Splats），保持 3D 一致性。
 * **高效利用 2D 先验知识**：通过微调大规模文本到图像扩散模型，DiffSplat 有效基于
   网络规模的 2D 先验知识，同时引入 3D 渲染损失确保生成内容在任意视图下的 3D 一致性。
 * **支持多种条件输入**：DiffSplat 支持文本条件、图像条件或两者的组合输入，用户可以
   根据需要选择合适的条件。
 * **可控生成能力**：DiffSplat 可以与 ControlNet 等技术结合，实现基于文本提示和多种
   格式（如法线图、深度图、Canny 边缘图）的可控 3D 生成。

## DiffSplat的技术原理

 * **基于大规模预训练的文本到图像扩散模型**：DiffSplat 通过微调这些模型，直接生成
   3D 高斯点阵（Gaussian Splats），有效基于网络规模的 2D 先验知识。
 * **轻量级重建模型**：为了启动训练，DiffSplat 提出轻量级的重建模型，能快速生成多
   视图高斯点阵网格，用于可扩展的数据集构建。
 * **3D 渲染损失**：DiffSplat 引入了 3D 渲染损失，确保生成的 3D 内容在任意视图下
   都能保持一致性。

## DiffSplat的项目地址

 * **项目官网**：[https://chenguolin.github.io/projects/DiffSplat/](https://chenguolin.github.io/projects/DiffSplat/?utm_source=ai-bot.cn)
 * **GitHub仓库**：[https://github.com/chenguolin/DiffSplat](https://github.com/chenguolin/DiffSplat)
 * **arXiv技术论文**：[https://arxiv.org/pdf/2501.16764](https://arxiv.org/pdf/2501.16764)

## DiffSplat的应用场景

 * **3D 内容创作**：适用于快速原型设计和内容创作。设计师可以用 DiffSplat 快速生成
   3D 模型的初步版本，用于概念验证或进一步的精细调整。
 * **文本到 3D 生成**：DiffSplat 在文本条件下的 3D 生成任务中表现出色，能根据详细
   的文本描述生成与之匹配的 3D 模型。
 * **图像到 3D 重建**：DiffSplat 支持从单张图像生成 3D 模型，能准确反映输入图像的
   形状和纹理。从现有图像资源中快速生成 3D 模型，例如在影视特效、游戏开发等领域。
 * **下游应用支持**：DiffSplat 的生成结果可以直接用于多种下游应用，如 3D 打印、虚拟
   现实（VR）和增强现实（AR）等领域。

❓ 常见问题解答（FAQ）

DiffSplat适合做什么3D任务？

DiffSplat 适合文本到 3D 生成、单图到 3D 重建和快速 3D 内容创作。它能直接输出高斯
点阵表示，便于用于概念验证、原型设计，以及后续的精细编辑和下游应用。

DiffSplat为什么生成速度快？

它利用大规模预训练文本到图像扩散模型的 2D 先验，再通过微调直接生成 3D 高斯点阵，
并配合轻量级重建模型与 3D 渲染损失，因此能在较短时间内完成高质量生成。

DiffSplat能和ControlNet一起用吗？

可以。文章提到 DiffSplat 可结合 ControlNet 等技术，实现基于文本提示和法线图、深度
图、Canny 边缘图等条件的可控 3D 生成，提升生成结果的可控性与一致性。

🔬 语宙深潜追问 · 进阶实操拆解

单图生成3DGS时最关键的训练技巧是什么？

核心是把文本到图像扩散先微调到目标分布，再叠加多视图一致性与3D渲染损失。实操上要
控制相机采样、遮挡约束和几何正则，否则容易出现漂浮点、纹理穿帮和视角跳变。

如何评估DiffSplat是否适合生产管线？

优先看生成速度、可编辑性、跨视角一致性和导出到渲染引擎的稳定性。若业务需要快速出
样、轻量重建和后期可改，价值很高；若追求严格测量级精度，仍需和传统重建链路混用。

🗳️ 读者观点微投票 · 您的实战立场是？

DiffSplat更适合先做内容创作还是重建落地？

🕸️ 语宙向量知识图谱 · 语义强关联深度内链

[🧩 所属权威专题：ComfyUI 与 SD 节点控图 →](https://paooo.com/topics/comfyui-stable-diffusion/)

 * [GaussianAnything – 南洋理工 S-Lab 和上海 AI Lab 等推出的 3D 生成框架](https://paooo.com/aigc-news/21077/)
 * [GaussianEditor – 一种3D编辑算法，支持快速且精确地修改3D场景](https://paooo.com/aigc-news/27224/)
 * [Hi3DGen – 港中文、字节、清华联合推出的3D几何生成框架](https://paooo.com/aigc-news/20619/)
 * [GaussianCity – 南洋理工大学 S-Lab 团队推出的 3D 城市生成框架](https://paooo.com/aigc-news/21339/)

[🏛️ Prompt 语宙研究院](https://paooo.com/author/paooo-research/) · Prompt 语宙研究院（
paooo.com Research）专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示
词工程（Prompt Engineering）与全球高增长 AI 生产力工具实测追踪，致力于为中文开发
者与创作者提供一手、可复现的深度技术洞察。

[📄 Markdown 纯净版](https://paooo.com/aigc-news/22491/?format=md)

💡 这篇内容对您有启发吗？

[📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/)

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)
