# Dive3D重磅发布：北大x小红书联手破解文本生成3D多样性难题，SIM损失取代KL散度实现模式突破

- Link: https://paooo.com/aigc-news/14739/
- Published: 2026-06-27T22:12:22+08:00
- Author: Prompt 语宙研究院

⚡ [Prompt](https://paooo.com/ai-image-prompts/) 语宙 AI 导读 · 30 秒核心看点

 * SIM 损失替代 KL 散度，核心解决文本生成3D“千篇一律”的模式坍塌问题。
 * 在文本对齐、人类偏好和视觉保真度上表现突出，兼顾质量与多样性。
 * 支持 NeRF、高斯点云、Mesh 等多表示形式，适合游戏、影视、建筑等场景。

> **💡 站外导读：**文本到3D生成长期面临一个核心矛盾：如何在保证生成质量的同时，避免
> 输出结果千篇一律——即所谓的“模式坍塌”。传统方法依赖KL散度，倾向于生成最“安全”的
> 单一结果，严重限制了创意多样性和实际应用价值。随着AIGC浪潮席卷游戏、影视、建筑
> 等行业，市场对高质量、多样化3D资产的需求正呈指数级增长，技术突破迫在眉睫。

## Dive3D是什么

Dive3D是北京大学和小红书公司合作推出的文本到[3D生成](https://ai-bot.cn/ai-3d-model-generation-tools/)
框架。框架基于分数的匹配（Score Implicit Matching，SIM）损失替代传统的KL散度目标，
有效避免模式坍塌问题，显著提升3D生成内容的多样性。Dive3D在文本对齐、人类偏好和视觉
保真度方面表现出色，在GPTEval3D基准测试中取得优异的定量结果，证明了在生成高质量、
多样化3D资产方面的强大能力。

阅读目录

 * [Dive3D是什么](https://paooo.com/aigc-news/14739/#dive3d%e6%98%af%e4%bb%80%e4%b9%88)
 * [Dive3D的主要功能](https://paooo.com/aigc-news/14739/#dive3d%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd)
 * [Dive3D的技术原理](https://paooo.com/aigc-news/14739/#dive3d%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86)
 * [Dive3D的项目地址](https://paooo.com/aigc-news/14739/#dive3d%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80)
 * [Dive3D的应用场景](https://paooo.com/aigc-news/14739/#dive3d%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af)
       * [📝 站长洞察 (Editor’s Insight)](https://paooo.com/aigc-news/14739/#%f0%9f%93%9d-%e7%ab%99%e9%95%bf%e6%b4%9e%e5%af%9f-editor8217s-insight)

![Dive3D](https://paooo.com/wp-content/uploads/2026/05/Dive3D-website-1-1.avif)

## Dive3D的主要功能

 * **多样化3D内容生成**：根据文本提示生成多种风格和细节的3D模型，避免传统方法中常见
   的模式坍塌问题，即生成结果过于单一和相似。
 * **高质量3D模型生成**：支持生成的3D模型具有较高的视觉保真度，包括精细的纹理细节、
   逼真的几何形状和合理的光照效果等。
 * **良好的文本对齐能力**：支持生成的3D模型与输入的文本描述高度匹配，准确地反映文本
   中提到的各种元素和特征。
 * **支持多种3D表示形式**：支持生成不同类型的3D表示，如神经辐射场（NeRF）、高斯点
   云（Gaussian Splatting）和网格（Mesh）等，满足不同应用场景和用户的需求。

## Dive3D的技术原理

 * **分数隐式匹配（Score Implicit Matching，SIM）损失**：Dive3D的核心技术之一。传统
   的基于KL散度的损失函数（如在Score Distillation Sampling，SDS中使用）会导致模式
   寻求行为，让生成模型倾向于生成高密度区域的样本，限制生成的多样性。SIM损失直接
   匹配生成内容的概率密度梯度场（分数）和扩散先验的分数，避免KL散度的问题，鼓励模型
   探索多个高概率区域，在保持保真度的同时提高生成的多样性。
 * **统一的散度视角框架**：Dive3D将扩散蒸馏和奖励引导优化整合到一个基于散度的框架
   中。框架包括三个核心的散度损失，条件扩散先验损失（CDP）、无条件扩散先验损失（
   UDP）和奖励损失（ER）。基于合理地组合和调整损失的权重，在生成的多样性、文本对
   齐和视觉质量之间取得平衡。
 * **基于扩散模型的优化**：Dive3D用预训练的2D扩散模型（如[Stable Diffusion](https://paooo.com/tag/stable-diffusion/)）
   作为先验知识，基于多视图渲染将3D表示优化为与文本提示相匹配的2D图像。在优化过程
   中，迭代地对3D模型进行渲染、计算损失并更新模型参数，让生成的3D模型的渲染图像逐渐
   接近预训练扩散模型所期望的图像分布。
 * **高效的优化算法**：为提高优化效率，Dive3D用高效的优化算法和策略。例如，引入分类
   器自由引导（Classifier-Free Guidance，CFG）技术，在优化过程中更好地平衡文本条件
   和无条件的生成效果；基于合理设置噪声时间表和优化步长等参数，加快优化收敛速度，
   减少生成时间。

## Dive3D的项目地址

 * **项目官网**：https://ai4scientificimaging.org/dive3d/
 * **GitHub仓库**：https://github.com/ai4imaging/dive3d
 * **arXiv技术论文**：https://arxiv.org/pdf/2506.13594

## Dive3D的应用场景

 * **游戏开发**：快速生成游戏中的角色、道具和场景。根据游戏剧本中的描述，自动生成
   具有不同风格和细节的游戏角色模型，减少美术设计的工作量。
 * **影视制作**：为电影、电视剧和动画制作提供创意原型和概念设计。根据剧本描述生成
   场景和角色的3D模型，帮助导演和美术师更好地进行创意构思。
 * **建筑设计**：根据文本描述生成建筑模型，帮助建筑师快速展示设计概念，进行方案比较
   和优化。
 * **虚拟场景构建**：为VR和AR应用生成逼真的虚拟场景和物体。在虚拟旅游应用中，根据
   用户输入的地点描述生成相应的3D场景，让用户身临其境地体验虚拟环境。
 * **科学教育**：生成复杂的科学模型，如生物细胞、分子结构等，帮助学生更好地理解抽象
   的科学概念。

#### 📝 站长洞察 (Editor’s Insight)

Dive3D的发布标志着文本到3D生成进入了“多样性驱动”的新阶段。其核心创新——分数隐式匹配（
SIM）损失——从底层优化目标上根治了模式坍塌，这比单纯堆叠数据或算力更具范式意义。北大
与小红书的产学研结合，也揭示了中国AI产业的一个新动向：头部内容平台正从应用层深入
到基础模型研发，试图构建自己的内容生成技术护城河。未来，谁能更好地平衡多样性、保
真度与生成效率，谁就能在[AIGC](https://paooo.com/aigc-news/)内容供给端占据主导。
Dive3D对多表示形式（NeRF、高斯点云、网格）的支持，也体现了工程化落地的前瞻性，有望
成为下一代3D内容生产线的核心组件。

🧭 文中关联 [AI 工具](https://ai.paooo.com/)官网与参数卡（语宙 AI 导航）

**小红书 ↗**

小红书（Xiaohongshu）是中国领先的生活方式分享社区和社交电商平台。其核心功能围绕用户
生成内容（UGC）

❓ 常见问题解答（FAQ）

Dive3D解决了文本生成3D的什么问题？

它主要解决模式坍塌问题。传统 KL 散度容易让模型只生成“最安全”的单一结果，而 Dive3D
用 SIM 损失鼓励探索多个高概率区域，从而提升3D生成的多样性，同时尽量保持保真度与文本
对齐。

Dive3D为什么不用传统KL散度？

因为 KL 散度在这类优化中容易带来模式寻求，导致输出趋同。Dive3D改用分数隐式匹配（
SIM）损失，直接匹配概率密度梯度场与扩散先验的分数，更有利于在质量和多样性之间取得
平衡。

Dive3D适合哪些3D应用场景？

适合游戏角色与场景生成、影视概念设计、建筑方案展示、VR/AR虚拟场景构建，以及科学教育
中的复杂模型可视化。它支持 NeRF、高斯点云和 Mesh 等表示，便于不同落地需求。

🔬 语宙深潜追问 · 进阶实操拆解

SIM 损失怎么落到训练里？

可把 SIM 作为分布匹配项替换或并联 KL，在 latent/shape token 上直接约束相似性，减少
对单峰分布的偏置。实操上要配合重采样、温度调度和多样性指标监控，避免只提散度却伤害
文本对齐。

如何判断 3D 多样性是否真提升？

别只看单个可视化样例，建议同时看文本一致性、几何保真度和覆盖率指标，如多样性分数、
CLIP 对齐、人工偏好评测。若多样性升高但轮廓漂移明显，说明损失权重或采样策略还需回
调。

🗳️ 读者观点微投票 · 您的实战立场是？

SIM 损失真能替代 KL 解决 3D 模式坍塌吗？

🕸️ 语宙向量知识图谱 · 语义强关联深度内链

 * [DreamPolish – 智谱AI、清华、北大联合推出的文本到3D生成模型](https://paooo.com/aigc-news/25429/)
 * [DiffSplat – 北大联合字节推出的 3D 生成框架](https://paooo.com/aigc-news/22491/)
 * [字节跳动×浙大重磅开源ImmerseGen：文本一键生成沉浸式3D世界，VR/游戏开发范式革新](https://paooo.com/aigc-news/14712/)
 * [Kiss3DGen – 基于图像扩散模型的3D资产生成框架](https://paooo.com/aigc-news/21296/)

[🏛️ Prompt 语宙研究院](https://paooo.com/author/paooo-research/) · Prompt 语宙研究院（
paooo.com Research）专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示
词工程（Prompt Engineering）与全球高增长 AI 生产力工具实测追踪，致力于为中文开发
者与创作者提供一手、可复现的深度技术洞察。

[📄 Markdown 纯净版](https://paooo.com/aigc-news/14739/?format=md)

💡 这篇内容对您有启发吗？

[📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/)

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)
