# WorldCraft – 港科大推出的3D虚拟世界创建和定制系统

- Link: https://paooo.com/aigc-news/21449/
- Published: 2026-06-08T08:10:13+08:00
- Author: Prompt 语宙研究院

⚡ [Prompt](https://paooo.com/ai-image-prompts/) 语宙 AI 导读 · 30 秒核心看点

 * 基于LLM代理的3D世界创建系统，把自然语言直接转成可编辑的虚拟场景。
 * 三大模块分工明确：单体定制、布局优化、轨迹控制，覆盖从建模到动画。
 * 兼容现有深度3D生成器，提升场景资产丰富度与视觉质量，降低创作门槛。

## WorldCraft是什么

WorldCraft是香港科技大学推出的基于大型语言模型（LLM）代理的3D世界创建和定制系统，
用在创建和定制逼真的3D虚拟世界。基于自然语言交互，让用户能轻松生成复杂的室内外场景，
对场景中的物体和布局进行精细调整。WorldCraft由三个核心模块组成：ForgeIt用在单个物体
的定制，基于程序化生成实现精确的几何和纹理控制；ArrangeIt负责场景布局的生成，基于
分层数值优化实现功能性和美学的平衡；轨迹控制模块支持用户用对话控制物体运动和相机
轨迹，生成动画和视频。WorldCraft兼容现有的深度3D生成器，丰富场景资产，让非专业人士
高效实现创意设计。

阅读目录

 * [WorldCraft是什么](https://paooo.com/aigc-news/21449/#worldcraft%e6%98%af%e4%bb%80%e4%b9%88)
 * [WorldCraft的主要功能](https://paooo.com/aigc-news/21449/#worldcraft%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd)
 * [WorldCraft的技术原理](https://paooo.com/aigc-news/21449/#worldcraft%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86)
 * [WorldCraft的项目地址](https://paooo.com/aigc-news/21449/#worldcraft%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80)
 * [WorldCraft的应用场景](https://paooo.com/aigc-news/21449/#worldcraft%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af)

![WorldCraft](https://paooo.com/wp-content/uploads/2026/06/WorldCraft-website-1.
avif)

## WorldCraft的主要功能

 * **自然语言交互**：用户基于简单的文本指令或对话形式，创建和定制复杂的3D场景，无
   需专业的3D建模技能。
 * **单个物体定制**：用户能精确控制物体的几何形状、纹理和材质，实现个性化设计。
 * **场景布局生成**：根据用户的设计意图（如功能性和美学要求），生成合理的物体布局。
 * **场景动画控制**：用户基于自然语言描述物体或相机的运动轨迹，生成动画和视频。
 * **兼容性与扩展性**：系统支持与现有的深度3D生成器（如Infinigen）结合，丰富场景
   资产，提升视觉效果。

## WorldCraft的技术原理

 * **协调代理（Coordinator [Agent](https://paooo.com/trends/)）**：管理整个3D场景
   生成流程，将复杂任务分解为多个子任务，协调其他代理模块完成任务。支持用户与系统
   的多轮交互，实时调整生成结果。
 * **单个物体生成与定制**：基于LLM代理操作程序化生成器（如Infinigen），用自然语言
   指令生成具有精确几何形状和PBR纹理的3D物体。基于自动验证机制构建动态增长的手册，
   指导代理完成复杂的生成任务，支持多轮对话编辑。
 * **场景布局优化**：将场景布局问题建模为分层数值优化问题，基于模拟退火算法求解最优
   布局。支持用户用自然语言描述布局需求，将设计意图转化为优化目标和约束条件。
 * **轨迹控制模块**：基于ChatCam扩展，支持用户用自然语言描述物体或相机的运动轨迹。
   将轨迹描述转化为具体的运动命令，实现场景动画的生成。
 * **深度3D生成器集成**：系统兼容现有的深度3D生成器，用于引入艺术化的物体和丰富场景
   细节。基于程序化生成和深度生成的结合，提升场景的视觉质量和多样性。

## WorldCraft的项目地址

 * **arXiv技术论文**：[https://arxiv.org/pdf/2502.15601](https://arxiv.org/pdf/2502.15601)

## WorldCraft的应用场景

 * **建筑设计与室内设计**：快速生成建筑概念模型和虚拟样板间，基于自然语言定制室内
   布局和风格，优化设计流程并提升客户体验。
 * **影视与娱乐**：创建虚拟电影场景、游戏关卡和动画电影中的复杂场景，降低实景搭建
   成本，为虚拟现实（VR）和增强现实（AR）体验提供高度逼真的虚拟环境。
 * **教育与培训**：设计虚拟实验室、历史场景、地理环境和医疗培训场景，基于沉浸式体验
   增强学习效果，支持远程教育和专业技能培训。
 * **产品设计与展示**：快速生成产品概念模型和虚拟展厅，展示家具、汽车、电子设备等
   产品的设计，支持个性化定制和虚拟广告场景的创建。
 * **文化与艺术**：创建虚拟博物馆、艺术展览、历史建筑和文化节日场景，重现文化遗产，
   为艺术创作和文化体验提供沉浸式空间。

❓ 常见问题解答（FAQ）

WorldCraft适合没有建模基础的人吗？

适合。WorldCraft面向非专业用户，支持用自然语言创建和调整3D场景，无需掌握复杂建模
流程。用户可直接描述物体、布局和运动需求，系统再完成生成与优化。

WorldCraft和普通3D生成工具有什么区别？

它不只是生成单个模型，而是把物体定制、场景布局和动画轨迹控制整合到同一套LLM代理流程
中，并支持多轮对话修改，更适合完整虚拟世界搭建。

WorldCraft能做哪些实际场景？

可用于建筑与室内设计、影视游戏场景、教育培训、产品展示以及文化艺术空间等。它适合
快速生成虚拟样板间、实验室、展厅或沉浸式场景原型。

🔬 语宙深潜追问 · 进阶实操拆解

非专业用户如何高效改3D场景？

把修改拆成“对象级”而不是整场重生成：先锁定房间结构、主体物体和相机视角，再用局部
指令改位置、材质和尺寸。这样更容易保持一致性，也更适合反复迭代。

3D生成系统怎么避免场景穿模？

要在生成后加几何约束和碰撞检测，先做布局合法性校验，再做轨迹与动画约束。对高风险
区域可采用分步生成：先场景、后物体、再运动，减少一次性生成带来的结构冲突。

🗳️ 读者观点微投票 · 您的实战立场是？

自然语言造3D世界，最难卡在哪？

🕸️ 语宙向量知识图谱 · 语义强关联深度内链

[🤖 所属权威专题：AI Agent 智能体工作流 →](https://paooo.com/topics/ai-agents/)

 * [网易清华联手！LatticeWorld：AI文本一键生成UE5级3D世界，效率飙升90倍](https://paooo.com/aigc-news/13590/)
 * [ABot-World Studio – 高德推出的通用世界模型工坊](https://paooo.com/aigc-news/30666/)
 * [Meta重磅发布WorldGen：一句话生成可交互3D世界，游戏开发与VR内容创作将迎巨变](https://paooo.com/aigc-news/12891/)
 * [WonderWorld – 斯坦福和MIT联合推出的生成多样化连贯3D场景AI框架](https://paooo.com/aigc-news/26032/)

[🏛️ Prompt 语宙研究院](https://paooo.com/author/paooo-research/) · Prompt 语宙研究院（
paooo.com Research）专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示
词工程（Prompt Engineering）与全球高增长 AI 生产力工具实测追踪，致力于为中文开发
者与创作者提供一手、可复现的深度技术洞察。

[📄 Markdown 纯净版](https://paooo.com/aigc-news/21449/?format=md)

💡 这篇内容对您有启发吗？

[📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/)

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)
