# CustomCrafter – 腾讯联合浙大推出的自定义视频生成框架 - Link: https://paooo.com/aigc-news/27147/ - Published: 2026-07-09T03:40:08+08:00 - Author: 站外新闻 ## CustomCrafter是什么 CustomCrafter 是腾讯和浙江大学联合提出的自定义视频生成框架，能基于文本提示和参考 图像生成高质量的个性化视频，同时保留了运动生成和概念组合的能力。CustomCrafter通过 设计一系列灵活的模块，实现了无需额外视频，通过少量图像学习，就能生成所需的视频。 CustomCrafter 支持自定义主体身份和运动模式，通过保留运动生成和概念组合能力来生成 带有文本提示的视频。 阅读目录 * [CustomCrafter是什么](https://paooo.com/aigc-news/27147/#customcrafter%e6%98%af%e4%bb%80%e4%b9%88) * [CustomCrafter的主要功能](https://paooo.com/aigc-news/27147/#customcrafter%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd) * [CustomCrafter的技术原理](https://paooo.com/aigc-news/27147/#customcrafter%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86) * [CustomCrafter的项目地址](https://paooo.com/aigc-news/27147/#customcrafter%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80) * [如何使用CustomCrafter](https://paooo.com/aigc-news/27147/#%e5%a6%82%e4%bd%95%e4%bd%bf%e7%94%a8customcrafter) * [CustomCrafter的应用场景](https://paooo.com/aigc-news/27147/#customcrafter%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af) ![CustomCrafter](https://paooo.com/wp-content/uploads/2026/07/CustomCrafter-website- 1.avif) ## CustomCrafter的主要功能 * **文本提示和参考图像生成视频**：CustomCrafter 可以基于用户提供的文本提示和参考 图像生成视频，意味着用户可以指定想要生成的视频内容和风格。 * **保留运动生成能力**：框架在生成视频时能保留运动的连贯性和流畅性，即使在没有额外 视频指导的情况下也能生成具有自然运动的视频。 * **概念组合能力**：CustomCrafter 能将不同的概念组合在一起，生成具有创造性和多样 性的视频内容。 * **少量图像学习**：框架设计允许模型通过少量图像进行学习，而不需要大量的视频数据， 降低了数据收集和处理的复杂性。 * **空间主题学习模块**：CustomCrafter 使用 LoRA 方法构建了一个空间主题学习模块， 模块更新了空间变换器模型中的注意力层参数，更好地捕捉外观细节。 ## CustomCrafter的技术原理 * **视频扩散模型（Video Diffusion Model, VDM）**：CustomCrafter 基于视频扩散模型 来生成视频。VDM 是一种生成模型，它通过逐步去除噪声来生成数据，这里特指视频帧。 * **空间主题学习模块（Spatial Subject Learning Module）**：为了增强模型捕捉新主体 外观细节的能力，CustomCrafter 设计了一个即插即用模块。模块通过更新空间变换器模型 中的注意力层的 Query、Key 和 Value 参数来实现。 * **动态加权视频采样策略（Dynamic Weighted Video Sampling Strategy）**：CustomCrafter 观察到 VDM 在去噪的早期阶段倾向于恢复视频的运动，在后期阶段则专注于恢复主体细节。 基于这一观察，CustomCrafter 提出了一种策略，在去噪的早期阶段减少空间主题学习模 块的影响，以保留 VDM 生成运动的能力；在去噪的后期阶段增加该模块的影响，以修复 指定主体的外观细节。 * **去噪过程的两个阶段**：CustomCrafter 将去噪过程分为两个阶段：运动布局修复过程 和主题外观修复过程。在运动布局修复过程中，减少空间主题学习模块的影响，以保持运动 的连贯性；在主题外观修复过程中，恢复该模块的影响，以确保主体外观的逼真度。 ## CustomCrafter的项目地址 * **GitHub仓库**：[https://github.com/customcrafter](https://github.com/customcrafter) * **项目主页**：[https://customcrafter.github.io/](https://customcrafter.github.io/) * **arXiv技术论文**：[https://arxiv.org/pdf/2408.13239v1](https://arxiv.org/pdf/2408.13239v1) ## 如何使用CustomCrafter * **环境准备**：确保计算环境中安装了所有必要的软件和库，比如 Python、深度学习框架（ 如 PyTorch 或 TensorFlow）等。 * **获取 CustomCrafter**：访问 CustomCrafter 的 GitHub 仓库 或[项目主页](https://customcrafter.github.io/)， 下载或克隆代码库到本地。 * **安装依赖**：根据项目的 `requirements.txt` 或 `setup.py` 文件安装所需的依赖包。 * **数据准备**：准备或收集用于生成视频的文本提示和参考图像。这些数据将作为模型的 输入。 * **配置参数**：根据需要生成的视频类型和风格，配置模型参数，包括但不限于文本提示、 参考图像路径、输出视频的分辨率和帧率等。 * **模型训练**（如果需要）：如果 CustomCrafter 需要训练或微调以适应特定的数据集 或生成任务，按照项目文档中的指导进行模型训练。 * **视频生成**：使用配置好的参数和输入数据，运行 CustomCrafter 的视频生成脚本或 命令行工具来生成视频。 ## CustomCrafter的应用场景 * **影视制作**：在电影、电视剧或短片制作中，CustomCrafter 可以用来快速生成特定场景 的动画或特效，减少实际拍摄的成本和时间。 * **虚拟现实（VR）和增强现实（AR）**：在 VR 和 AR 应用中，CustomCrafter 可以生成 逼真的虚拟角色或环境，提供沉浸式体验。 * **游戏开发**：游戏设计师可以用 CustomCrafter 生成游戏中的动态场景或角色动画， 提高视觉效果和玩家体验。 * **广告和营销**：营销人员可以用 CustomCrafter 快速生成吸引人的视频广告，以适应 不同的市场和受众。 * **社交媒体内容创作**：社交媒体用户可以用 CustomCrafter 生成独特的视频内容，增加 粉丝互动和内容的吸引力。 **🚀 Prompt 语宙 AI 创作者生态：**探索 2,000+ 全球实用 AI 工具与高精度生图提示词 咒语库 [🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/) [⚡ AIGC 早报生成器](https://paooo.com/mtool/)