# Diffutoon – 阿里推出的AI将视频转卡通风格的框架

- Link: https://paooo.com/aigc-news/27818/
- Published: 2026-07-09T15:31:44+08:00
- Author: 站外新闻

## Diffutoon是什么

Diffutoon是由阿里巴巴和华东师大的研究人员推出的一个将[视频转换为卡通动漫风格](https://ai-bot.cn/ai-video-to-anime-tools/)
的AI框架，基于扩散模型的可编辑卡通着色技术，能够将真实感视频转换成动漫风格。该技术
通过分解为风格化、一致性增强、结构引导和着色等子任务，实现了对视频的高分辨率和长
时间渲染。Diffutoon还具备内容编辑功能，可以根据文本提示调整视频细节，在处理视频时
保持了高度的视觉效果和一致性，实现了对视频动画的高效、高质量处理。

阅读目录

 * [Diffutoon是什么](https://paooo.com/aigc-news/27818/#diffutoon%e6%98%af%e4%bb%80%e4%b9%88)
 * [Diffutoon的功能特色](https://paooo.com/aigc-news/27818/#diffutoon%e7%9a%84%e5%8a%9f%e8%83%bd%e7%89%b9%e8%89%b2)
 * [Diffutoon的官网入口](https://paooo.com/aigc-news/27818/#diffutoon%e7%9a%84%e5%ae%98%e7%bd%91%e5%85%a5%e5%8f%a3)
 * [Diffutoon的技术原理](https://paooo.com/aigc-news/27818/#diffutoon%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86)

![Diffutoon](https://paooo.com/wp-content/uploads/2026/07/diffutoon-1.avif)

## Diffutoon的功能特色

 * **卡通视频渲染**：Diffutoon利用扩散模型将现实风格的视频转换成具有卡通或动漫风格
   的视频，实现视觉上的平面化和风格化效果。转换不仅包括颜色和纹理的变化，还涉及对
   光影、轮廓等元素的艺术化处理，以模仿手绘动画的视觉效果。
 * **高分辨率支持**：Diffutoon能够处理高分辨率视频，支持至少1536×1536像素的分辨率，
   确保在放大或高清显示设备上也能保持清晰度和细节，适合高质量的视频制作和展示需求。
 * **视频编辑**：用户可以通过文本提示对视频内容进行编辑，Diffutoon能够识别并根据
   这些提示调整视频的特定部分。编辑功能支持对角色、场景元素的外观和属性进行修改，
   如更换服装颜色、调整角色表情等。
 * **帧间一致性**：通过特定的算法和技术，Diffutoon确保视频序列中的每一帧在风格和
   内容上保持一致性，避免了视频播放时可能出现的闪烁、颜色突变或内容不连贯的问题，
   提高了观看体验。
 * **结构保持**：在视频风格化的过程中，Diffutoon能够识别并保留视频的关键结构信息，
   如角色的轮廓和物体的边缘，确保了即使在风格化之后，视频的主要内容和形状仍然清晰
   可辨。
 * **自动着色**：Diffutoon具备自动着色功能，能够根据视频内容和风格要求自动选择合适
   的颜色进行填充。自动着色不仅提高了生产效率，还能确保颜色的协调性和视觉吸引力，
   使得最终视频在色彩上更加和谐。

![Diffutoon](https://paooo.com/wp-content/uploads/2026/07/diffutoon-video-demo.avif)

## Diffutoon的官网入口

 * 官方项目主页：[https://ecnu-cilab.github.io/DiffutoonProjectPage/](https://ecnu-cilab.github.io/DiffutoonProjectPage/)
 * GitHub代码库：[https://github.com/modelscope/DiffSynth-Studio](https://github.com/modelscope/DiffSynth-Studio)
 * arXiv技术论文：[https://arxiv.org/abs/2401.16224](https://arxiv.org/abs/2401.16224)

## Diffutoon的技术原理

![Diffutoon的技术架构](https://paooo.com/wp-content/uploads/2026/07/diffutoon-pipelines.
avif)

 1.  **扩散模型的应用**：Diffutoon利用扩散模型作为图像合成的核心技术，通过学习数据集中
     的图像和视频的分布特性，实现从高维潜在空间到图像数据的转换。
 2.  **多模块去噪**：Diffutoon构建了一个多模块去噪模型，该模型结合了ControlNet和AnimateDiff
     等技术，用于处理视频中的可控性和一致性问题。
 3.  **风格化、一致性增强、结构引导和着色**：Diffutoon将卡通着色问题分解为四个子问题，
     每个子问题由特定的模型解决：
 4.   * **风格化**：使用个性化的[Stable Diffusion](https://paooo.com/tag/stable-diffusion/)
        模型实现动漫风格化。
      * **一致性增强**：通过在UNet中插入基于AnimateDiff的运动模块，保持视频帧之间的
        内容一致性。
      * **结构引导**：使用ControlNet模型提取和保留视频的结构信息，如轮廓。
      * **着色**：另一个ControlNet模型用于上色，提高视频质量，即使输入视频分辨率较低。
 5.  **滑动窗口方法**：采用滑动窗口方法迭代更新每一帧的潜在嵌入，这种方法有助于处理
     长视频并保持帧间的连贯性。
 6.  **编辑分支**：除了主卡通着色管道外，Diffutoon还包含一个编辑分支，用于根据文本提示
     生成编辑信号，这些信号以彩色视频的形式提供给主管道。
 7.  **高效率的注意力机制**：通过引入Flash Attention，减少GPU内存使用，提高处理高分辨
     率视频的效率。
 8.  **分类器自由引导**：使用分类器自由引导机制，通过文本提示进行视觉质量的优化。
 9.  **DDIM调度器**：使用DDIM（Denoising Diffusion Implicit Models）去噪扩散隐式模型
     调度器控制视频生成过程，平衡了生成质量和速度。
 10. **后期处理方法**：采用如FastBlend等后期处理技术，进一步增强视频的长期一致性和视觉
     效果。

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,000+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[⚡ AIGC 早报生成器](https://paooo.com/mtool/)