# DiffuEraser – 阿里通义实验室推出的视频修复模型

- Link: https://paooo.com/aigc-news/22553/
- Published: 2026-06-09T03:19:14+08:00
- Author: Prompt 语宙研究院

⚡ [Prompt](https://paooo.com/ai-image-prompts/) 语宙 AI 导读 · 30 秒核心看点

 * 基于稳定扩散与 BrushNet，DiffuEraser 可补全遮罩区域并减少噪声伪影与幻觉。
 * 通过时间注意力与扩展时间感受野，模型在长视频推理中保持更强帧间一致性。
 * 适用于老电影修复、监控增强、影视后期与SD转HD/4K等视频增强场景。

## DiffuEraser是什么

DiffuEraser是基于稳定扩散模型的视频修复模型，以更丰富的细节和更连贯的结构填充视频
中的遮罩区域。模型通过结合先验信息来提供初始化和弱条件，有助于减少噪声伪影和抑制
幻觉。为了在长序列推理期间提高时间一致性，DiffuEraser 扩展了先验模型和自身的时间
感受野，进一步基于视频扩散模型的时间平滑特性来增强一致性。 DiffuEraser 的网络架构
受 AnimateDiff 的启发，将运动模块集成到图像修复模型中。主要由主去噪 UNet 和辅助的
BrushNet 组成。BrushNet 分支接收由遮罩图像、遮罩和噪声潜变量组成的条件潜变量输入。
BrushNet 提取的特征在经过零卷积块后逐层整合到去噪 UNet 中。去噪 UNet 处理噪声潜变量。
为了增强时间一致性，模型在自注意力和交叉注意力层之后引入了时间注意力机制。去噪后，
生成的图像使用模糊遮罩与输入的遮罩图像进行融合。

阅读目录

 * [DiffuEraser是什么](https://paooo.com/aigc-news/22553/#diffueraser%e6%98%af%e4%bb%80%e4%b9%88)
 * [DiffuEraser的主要功能](https://paooo.com/aigc-news/22553/#diffueraser%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd)
 * [DiffuEraser的技术原理](https://paooo.com/aigc-news/22553/#diffueraser%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86)
 * [DiffuEraser的项目地址](https://paooo.com/aigc-news/22553/#diffueraser%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80)
 * [DiffuEraser的应用场景](https://paooo.com/aigc-news/22553/#diffueraser%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af)

![DiffuEraser](https://paooo.com/wp-content/uploads/2026/06/DiffuEraser-website-
1.avif)

## DiffuEraser的主要功能

 * **未知像素的生成**：基于稳定扩散模型的强大生成能力，DiffuEraser能为视频中从未
   出现过的像素生成合理且具有丰富细节和纹理的内容，有效解决了传统Transformer模型
   在处理大遮罩时常见的模糊和马赛克问题。
 * **已知像素的传播**：DiffuEraser通过运动模块和先验模型的增强传播能力，确保已知
   像素（在某些遮罩帧中出现过的像素）能在不同帧之间充分且一致地传播。防止修复内容
   与未遮罩区域之间的冲突，提高结果的正确性和稳定性。
 * **时间一致性维护**：在长序列推理期间，DiffuEraser通过扩展先验模型和自身的时间
   感受野，基于视频扩散模型的时间平滑特性，增强了所有帧之间完成内容的时间一致性。
 * **先验信息的注入**：DiffuEraser通过注入先验信息来提供初始化和弱条件，有助于减少
   噪声伪影，抑制扩散模型常见的视觉幻觉，生成更准确、更真实的修复结果。
 * **网络架构优化**：DiffuEraser的网络架构受到AnimateDiff的启发，将运动模块集成到
   图像修复模型BrushNet中，通过在自注意力和交叉注意力层之后引入时间注意力机制，进一步
   增强了时间一致性。

## DiffuEraser的技术原理

 * **网络架构**：DiffuEraser的网络架构受到AnimateDiff的启发，将运动模块集成到图像
   修复模型BrushNet中。架构主要由主去噪UNet和辅助的BrushNet组成。BrushNet分支接收
   由遮罩图像、遮罩和噪声潜变量组成的条件潜变量输入，提取的特征在经过零卷积块后逐
   层整合到去噪UNet中。去噪UNet负责处理噪声潜变量。为了增强时间一致性，模型在自注意力
   和交叉注意力层之后引入了时间注意力机制。去噪后，生成的图像使用模糊遮罩与输入的
   遮罩图像进行融合。
 * **视频修复问题的分解**：DiffuEraser将视频修复问题分解为三个子问题：已知像素的
   传播、未知像素的生成以及完成内容的时间一致性维护。
 * **时间一致性优化**：为了在长序列推理期间提高时间一致性，DiffuEraser采取了以下
   策略：
    - **扩展先验模型的时间感受野**：通过预传播和预推理，先验模型能跨越整个时间域
      传播已知像素，确保完成内容与未遮罩区域的一致性，稳定结果。
    - **扩展DiffuEraser的时间感受野**：通过预推理，DiffuEraser能够处理更广泛的视频
      帧，确保在长序列推理中生成内容的一致性。

## DiffuEraser的项目地址

 * **项目官网**：[https://lixiaowen-xw.github.io/DiffuEraser-page/](https://lixiaowen-xw.github.io/DiffuEraser-page/?utm_source=ai-bot.cn)
 * **GitHub仓库**：[https://github.com/lixiaowen-xw/DiffuEraser](https://github.com/lixiaowen-xw/DiffuEraser)
 * **arXiv技术论文**：[https://arxiv.org/pdf/2501.10018](https://arxiv.org/pdf/2501.10018)

## DiffuEraser的应用场景

 * **电影和电视剧后期制作**：在电影或电视剧的后期制作中，DiffuEraser可以用于修复
   视频中的遮罩区域，提升视频质量，进行去模糊和超分辨率处理，适应不同分辨率的播放
   需求。
 * **老电影修复**：对于老旧影片的数字化修复，DiffuEraser能去除胶片的划痕、灰尘和
   其他退化，提升分辨率，让老电影焕发新生。
 * **监控视频增强**：在安全监控领域，DiffuEraser可以增强监控视频的清晰度，帮助识别
   细节，提高监控效率。
 * **视频内容转换**：内容创作者可以用DiffuEraser将标准清晰度(SD)的视频内容转换为
   高清(HD)或4K，满足现代显示设备的需求。
 * **体育赛事直播**：在体育赛事直播中，DiffuEraser可以用于实时视频流的增强，提供
   更清晰的观看体验。

❓ 常见问题解答（FAQ）

DiffuEraser 主要解决什么视频问题？

它主要用于视频修复，重点解决遮罩区域补全、已知像素跨帧传播和长序列时间一致性问题。
相比传统方法，它更擅长生成细节丰富、结构连贯的修复内容，并减少噪声伪影与视觉幻觉。

DiffuEraser 的核心技术架构是什么？

其架构受 AnimateDiff 启发，主要由主去噪 UNet 和辅助 BrushNet 组成。BrushNet 接收
遮罩图像、遮罩和噪声潜变量，特征经零卷积逐层注入 UNet，并在注意力层后加入时间注意力
增强一致性。

DiffuEraser 适合哪些实际应用场景？

适合电影电视剧后期、老电影数字修复、监控视频增强、SD 转 HD/4K 以及体育直播增强等
场景。它的优势在于修复结果更清晰、细节更丰富，并能兼顾不同帧之间的稳定性。

🔬 语宙深潜追问 · 进阶实操拆解

DiffuEraser 适合接入哪些修复流程？

更适合“先检测遮罩、再局部重绘、最后时序校正”的流水线。对老片修复、字幕/水印去除、
物体擦除最实用；若是大面积缺失，建议先做分镜级补全，再用它做细节增强。

长视频一致性怎么避免越修越假？

关键是控制重绘范围和时序约束：遮罩尽量小、参考帧要稳定、相邻帧共享身份特征。工程
上可加光流/关键帧锚定与后处理去闪烁，否则细节越多，漂移越明显。

🗳️ 读者观点微投票 · 您的实战立场是？

视频修复该优先补细节还是保时间一致性？

🕸️ 语宙向量知识图谱 · 语义强关联深度内链

[🧩 所属权威专题：ComfyUI 与 SD 节点控图 →](https://paooo.com/topics/comfyui-stable-diffusion/)

 * [VideoPainter – 港中文联合腾讯等机构推出的视频修复和编辑框架](https://paooo.com/aigc-news/21167/)
 * [DreamClear – 中科院联合字节推出的高性能图像修复技术](https://paooo.com/aigc-news/25990/)
 * [Diffutoon – 阿里推出的AI将视频转卡通风格的框架](https://paooo.com/aigc-news/27818/)
 * [CodeFormer – AI照片修复工具，轻松去除图片和视频马赛克](https://paooo.com/aigc-news/27033/)

[🏛️ Prompt 语宙研究院](https://paooo.com/author/paooo-research/) · Prompt 语宙研究院（
paooo.com Research）专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示
词工程（Prompt Engineering）与全球高增长 AI 生产力工具实测追踪，致力于为中文开发
者与创作者提供一手、可复现的深度技术洞察。

[📄 Markdown 纯净版](https://paooo.com/aigc-news/22553/?format=md)

💡 这篇内容对您有启发吗？

[📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/)

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)
