DiffuEraser是什么
DiffuEraser是基于稳定扩散模型的视频修复模型,以更丰富的细节和更连贯的结构填充视频中的遮罩区域。模型通过结合先验信息来提供初始化和弱条件,有助于减少噪声伪影和抑制幻觉。为了在长序列推理期间提高时间一致性,DiffuEraser 扩展了先验模型和自身的时间感受野,进一步基于视频扩散模型的时间平滑特性来增强一致性。 DiffuEraser 的网络架构受 AnimateDiff 的启发,将运动模块集成到图像修复模型中。主要由主去噪 UNet 和辅助的 BrushNet 组成。BrushNet 分支接收由遮罩图像、遮罩和噪声潜变量组成的条件潜变量输入。BrushNet 提取的特征在经过零卷积块后逐层整合到去噪 UNet 中。去噪 UNet 处理噪声潜变量。为了增强时间一致性,模型在自注意力和交叉注意力层之后引入了时间注意力机制。去噪后,生成的图像使用模糊遮罩与输入的遮罩图像进行融合。

DiffuEraser的主要功能
- 未知像素的生成:基于稳定扩散模型的强大生成能力,DiffuEraser能为视频中从未出现过的像素生成合理且具有丰富细节和纹理的内容,有效解决了传统Transformer模型在处理大遮罩时常见的模糊和马赛克问题。
- 已知像素的传播:DiffuEraser通过运动模块和先验模型的增强传播能力,确保已知像素(在某些遮罩帧中出现过的像素)能在不同帧之间充分且一致地传播。防止修复内容与未遮罩区域之间的冲突,提高结果的正确性和稳定性。
- 时间一致性维护:在长序列推理期间,DiffuEraser通过扩展先验模型和自身的时间感受野,基于视频扩散模型的时间平滑特性,增强了所有帧之间完成内容的时间一致性。
- 先验信息的注入:DiffuEraser通过注入先验信息来提供初始化和弱条件,有助于减少噪声伪影,抑制扩散模型常见的视觉幻觉,生成更准确、更真实的修复结果。
- 网络架构优化:DiffuEraser的网络架构受到AnimateDiff的启发,将运动模块集成到图像修复模型BrushNet中,通过在自注意力和交叉注意力层之后引入时间注意力机制,进一步增强了时间一致性。
DiffuEraser的技术原理
- 网络架构:DiffuEraser的网络架构受到AnimateDiff的启发,将运动模块集成到图像修复模型BrushNet中。架构主要由主去噪UNet和辅助的BrushNet组成。BrushNet分支接收由遮罩图像、遮罩和噪声潜变量组成的条件潜变量输入,提取的特征在经过零卷积块后逐层整合到去噪UNet中。去噪UNet负责处理噪声潜变量。为了增强时间一致性,模型在自注意力和交叉注意力层之后引入了时间注意力机制。去噪后,生成的图像使用模糊遮罩与输入的遮罩图像进行融合。
- 视频修复问题的分解:DiffuEraser将视频修复问题分解为三个子问题:已知像素的传播、未知像素的生成以及完成内容的时间一致性维护。
- 时间一致性优化:为了在长序列推理期间提高时间一致性,DiffuEraser采取了以下策略:
- 扩展先验模型的时间感受野:通过预传播和预推理,先验模型能跨越整个时间域传播已知像素,确保完成内容与未遮罩区域的一致性,稳定结果。
- 扩展DiffuEraser的时间感受野:通过预推理,DiffuEraser能够处理更广泛的视频帧,确保在长序列推理中生成内容的一致性。
DiffuEraser的项目地址
- 项目官网:https://lixiaowen-xw.github.io/DiffuEraser-page/
- GitHub仓库:https://github.com/lixiaowen-xw/DiffuEraser
- arXiv技术论文:https://arxiv.org/pdf/2501.10018
DiffuEraser的应用场景
- 电影和电视剧后期制作:在电影或电视剧的后期制作中,DiffuEraser可以用于修复视频中的遮罩区域,提升视频质量,进行去模糊和超分辨率处理,适应不同分辨率的播放需求。
- 老电影修复:对于老旧影片的数字化修复,DiffuEraser能去除胶片的划痕、灰尘和其他退化,提升分辨率,让老电影焕发新生。
- 监控视频增强:在安全监控领域,DiffuEraser可以增强监控视频的清晰度,帮助识别细节,提高监控效率。
- 视频内容转换:内容创作者可以用DiffuEraser将标准清晰度(SD)的视频内容转换为高清(HD)或4K,满足现代显示设备的需求。
- 体育赛事直播:在体育赛事直播中,DiffuEraser可以用于实时视频流的增强,提供更清晰的观看体验。
DiffuEraser 主要解决什么视频问题?
它主要用于视频修复,重点解决遮罩区域补全、已知像素跨帧传播和长序列时间一致性问题。相比传统方法,它更擅长生成细节丰富、结构连贯的修复内容,并减少噪声伪影与视觉幻觉。
DiffuEraser 的核心技术架构是什么?
其架构受 AnimateDiff 启发,主要由主去噪 UNet 和辅助 BrushNet 组成。BrushNet 接收遮罩图像、遮罩和噪声潜变量,特征经零卷积逐层注入 UNet,并在注意力层后加入时间注意力增强一致性。
DiffuEraser 适合哪些实际应用场景?
适合电影电视剧后期、老电影数字修复、监控视频增强、SD 转 HD/4K 以及体育直播增强等场景。它的优势在于修复结果更清晰、细节更丰富,并能兼顾不同帧之间的稳定性。
DiffuEraser 适合接入哪些修复流程?
更适合“先检测遮罩、再局部重绘、最后时序校正”的流水线。对老片修复、字幕/水印去除、物体擦除最实用;若是大面积缺失,建议先做分镜级补全,再用它做细节增强。
长视频一致性怎么避免越修越假?
关键是控制重绘范围和时序约束:遮罩尽量小、参考帧要稳定、相邻帧共享身份特征。工程上可加光流/关键帧锚定与后处理去闪烁,否则细节越多,漂移越明显。
