Prompt 语宙Prompt 语宙
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
阅读: DiffuEraser – 阿里通义实验室推出的视频修复模型
Share
通知 阅读更多
Font Resizer字体
Font Resizer字体
Prompt 语宙Prompt 语宙
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
已有帐户? 登陆
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
DiffuEraser – 阿里通义实验室推出的视频修复模型
Prompt 语宙 > AIGC 资讯 > DiffuEraser – 阿里通义实验室推出的视频修复模型
AIGC 资讯

DiffuEraser – 阿里通义实验室推出的视频修复模型

Prompt 语宙研究院
最近更新: 2026年6月9日 上午3:19
AI视频生成 stable diffusion 通义千问
SHARE
⚡ Prompt 语宙 AI 导读 · 30 秒核心看点
  • 基于稳定扩散与 BrushNet,DiffuEraser 可补全遮罩区域并减少噪声伪影与幻觉。
  • 通过时间注意力与扩展时间感受野,模型在长视频推理中保持更强帧间一致性。
  • 适用于老电影修复、监控增强、影视后期与SD转HD/4K等视频增强场景。

DiffuEraser是什么

DiffuEraser是基于稳定扩散模型的视频修复模型,以更丰富的细节和更连贯的结构填充视频中的遮罩区域。模型通过结合先验信息来提供初始化和弱条件,有助于减少噪声伪影和抑制幻觉。为了在长序列推理期间提高时间一致性,DiffuEraser 扩展了先验模型和自身的时间感受野,进一步基于视频扩散模型的时间平滑特性来增强一致性。 DiffuEraser 的网络架构受 AnimateDiff 的启发,将运动模块集成到图像修复模型中。主要由主去噪 UNet 和辅助的 BrushNet 组成。BrushNet 分支接收由遮罩图像、遮罩和噪声潜变量组成的条件潜变量输入。BrushNet 提取的特征在经过零卷积块后逐层整合到去噪 UNet 中。去噪 UNet 处理噪声潜变量。为了增强时间一致性,模型在自注意力和交叉注意力层之后引入了时间注意力机制。去噪后,生成的图像使用模糊遮罩与输入的遮罩图像进行融合。

阅读目录
  • DiffuEraser是什么
  • DiffuEraser的主要功能
  • DiffuEraser的技术原理
  • DiffuEraser的项目地址
  • DiffuEraser的应用场景

DiffuEraser

DiffuEraser的主要功能

  • 未知像素的生成:基于稳定扩散模型的强大生成能力,DiffuEraser能为视频中从未出现过的像素生成合理且具有丰富细节和纹理的内容,有效解决了传统Transformer模型在处理大遮罩时常见的模糊和马赛克问题。
  • 已知像素的传播:DiffuEraser通过运动模块和先验模型的增强传播能力,确保已知像素(在某些遮罩帧中出现过的像素)能在不同帧之间充分且一致地传播。防止修复内容与未遮罩区域之间的冲突,提高结果的正确性和稳定性。
  • 时间一致性维护:在长序列推理期间,DiffuEraser通过扩展先验模型和自身的时间感受野,基于视频扩散模型的时间平滑特性,增强了所有帧之间完成内容的时间一致性。
  • 先验信息的注入:DiffuEraser通过注入先验信息来提供初始化和弱条件,有助于减少噪声伪影,抑制扩散模型常见的视觉幻觉,生成更准确、更真实的修复结果。
  • 网络架构优化:DiffuEraser的网络架构受到AnimateDiff的启发,将运动模块集成到图像修复模型BrushNet中,通过在自注意力和交叉注意力层之后引入时间注意力机制,进一步增强了时间一致性。

DiffuEraser的技术原理

  • 网络架构:DiffuEraser的网络架构受到AnimateDiff的启发,将运动模块集成到图像修复模型BrushNet中。架构主要由主去噪UNet和辅助的BrushNet组成。BrushNet分支接收由遮罩图像、遮罩和噪声潜变量组成的条件潜变量输入,提取的特征在经过零卷积块后逐层整合到去噪UNet中。去噪UNet负责处理噪声潜变量。为了增强时间一致性,模型在自注意力和交叉注意力层之后引入了时间注意力机制。去噪后,生成的图像使用模糊遮罩与输入的遮罩图像进行融合。
  • 视频修复问题的分解:DiffuEraser将视频修复问题分解为三个子问题:已知像素的传播、未知像素的生成以及完成内容的时间一致性维护。
  • 时间一致性优化:为了在长序列推理期间提高时间一致性,DiffuEraser采取了以下策略:
    • 扩展先验模型的时间感受野:通过预传播和预推理,先验模型能跨越整个时间域传播已知像素,确保完成内容与未遮罩区域的一致性,稳定结果。
    • 扩展DiffuEraser的时间感受野:通过预推理,DiffuEraser能够处理更广泛的视频帧,确保在长序列推理中生成内容的一致性。

DiffuEraser的项目地址

  • 项目官网:https://lixiaowen-xw.github.io/DiffuEraser-page/
  • GitHub仓库:https://github.com/lixiaowen-xw/DiffuEraser
  • arXiv技术论文:https://arxiv.org/pdf/2501.10018

DiffuEraser的应用场景

  • 电影和电视剧后期制作:在电影或电视剧的后期制作中,DiffuEraser可以用于修复视频中的遮罩区域,提升视频质量,进行去模糊和超分辨率处理,适应不同分辨率的播放需求。
  • 老电影修复:对于老旧影片的数字化修复,DiffuEraser能去除胶片的划痕、灰尘和其他退化,提升分辨率,让老电影焕发新生。
  • 监控视频增强:在安全监控领域,DiffuEraser可以增强监控视频的清晰度,帮助识别细节,提高监控效率。
  • 视频内容转换:内容创作者可以用DiffuEraser将标准清晰度(SD)的视频内容转换为高清(HD)或4K,满足现代显示设备的需求。
  • 体育赛事直播:在体育赛事直播中,DiffuEraser可以用于实时视频流的增强,提供更清晰的观看体验。
❓ 常见问题解答(FAQ)
DiffuEraser 主要解决什么视频问题?

它主要用于视频修复,重点解决遮罩区域补全、已知像素跨帧传播和长序列时间一致性问题。相比传统方法,它更擅长生成细节丰富、结构连贯的修复内容,并减少噪声伪影与视觉幻觉。

DiffuEraser 的核心技术架构是什么?

其架构受 AnimateDiff 启发,主要由主去噪 UNet 和辅助 BrushNet 组成。BrushNet 接收遮罩图像、遮罩和噪声潜变量,特征经零卷积逐层注入 UNet,并在注意力层后加入时间注意力增强一致性。

DiffuEraser 适合哪些实际应用场景?

适合电影电视剧后期、老电影数字修复、监控视频增强、SD 转 HD/4K 以及体育直播增强等场景。它的优势在于修复结果更清晰、细节更丰富,并能兼顾不同帧之间的稳定性。

🔬 语宙深潜追问 · 进阶实操拆解
DiffuEraser 适合接入哪些修复流程?

更适合“先检测遮罩、再局部重绘、最后时序校正”的流水线。对老片修复、字幕/水印去除、物体擦除最实用;若是大面积缺失,建议先做分镜级补全,再用它做细节增强。

长视频一致性怎么避免越修越假?

关键是控制重绘范围和时序约束:遮罩尽量小、参考帧要稳定、相邻帧共享身份特征。工程上可加光流/关键帧锚定与后处理去闪烁,否则细节越多,漂移越明显。

🗳️ 读者观点微投票 · 您的实战立场是?
视频修复该优先补细节还是保时间一致性?
🕸️ 语宙向量知识图谱 · 语义强关联深度内链
🧩 所属权威专题:ComfyUI 与 SD 节点控图 →
  • VideoPainter – 港中文联合腾讯等机构推出的视频修复和编辑框架
  • DreamClear – 中科院联合字节推出的高性能图像修复技术
  • Diffutoon – 阿里推出的AI将视频转卡通风格的框架
  • CodeFormer – AI照片修复工具,轻松去除图片和视频马赛克
🏛️ Prompt 语宙研究院 · Prompt 语宙研究院(paooo.com Research)专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示词工程(Prompt Engineering)与全球高增长 AI 生产力工具实测追踪,致力于为中文开发者与创作者提供一手、可复现的深度技术洞察。
📄 Markdown 纯净版
💡 这篇内容对您有启发吗?
📡 RSS 订阅✨ 提交 AI 工具 / 合作
🚀 Prompt 语宙 AI 创作者生态:探索 2,800+ 全球实用 AI 工具与高精度生图提示词咒语库
🧭 语宙 AI 导航 (ai.paooo.com)🎨 AI 生图 Prompt 库📚 核心专题导航⚡ AIGC 早报生成器
Pangea – 卡内基梅隆大学开源的多语言多模态大语言模型
布罗克曼承认Kimi K3″相当不错”,但称OpenAI仍握有”巨大优势”
Cline – AI编程助手,集成于 VSCode 实时检查语法错误
国产大模型掀起新一轮上市潮,阶跃星辰冲刺香港近年来最大AI IPO
ChatAnyone – 阿里通义推出的实时风格化肖像视频生成框架
TAGGED:AI视频生成stable diffusion通义千问
分享
Email 复制链接 打印
Share
Prompt 语宙研究院 头像
ByPrompt 语宙研究院
Follow:
Prompt 语宙研究院(paooo.com Research)专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示词工程(Prompt Engineering)与全球高增长 AI 生产力工具实测追踪,致力于为中文开发者与创作者提供一手、可复现的深度技术洞察。
上一篇 GameFactory – 香港大学和快手联合推出的可泛化游戏场景框架 GameFactory – 香港大学和快手联合推出的可泛化游戏场景框架
下一篇 星火医疗大模型X1 – 讯飞医疗推出的深度推理大模型 星火医疗大模型X1 – 讯飞医疗推出的深度推理大模型
Ad image
Ad image

最近更新

花旗银行、摩根大通与美国银行等多家大型商业银行收紧服务条款,明确用户授权第三方 AI 智能体受损需自行担责
哪怕被黑客盗刷也不赔!花旗、摩根大通与美银等五大银行集体改写条款:使用第三方AI智能体风险由客户全权自担,生态入口博弈全面打响
AIGC 资讯
LangSmith for Coding Agents 代码智能体按 PR 结果核算成本与 ROI 官方封面图
340亿美元编码AI开销如何算清账?LangSmith上线代码智能体ROI追踪:按PR结果归因成本、五大工具全统一与线程上下文通胀治理指南
最新趋势
Axiom Math 利用 AI 多智能体集群完成 1.5 万页有限单群分类定理(CFSG)与 7500 页 Stacks 项目数学形式化验证的可视化点阵图
4300万行代码堪比Linux内核!Axiom Math用AI智能体攻克1.5万页“庞大定理”与Stacks项目形式化验证:百个里程碑与分层多智能体架构全拆解
最新趋势
印度具身智能数据初创公司 Humyn Labs 联合创始人 Ishank Gupta(左)与 Manish Agarwal(右)
半年营收破千万且90%来自美国!印度物理AI数据创企Humyn Labs获4700万美元A轮:双摄硬件、2100万债权垫资与20国采集网全拆解
AIGC 资讯

相关推荐

上海AI Lab重磅发布MMSI-Video-Bench:评估大模型视频空间智能的终极基准
AI 工具AIGC 资讯

上海AI Lab重磅发布MMSI-Video-Bench:评估大模型视频空间智能的终极基准

Prompt 语宙研究院
AI视频理解 上海人工智能实验室 基准测试 多模态大语言模型 视频空间智能
宇树科技开源 UnifoLM-WMA-0:突破性世界模型赋能通用机器人学习与决策
AI 工具AIGC 资讯

宇树科技开源 UnifoLM-WMA-0:突破性世界模型赋能通用机器人学习与决策

Prompt 语宙研究院
UnifoLM-WMA-0 世界模型 宇树科技 策略增强 通用机器人
Skywork o1 – 昆仑万维推出的天工大模型4.0 o1版
AIGC 资讯

Skywork o1 – 昆仑万维推出的天工大模型4.0 o1版

Prompt 语宙研究院
Llama Llama 3 OpenAI 开源大模型
腾讯发布首个智能体行业应用LearnBuddy,打造专家同行的AI自主学习平台
AIGC 资讯

腾讯发布首个智能体行业应用LearnBuddy,打造专家同行的AI自主学习平台

Prompt 语宙研究院
AI办公效率 AI智能体 Kimi WorkBuddy
/ Prompt 语宙 /

探索生成式 AI 的无限创作潜能,一站式获取前沿 AIGC 资讯、高阶 Prompt 咒语与全球实用 AI 工具。

核心专栏

  • 语宙 AI 工具导航
  • EVA 视觉抠图工坊Hot
  • 出海数字营销宝典
  • AI 生图咒语灵感库
  • 24H 硅谷 AI 情报流

生态与服务

  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作

标签

开源大模型 AI智能体 AI办公效率 AI绘画提示词 OpenAI 大模型微调 Midjourney AI编程 stable diffusion AI视频生成 ChatGPT 3D与空间智能 HuggingFace AI音频与语音 RAG检索增强 Claude Flux AIGC Gemini 通义千问 Anthropic Llama Cursor DeepSeek Prompt AI Agent Kimi 智谱AI 具身智能 YouTube
Prompt 语宙Prompt 语宙
Follow US
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.