Prompt 语宙Prompt 语宙
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
阅读: VideoPainter – 港中文联合腾讯等机构推出的视频修复和编辑框架
Share
通知 阅读更多
Font Resizer字体
Font Resizer字体
Prompt 语宙Prompt 语宙
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
已有帐户? 登陆
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
VideoPainter – 港中文联合腾讯等机构推出的视频修复和编辑框架
Prompt 语宙 > AIGC 资讯 > VideoPainter – 港中文联合腾讯等机构推出的视频修复和编辑框架
AIGC 资讯

VideoPainter – 港中文联合腾讯等机构推出的视频修复和编辑框架

Prompt 语宙研究院
最近更新: 2026年6月8日 下午3:00
AI视频生成 HuggingFace stable diffusion 开源大模型
SHARE
⚡ Prompt 语宙 AI 导读 · 30 秒核心看点
  • 双分支架构把背景保留与前景生成解耦,兼顾修复质量和编辑灵活性。
  • ID 重采样让长视频中的对象身份更稳定,减少漂移与突变问题。
  • VPData 与 VPBench 超 39 万段视频剪辑,为训练和评估提供了大规模支撑。

VideoPainter是什么

VideoPainter 是香港中文大学、腾讯ARC Lab、东京大学、澳门大学等机构推出的视频修复和编辑框架,专门用在处理任意长度的视频内容。VideoPainter基于双分支架构,结合轻量级上下文编码器和预训练的扩散模型,实现高效的背景保留和前景生成。框架支持插件式操作,用户根据需求灵活调整修复效果。VideoPainter 引入 ID 重采样技术,能在长视频中保持对象一致性。VideoPainter构建了 VPData 和 VPBench,目前最大的视频修复数据集,包含超过 39 万段视频剪辑,为大规模训练和评估提供支持。VideoPainter 在视频质量、掩码区域保留和文本对齐等多个指标上展现卓越了性能,为视频修复和编辑领域带来新的突破。

阅读目录
  • VideoPainter是什么
  • VideoPainter的主要功能
  • VideoPainter的技术原理
  • VideoPainter的项目地址
  • VideoPainter的应用场景

VideoPainter

VideoPainter的主要功能

  • 任意长度的视频修复:处理从短片段到长视频的各种内容,修复被遮挡或损坏的部分。
  • 背景保留与前景生成:基于双分支架构,实现背景的精确保留和前景的高质量生成。
  • 文本指导的视频编辑:支持用文本指令进行视频编辑,如添加、删除、替换或修改视频中的对象。
  • 对象一致性维持:在长视频中保持对象的身份一致性,避免出现对象漂移或突变。
  • 插件式控制:支持与不同的扩散模型或LoRA(低秩适配)模型结合,实现多样化的视频生成和编辑需求。

VideoPainter的技术原理

  • 双分支架构:
    • 背景分支:基于轻量级上下文编码器提取背景特征,注入到预训练的扩散模型中,确保背景的连贯性。
    • 前景分支:基于扩散模型的生成能力,根据文本提示生成前景内容,与背景特征结合,实现高质量的修复。
  • 轻量级上下文编码器:仅包含两层,占用主模型参数的6%,提取背景特征并以分组方式注入到扩散模型中。基于选择性特征融合,将背景特征注入到模型中,避免前景和背景信息混淆。
  • ID重采样技术:在训练时,增强目标区域的ID信息,提升模型对修复区域的感知能力。在推理时,将前一视频片段的修复区域特征与当前片段结合,确保长视频中对象的一致性。
  • 插件式控制:支持与不同的扩散模型或LoRA模型结合,用户根据需求选择合适的模型进行视频修复或编辑。兼容文本到视频(T2V)和图像到视频(I2V)扩散模型,进一步扩展应用范围。
  • 大规模数据集构建:用先进的视觉模型(如SAM2、Grounding DINO等),自动生成精确的分割掩码和密集的文本描述。构建VPData和VPBench,包含超过39万段视频剪辑,为大规模训练和评估提供支持。

VideoPainter的项目地址

  • 项目官网:https://yxbian23.github.io/project/video-painter/
  • GitHub仓库:https://github.com/TencentARC/VideoPainter
  • HuggingFace模型库:https://huggingface.co/TencentARC/VideoPainter
  • arXiv技术论文:https://arxiv.org/pdf/2503.05639

VideoPainter的应用场景

  • 影视修复与制作:修复老电影、电视剧中的损坏画面,或添加特效、修改场景。
  • 广告与营销:快速生成高质量视频内容,添加或替换背景、道具,实现个性化定制。
  • 视频创作与直播:实时修复视频中的错误或干扰,添加虚拟道具,提升视觉效果。
  • VR与AR应用:生成沉浸式视频内容,修复或修改虚拟场景,增强现实感。
  • 教育与培训:制作教学视频,修复古籍影像,添加虚拟设备或标注,增强教学效果。
🧭 文中关联 AI 工具官网与参数卡(语宙 AI 导航)
HuggingFace ↗
HuggingFace:AI模型开发社区,面向大语言模型场景提供便捷实用的在线功能支持,涵盖大模型等实用方向。
Arc Lab ↗
Arc Lab 是腾讯公司旗下专注于前沿AI技术探索的研究实验室,其核心功能并非面向终端用户的单一工具,而是一个
❓ 常见问题解答(FAQ)
VideoPainter适合修复长视频吗?

适合。VideoPainter专门面向任意长度视频设计,能处理短片段到长视频的修复与编辑任务,并通过ID重采样增强长视频中的对象一致性,降低漂移和突变风险。

VideoPainter支持哪些视频编辑方式?

它支持文本指导的视频编辑,可对视频中的对象进行添加、删除、替换或修改;同时也支持与不同扩散模型或LoRA结合,满足更灵活的生成与修复需求。

VideoPainter的数据集有什么特点?

框架构建了VPData和VPBench,包含超过39万段视频剪辑,是目前文中提到的最大视频修复数据集之一,可用于大规模训练、评估以及提升模型对修复区域的理解。

🔬 语宙深潜追问 · 进阶实操拆解
双分支架构为什么适合长视频?

一条分支负责保留原视频背景和时序结构,另一条分支专注生成或编辑前景内容。这样能减少全局漂移,尤其适合长片段里人物、镜头和场景持续变化的情况,比单一路径更稳。

ID重采样对视频编辑有什么价值?

它能把目标身份特征在时间维度上重新对齐,减少换脸、换物体或局部修复时的身份漂移。实际使用时要配合掩码质量和文本指令精度,否则再强的重采样也会被错误约束带偏。

🗳️ 读者观点微投票 · 您的实战立场是?
长视频编辑框架更该保一致还是保自由?
🕸️ 语宙向量知识图谱 · 语义强关联深度内链
🔓 所属权威专题:开源大模型与端侧推理 →
  • ProPainter – 南洋理工大学推出的AI视频修复项目
  • StableV2V – 中国科技大学开源的视频编辑项目
  • DiffuEraser – 阿里通义实验室推出的视频修复模型
  • PixelHacker – 华中科技联合VIVO推出的图像修复模型
🏛️ Prompt 语宙研究院 · Prompt 语宙研究院(paooo.com Research)专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示词工程(Prompt Engineering)与全球高增长 AI 生产力工具实测追踪,致力于为中文开发者与创作者提供一手、可复现的深度技术洞察。
📄 Markdown 纯净版
💡 这篇内容对您有启发吗?
📡 RSS 订阅✨ 提交 AI 工具 / 合作
🚀 Prompt 语宙 AI 创作者生态:探索 2,800+ 全球实用 AI 工具与高精度生图提示词咒语库
🧭 语宙 AI 导航 (ai.paooo.com)🎨 AI 生图 Prompt 库📚 核心专题导航⚡ AIGC 早报生成器
AI芯片短缺危机!SpaceX Terafab晶圆厂成败难料,或重塑太空AI格局
响应 3 秒超越专业口译!腾讯混元重磅开源同声传译大模型 Hy-SimulMT:首创先开口后修补架构、实时音色克隆与全场景盲测深度拆解
The Language of Motion – 斯坦福李飞飞团队推出的统一多模态语言模型
Dubbing v2 – ElevenLabs 推出的 AI 配音模型
xAI重磅发布Grok V9-Medium:1.5万亿参数专攻编程,Blackwell架构深度优化,剑指AI代码助手新霸主
TAGGED:AI视频生成HuggingFacestable diffusion开源大模型
分享
Email 复制链接 打印
Share
Prompt 语宙研究院 头像
ByPrompt 语宙研究院
Follow:
Prompt 语宙研究院(paooo.com Research)专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示词工程(Prompt Engineering)与全球高增长 AI 生产力工具实测追踪,致力于为中文开发者与创作者提供一手、可复现的深度技术洞察。
上一篇 Granite 4.0 Tiny Preview – IBM推出的语言模型 Granite 4.0 Tiny Preview – IBM推出的语言模型
下一篇 Evo 2 – Acr研究所联合英伟达、斯坦福等推出的生物学AI模型 Evo 2 – Acr研究所联合英伟达、斯坦福等推出的生物学AI模型
Ad image
Ad image

最近更新

花旗银行、摩根大通与美国银行等多家大型商业银行收紧服务条款,明确用户授权第三方 AI 智能体受损需自行担责
哪怕被黑客盗刷也不赔!花旗、摩根大通与美银等五大银行集体改写条款:使用第三方AI智能体风险由客户全权自担,生态入口博弈全面打响
AIGC 资讯
LangSmith for Coding Agents 代码智能体按 PR 结果核算成本与 ROI 官方封面图
340亿美元编码AI开销如何算清账?LangSmith上线代码智能体ROI追踪:按PR结果归因成本、五大工具全统一与线程上下文通胀治理指南
最新趋势
Axiom Math 利用 AI 多智能体集群完成 1.5 万页有限单群分类定理(CFSG)与 7500 页 Stacks 项目数学形式化验证的可视化点阵图
4300万行代码堪比Linux内核!Axiom Math用AI智能体攻克1.5万页“庞大定理”与Stacks项目形式化验证:百个里程碑与分层多智能体架构全拆解
最新趋势
印度具身智能数据初创公司 Humyn Labs 联合创始人 Ishank Gupta(左)与 Manish Agarwal(右)
半年营收破千万且90%来自美国!印度物理AI数据创企Humyn Labs获4700万美元A轮:双摄硬件、2100万债权垫资与20国采集网全拆解
AIGC 资讯

相关推荐

支付宝AI支付破3亿笔:全球首个AI原生支付基建落地,Token Pay与AI钱包重塑智能体交易
AI 工具AIGC 资讯

支付宝AI支付破3亿笔:全球首个AI原生支付基建落地,Token Pay与AI钱包重塑智能体交易

Prompt 语宙研究院
AI原生 AI支付 AI智能体 Claude Claude Code Cursor MiniMax Token Pay 支付宝
新加坡国立大学Paper2Video:AI一键将论文变演讲视频,开源多智能体框架颠覆学术传播
AI 工具AIGC 资讯

新加坡国立大学Paper2Video:AI一键将论文变演讲视频,开源多智能体框架颠覆学术传播

Prompt 语宙研究院
AIGC工具 Paper2Video 多智能体框架 学术视频生成 新加坡国立大学
Mistral Medium 3 – Mistral AI推出的多模态语言模型
AIGC 资讯

Mistral Medium 3 – Mistral AI推出的多模态语言模型

Prompt 语宙研究院
AI智能体 AI编程 Claude 大模型微调
OpenAI GPT-6 Astra 协同机械电子设计与原型设备架构实物图
AI 工具AIGC 资讯

一周出CAD图纸、一月真机出样!OpenAI官方展示GPT-6 Astra硬核造物:包办机械电路固件、携手马自达颠覆工业设计全景深度拆解

Prompt 语宙研究院
CAD建模 GPT-6 Astra OpenAI 工业设计 软硬件协同
/ Prompt 语宙 /

探索生成式 AI 的无限创作潜能,一站式获取前沿 AIGC 资讯、高阶 Prompt 咒语与全球实用 AI 工具。

核心专栏

  • 语宙 AI 工具导航
  • EVA 视觉抠图工坊Hot
  • 出海数字营销宝典
  • AI 生图咒语灵感库
  • 24H 硅谷 AI 情报流

生态与服务

  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作

标签

开源大模型 AI智能体 AI办公效率 AI绘画提示词 OpenAI 大模型微调 Midjourney AI编程 stable diffusion AI视频生成 ChatGPT 3D与空间智能 HuggingFace AI音频与语音 RAG检索增强 Claude Flux AIGC Gemini 通义千问 Anthropic Llama Cursor DeepSeek Prompt AI Agent Kimi 智谱AI 具身智能 YouTube
Prompt 语宙Prompt 语宙
Follow US
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.