# VideoPainter – 港中文联合腾讯等机构推出的视频修复和编辑框架

- Link: https://paooo.com/aigc-news/21167/
- Published: 2026-06-08T15:00:50+08:00
- Author: Prompt 语宙研究院

⚡ [Prompt](https://paooo.com/ai-image-prompts/) 语宙 AI 导读 · 30 秒核心看点

 * 双分支架构把背景保留与前景生成解耦，兼顾修复质量和编辑灵活性。
 * ID 重采样让长视频中的对象身份更稳定，减少漂移与突变问题。
 * VPData 与 VPBench 超 39 万段视频剪辑，为训练和评估提供了大规模支撑。

## VideoPainter是什么

VideoPainter 是香港中文大学、腾讯ARC Lab、东京大学、澳门大学等机构推出的视频修复
和[编辑](https://ai-bot.cn/ai-video-editing-tools/)框架，专门用在处理任意长度的视频
内容。VideoPainter基于双分支架构，结合轻量级上下文编码器和预训练的扩散模型，实现
高效的背景保留和前景生成。框架支持插件式操作，用户根据需求灵活调整修复效果。VideoPainter
引入 ID 重采样技术，能在长视频中保持对象一致性。VideoPainter构建了 VPData 和 VPBench，
目前最大的视频修复数据集，包含超过 39 万段视频剪辑，为大规模训练和评估提供支持。
VideoPainter 在视频质量、掩码区域保留和文本对齐等多个指标上展现卓越了性能，为视频
修复和编辑领域带来新的突破。

阅读目录

 * [VideoPainter是什么](https://paooo.com/aigc-news/21167/#videopainter%e6%98%af%e4%bb%80%e4%b9%88)
 * [VideoPainter的主要功能](https://paooo.com/aigc-news/21167/#videopainter%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd)
 * [VideoPainter的技术原理](https://paooo.com/aigc-news/21167/#videopainter%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86)
 * [VideoPainter的项目地址](https://paooo.com/aigc-news/21167/#videopainter%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80)
 * [VideoPainter的应用场景](https://paooo.com/aigc-news/21167/#videopainter%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af)

![VideoPainter](https://paooo.com/wp-content/uploads/2026/06/VideoPainter-website-
1.avif)

## VideoPainter的主要功能

 * **任意长度的视频修复**：处理从短片段到长视频的各种内容，修复被遮挡或损坏的部分。
 * **背景保留与前景生成**：基于双分支架构，实现背景的精确保留和前景的高质量生成。
 * **文本指导的视频编辑**：支持用文本指令进行视频编辑，如添加、删除、替换或修改视频
   中的对象。
 * **对象一致性维持**：在长视频中保持对象的身份一致性，避免出现对象漂移或突变。
 * **插件式控制**：支持与不同的扩散模型或LoRA（低秩适配）模型结合，实现多样化的视频
   生成和编辑需求。

## VideoPainter的技术原理

 * **双分支架构**：
    - **背景分支**：基于轻量级上下文编码器提取背景特征，注入到预训练的扩散模型中，
      确保背景的连贯性。
    - **前景分支**：基于扩散模型的生成能力，根据文本提示生成前景内容，与背景特征
      结合，实现高质量的修复。
 * **轻量级上下文编码器**：仅包含两层，占用主模型参数的6%，提取背景特征并以分组方式
   注入到扩散模型中。基于选择性特征融合，将背景特征注入到模型中，避免前景和背景信息
   混淆。
 * **ID重采样技术**：在训练时，增强目标区域的ID信息，提升模型对修复区域的感知能力。
   在推理时，将前一视频片段的修复区域特征与当前片段结合，确保长视频中对象的一致性。
 * **插件式控制**：支持与不同的扩散模型或LoRA模型结合，用户根据需求选择合适的模型
   进行视频修复或编辑。兼容文本到视频（T2V）和图像到视频（I2V）扩散模型，进一步扩展
   应用范围。
 * **大规模数据集构建**：用先进的视觉模型（如SAM2、Grounding DINO等），自动生成精确
   的分割掩码和密集的文本描述。构建VPData和VPBench，包含超过39万段视频剪辑，为大规模
   训练和评估提供支持。

## VideoPainter的项目地址

 * **项目官网**：[https://yxbian23.github.io/project/video-painter/](https://yxbian23.github.io/project/video-painter/?utm_source=ai-bot.cn)
 * **GitHub仓库**：[https://github.com/TencentARC/VideoPainter](https://github.com/TencentARC/VideoPainter)
 * **HuggingFace模型库**：[https://huggingface.co/TencentARC/VideoPainter](https://huggingface.co/TencentARC/VideoPainter)
 * **arXiv技术论文**：[https://arxiv.org/pdf/2503.05639](https://arxiv.org/pdf/2503.05639)

## VideoPainter的应用场景

 * **影视修复与制作**：修复老电影、电视剧中的损坏画面，或添加特效、修改场景。
 * **广告与营销**：快速生成高质量视频内容，添加或替换背景、道具，实现个性化定制。
 * **视频创作与直播**：实时修复视频中的错误或干扰，添加虚拟道具，提升视觉效果。
 * **VR与AR应用**：生成沉浸式视频内容，修复或修改虚拟场景，增强现实感。
 * **教育与培训**：制作教学视频，修复古籍影像，添加虚拟设备或标注，增强教学效果。

🧭 文中关联 [AI 工具](https://ai.paooo.com/)官网与参数卡（语宙 AI 导航）

**HuggingFace ↗**

HuggingFace：AI模型开发社区，面向大语言模型场景提供便捷实用的在线功能支持，涵盖大
模型等实用方向。

**Arc Lab ↗**

Arc Lab 是腾讯公司旗下专注于前沿AI技术探索的研究实验室，其核心功能并非面向终端用户
的单一工具，而是一个

❓ 常见问题解答（FAQ）

VideoPainter适合修复长视频吗？

适合。VideoPainter专门面向任意长度视频设计，能处理短片段到长视频的修复与编辑任务，
并通过ID重采样增强长视频中的对象一致性，降低漂移和突变风险。

VideoPainter支持哪些视频编辑方式？

它支持文本指导的视频编辑，可对视频中的对象进行添加、删除、替换或修改；同时也支持
与不同扩散模型或LoRA结合，满足更灵活的生成与修复需求。

VideoPainter的数据集有什么特点？

框架构建了VPData和VPBench，包含超过39万段视频剪辑，是目前文中提到的最大视频修复数据
集之一，可用于大规模训练、评估以及提升模型对修复区域的理解。

🔬 语宙深潜追问 · 进阶实操拆解

双分支架构为什么适合长视频？

一条分支负责保留原视频背景和时序结构，另一条分支专注生成或编辑前景内容。这样能减少
全局漂移，尤其适合长片段里人物、镜头和场景持续变化的情况，比单一路径更稳。

ID重采样对视频编辑有什么价值？

它能把目标身份特征在时间维度上重新对齐，减少换脸、换物体或局部修复时的身份漂移。
实际使用时要配合掩码质量和文本指令精度，否则再强的重采样也会被错误约束带偏。

🗳️ 读者观点微投票 · 您的实战立场是？

长视频编辑框架更该保一致还是保自由？

🕸️ 语宙向量知识图谱 · 语义强关联深度内链

[🔓 所属权威专题：开源大模型与端侧推理 →](https://paooo.com/topics/open-source-llm/)

 * [ProPainter – 南洋理工大学推出的AI视频修复项目](https://paooo.com/aigc-news/27356/)
 * [StableV2V – 中国科技大学开源的视频编辑项目](https://paooo.com/aigc-news/25465/)
 * [DiffuEraser – 阿里通义实验室推出的视频修复模型](https://paooo.com/aigc-news/22553/)
 * [PixelHacker – 华中科技联合VIVO推出的图像修复模型](https://paooo.com/aigc-news/19888/)

[🏛️ Prompt 语宙研究院](https://paooo.com/author/paooo-research/) · Prompt 语宙研究院（
paooo.com Research）专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示
词工程（Prompt Engineering）与全球高增长 AI 生产力工具实测追踪，致力于为中文开发
者与创作者提供一手、可复现的深度技术洞察。

[📄 Markdown 纯净版](https://paooo.com/aigc-news/21167/?format=md)

💡 这篇内容对您有启发吗？

[📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/)

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)
