# MatAnyone – 南洋理工和商汤科技推出的人像视频抠图框架

- Link: https://paooo.com/aigc-news/22325/
- Published: 2026-06-09T02:23:21+08:00
- Author: Prompt 语宙研究院

⚡ [Prompt](https://paooo.com/ai-image-prompts/) 语宙 AI 导读 · 30 秒核心看点

 * 基于一致内存传播与区域自适应融合，MatAnyone在复杂背景视频中兼顾语义稳定与边界
   精度。
 * 引入大规模分割数据直接监督抠图头，并结合改进DDC损失，提升真实场景泛化与细节表现。
 * VM800与YoutubeMatte为训练和评估提供支撑，适合影视后期、直播虚拟背景和AR/VR抠图。

## MatAnyone是什么

MatAnyone是南洋理工大学S-Lab实验室和商汤科技推出的，针对复杂背景人像视频抠图的先进
框架，专注于目标指定的视频抠图任务。MatAnyone基于一致的内存传播模块和区域自适应内存
融合技术，确保在视频序列中核心区域的语义稳定性和边界细节的精细度。MatAnyone引入新的
训练策略，用大规模分割数据直接监督抠图头，显著提升模型在真实场景下的稳定性和泛化
能力。MatAnyone配备了高质量、多样化的训练数据集VM800和更具挑战性的测试数据集YoutubeMatte，
为模型训练和评估提供坚实基础。

阅读目录

 * [MatAnyone是什么](https://paooo.com/aigc-news/22325/#matanyone%e6%98%af%e4%bb%80%e4%b9%88)
 * [MatAnyone的主要功能](https://paooo.com/aigc-news/22325/#matanyone%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd)
 * [MatAnyone的技术原理](https://paooo.com/aigc-news/22325/#matanyone%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86)
 * [MatAnyone的项目地址](https://paooo.com/aigc-news/22325/#matanyone%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80)
 * [MatAnyone的应用场景](https://paooo.com/aigc-news/22325/#matanyone%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af)

![MatAnyone](https://paooo.com/wp-content/uploads/2026/06/MatAnyone-website-1.avif)

## MatAnyone的主要功能

 * **稳定的目标跟踪**：在整个视频中稳定地跟踪目标对象，在复杂或模糊的背景中保持目标
   的完整性。
 * **精细的边界细节提取**：支持生成高质量的alpha遮罩，尤其是在边界区域（如头发、
   边缘等）表现出色，提供图像级的细节精度。
 * **适应多种视频类型**：MatAnyone能处理不同类型的视频，包括电影、游戏、智能手机
   视频等，适应多种帧尺寸和媒体格式。
 * **交互性增强**：用户能在第一帧指定目标分割掩码引导整个视频的抠图过程，实现更精准
   的交互式视频编辑。

## MatAnyone的技术原理

 * **一致内存传播**：
    - **内存融合**：CMP模块基于估计当前帧与前一帧之间的alpha值变化，自适应地融合
      来自前一帧的信息。对于“大变化”区域（通常位于边界），更多依赖当前帧的信息；
      对于“小变化”区域（通常位于核心区域），保留前一帧的内存。
    - **区域自适应**：基于轻量级的边界区域预测模块，估计每个查询令牌的变化概率，
      实现区域自适应的内存融合，显著提高核心区域的语义稳定性和边界区域的细节精度。
 * **核心区域监督**：
    - **分割数据的直接监督**：为克服真实视频抠图数据稀缺的问题，MatAnyone用大规模
      真实分割数据直接监督抠图头。基于在核心区域使用像素级损失（Lcore）和在边界区域
      使用改进的DDC损失（Lboundary），确保语义稳定性和细节精度。
    - **改进的DDC损失**：基于调整DDC损失的计算方式，使其更适合视频抠图任务，避免
      传统DDC损失在边界区域产生的锯齿状和阶梯状边缘。
 * **新数据集和训练策略**：
    - **高质量训练数据集**：引入新的训练数据集VM800，规模是现有数据集VideoMatte240K
      的两倍，且在核心和边界区域的质量更高，显著提升模型的训练效果。
    - **多阶段训练**：采用多阶段训练策略，先在视频抠图数据上初始化模型，基于分割
      数据进行核心区域监督，最后用图像抠图数据进一步优化边界细节。
 * **网络架构**：
    - **编码器**：采用ResNet-50作为编码器，提取特征并生成查询和键。
    - **对象变换器**：基于对象变换器模块，将像素级内存按对象语义进行分组，减少低
      层次像素匹配带来的噪声。
    - **解码器**：解码器基于多级上采样和跳跃连接，生成高精度的alpha遮罩。
    - **值编码器**：将预测的alpha遮罩和图像特征编码为值，用在更新内存库。

## MatAnyone的项目地址

 * **项目官网**：[https://pq-yang.github.io/projects/MatAnyone/](https://pq-yang.github.io/projects/MatAnyone/?utm_source=ai-bot.cn)
 * **GitHub仓库**：[https://github.com/pq-yang/MatAnyone](https://github.com/pq-yang/MatAnyone)
 * **arXiv技术论文**：[https://arxiv.org/pdf/2501.14677](https://arxiv.org/pdf/2501.14677)

## MatAnyone的应用场景

 * **影视后期制作**：用在背景替换和特效合成，将演员从原始背景中精准抠出，替换为虚拟
   或特效背景，提升画面的视觉效果和创意空间。
 * **视频会议与直播**：在视频会议和直播中，实时将人物从复杂背景中分离出来，替换为
   虚拟背景或模糊背景，增强隐私保护和视觉效果。
 * **广告与营销**：在广告视频制作中，将产品或人物从拍摄背景中抠出，替换为更具吸引力
   的背景，提升广告的视觉冲击力和吸引力。
 * **游戏开发**：用在游戏中的视频内容制作，如角色动画、过场动画等，将角色从拍摄背景
   中精准抠出，替换为游戏场景，增强游戏的沉浸感。
 * **虚拟现实与增强现实**：在VR和AR应用中，将用户或物体从现实场景中抠出，融合到虚拟
   环境中，提升用户体验和交互效果。

❓ 常见问题解答（FAQ）

MatAnyone适合做什么视频抠图？

MatAnyone主要面向复杂背景下的人像视频抠图，适合影视后期、视频会议、直播、广告制作、
游戏内容和VR/AR等需要稳定分离人物与背景的场景。

MatAnyone为什么边界细节更好？

它通过区域自适应内存融合区分核心区域和边界区域：核心区域更强调语义稳定，边界区域
更多依赖当前帧信息，并结合改进的DDC损失提升头发、轮廓等细节。

MatAnyone的训练数据和评估集是什么？

文中提到它使用新数据集VM800进行训练，规模是VideoMatte240K的两倍，并配合更具挑战性的
测试集YoutubeMatte，用于验证模型在真实场景中的表现。

🔬 语宙深潜追问 · 进阶实操拆解

复杂背景下怎么减少抠图闪烁？

要把时序一致性放在第一位，利用记忆传播和前后帧约束锁住主体轮廓，再用区域自适应融合
修补边缘。实际部署时还要控制遮挡场景的漂移，否则单帧好看、视频一播就抖。

影视和直播抠图的需求差异在哪？

影视更看重边缘精度和后期可修，直播更看重低延迟和稳定输出。前者可以接受更重的模型
和离线修正，后者则要优先帧率、显存占用和极端光照下的鲁棒性。

🗳️ 读者观点微投票 · 您的实战立场是？

视频抠图落地，最难的是边界还是稳定性？

🕸️ 语宙向量知识图谱 · 语义强关联深度内链

[🐋 所属权威专题：DeepSeek 深度实战与部署 →](https://paooo.com/topics/deepseek/)

 * [FramePainter – 哈工大联合华为诺亚推出的交互式图像编辑AI工具](https://paooo.com/aigc-news/22738/)
 * [AnyStory – 阿里通义推出的高保真个性化文本到图像生成框架](https://paooo.com/aigc-news/22765/)
 * [VideoAnydoor – 港大联合阿里达摩院等机构推出的零样本视频对象插入框架](https://paooo.com/aigc-news/23272/)
 * [CineMaster – 快手推出的文本到视频生成框架，具备3D感知能力](https://paooo.com/aigc-news/22016/)

[🏛️ Prompt 语宙研究院](https://paooo.com/author/paooo-research/) · Prompt 语宙研究院（
paooo.com Research）专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示
词工程（Prompt Engineering）与全球高增长 AI 生产力工具实测追踪，致力于为中文开发
者与创作者提供一手、可复现的深度技术洞察。

[📄 Markdown 纯净版](https://paooo.com/aigc-news/22325/?format=md)

💡 这篇内容对您有启发吗？

[📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/)

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)
