Prompt 语宙Prompt 语宙
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
阅读: MatAnyone – 南洋理工和商汤科技推出的人像视频抠图框架
Share
通知 阅读更多
Font Resizer字体
Font Resizer字体
Prompt 语宙Prompt 语宙
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
已有帐户? 登陆
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
MatAnyone – 南洋理工和商汤科技推出的人像视频抠图框架
Prompt 语宙 > AIGC 资讯 > MatAnyone – 南洋理工和商汤科技推出的人像视频抠图框架
AIGC 资讯

MatAnyone – 南洋理工和商汤科技推出的人像视频抠图框架

Prompt 语宙研究院
最近更新: 2026年6月9日 上午2:23
3D与空间智能 AI视频生成 开源大模型
SHARE
⚡ Prompt 语宙 AI 导读 · 30 秒核心看点
  • 基于一致内存传播与区域自适应融合,MatAnyone在复杂背景视频中兼顾语义稳定与边界精度。
  • 引入大规模分割数据直接监督抠图头,并结合改进DDC损失,提升真实场景泛化与细节表现。
  • VM800与YoutubeMatte为训练和评估提供支撑,适合影视后期、直播虚拟背景和AR/VR抠图。

MatAnyone是什么

MatAnyone是南洋理工大学S-Lab实验室和商汤科技推出的,针对复杂背景人像视频抠图的先进框架,专注于目标指定的视频抠图任务。MatAnyone基于一致的内存传播模块和区域自适应内存融合技术,确保在视频序列中核心区域的语义稳定性和边界细节的精细度。MatAnyone引入新的训练策略,用大规模分割数据直接监督抠图头,显著提升模型在真实场景下的稳定性和泛化能力。MatAnyone配备了高质量、多样化的训练数据集VM800和更具挑战性的测试数据集YoutubeMatte,为模型训练和评估提供坚实基础。

阅读目录
  • MatAnyone是什么
  • MatAnyone的主要功能
  • MatAnyone的技术原理
  • MatAnyone的项目地址
  • MatAnyone的应用场景

MatAnyone

MatAnyone的主要功能

  • 稳定的目标跟踪:在整个视频中稳定地跟踪目标对象,在复杂或模糊的背景中保持目标的完整性。
  • 精细的边界细节提取:支持生成高质量的alpha遮罩,尤其是在边界区域(如头发、边缘等)表现出色,提供图像级的细节精度。
  • 适应多种视频类型:MatAnyone能处理不同类型的视频,包括电影、游戏、智能手机视频等,适应多种帧尺寸和媒体格式。
  • 交互性增强:用户能在第一帧指定目标分割掩码引导整个视频的抠图过程,实现更精准的交互式视频编辑。

MatAnyone的技术原理

  • 一致内存传播:
    • 内存融合:CMP模块基于估计当前帧与前一帧之间的alpha值变化,自适应地融合来自前一帧的信息。对于“大变化”区域(通常位于边界),更多依赖当前帧的信息;对于“小变化”区域(通常位于核心区域),保留前一帧的内存。
    • 区域自适应:基于轻量级的边界区域预测模块,估计每个查询令牌的变化概率,实现区域自适应的内存融合,显著提高核心区域的语义稳定性和边界区域的细节精度。
  • 核心区域监督:
    • 分割数据的直接监督:为克服真实视频抠图数据稀缺的问题,MatAnyone用大规模真实分割数据直接监督抠图头。基于在核心区域使用像素级损失(Lcore)和在边界区域使用改进的DDC损失(Lboundary),确保语义稳定性和细节精度。
    • 改进的DDC损失:基于调整DDC损失的计算方式,使其更适合视频抠图任务,避免传统DDC损失在边界区域产生的锯齿状和阶梯状边缘。
  • 新数据集和训练策略:
    • 高质量训练数据集:引入新的训练数据集VM800,规模是现有数据集VideoMatte240K的两倍,且在核心和边界区域的质量更高,显著提升模型的训练效果。
    • 多阶段训练:采用多阶段训练策略,先在视频抠图数据上初始化模型,基于分割数据进行核心区域监督,最后用图像抠图数据进一步优化边界细节。
  • 网络架构:
    • 编码器:采用ResNet-50作为编码器,提取特征并生成查询和键。
    • 对象变换器:基于对象变换器模块,将像素级内存按对象语义进行分组,减少低层次像素匹配带来的噪声。
    • 解码器:解码器基于多级上采样和跳跃连接,生成高精度的alpha遮罩。
    • 值编码器:将预测的alpha遮罩和图像特征编码为值,用在更新内存库。

MatAnyone的项目地址

  • 项目官网:https://pq-yang.github.io/projects/MatAnyone/
  • GitHub仓库:https://github.com/pq-yang/MatAnyone
  • arXiv技术论文:https://arxiv.org/pdf/2501.14677

MatAnyone的应用场景

  • 影视后期制作:用在背景替换和特效合成,将演员从原始背景中精准抠出,替换为虚拟或特效背景,提升画面的视觉效果和创意空间。
  • 视频会议与直播:在视频会议和直播中,实时将人物从复杂背景中分离出来,替换为虚拟背景或模糊背景,增强隐私保护和视觉效果。
  • 广告与营销:在广告视频制作中,将产品或人物从拍摄背景中抠出,替换为更具吸引力的背景,提升广告的视觉冲击力和吸引力。
  • 游戏开发:用在游戏中的视频内容制作,如角色动画、过场动画等,将角色从拍摄背景中精准抠出,替换为游戏场景,增强游戏的沉浸感。
  • 虚拟现实与增强现实:在VR和AR应用中,将用户或物体从现实场景中抠出,融合到虚拟环境中,提升用户体验和交互效果。
❓ 常见问题解答(FAQ)
MatAnyone适合做什么视频抠图?

MatAnyone主要面向复杂背景下的人像视频抠图,适合影视后期、视频会议、直播、广告制作、游戏内容和VR/AR等需要稳定分离人物与背景的场景。

MatAnyone为什么边界细节更好?

它通过区域自适应内存融合区分核心区域和边界区域:核心区域更强调语义稳定,边界区域更多依赖当前帧信息,并结合改进的DDC损失提升头发、轮廓等细节。

MatAnyone的训练数据和评估集是什么?

文中提到它使用新数据集VM800进行训练,规模是VideoMatte240K的两倍,并配合更具挑战性的测试集YoutubeMatte,用于验证模型在真实场景中的表现。

🔬 语宙深潜追问 · 进阶实操拆解
复杂背景下怎么减少抠图闪烁?

要把时序一致性放在第一位,利用记忆传播和前后帧约束锁住主体轮廓,再用区域自适应融合修补边缘。实际部署时还要控制遮挡场景的漂移,否则单帧好看、视频一播就抖。

影视和直播抠图的需求差异在哪?

影视更看重边缘精度和后期可修,直播更看重低延迟和稳定输出。前者可以接受更重的模型和离线修正,后者则要优先帧率、显存占用和极端光照下的鲁棒性。

🗳️ 读者观点微投票 · 您的实战立场是?
视频抠图落地,最难的是边界还是稳定性?
🕸️ 语宙向量知识图谱 · 语义强关联深度内链
🐋 所属权威专题:DeepSeek 深度实战与部署 →
  • FramePainter – 哈工大联合华为诺亚推出的交互式图像编辑AI工具
  • AnyStory – 阿里通义推出的高保真个性化文本到图像生成框架
  • VideoAnydoor – 港大联合阿里达摩院等机构推出的零样本视频对象插入框架
  • CineMaster – 快手推出的文本到视频生成框架,具备3D感知能力
🏛️ Prompt 语宙研究院 · Prompt 语宙研究院(paooo.com Research)专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示词工程(Prompt Engineering)与全球高增长 AI 生产力工具实测追踪,致力于为中文开发者与创作者提供一手、可复现的深度技术洞察。
📄 Markdown 纯净版
💡 这篇内容对您有启发吗?
📡 RSS 订阅✨ 提交 AI 工具 / 合作
🚀 Prompt 语宙 AI 创作者生态:探索 2,800+ 全球实用 AI 工具与高精度生图提示词咒语库
🧭 语宙 AI 导航 (ai.paooo.com)🎨 AI 生图 Prompt 库📚 核心专题导航⚡ AIGC 早报生成器
开源AI女友Clawra来了!基于OpenClaw,一键部署、自拍生成、深度定制,重新定义虚拟伴侣
MotionGen – 元象科技推出的3D动作生成模型
FlexiAct – 清华联合腾讯推出的动作迁移模型
OpenAI人才流动:前研究员田永龙入职腾讯,深耕视觉语言模型研发
GPT-5. 6 上线引爆需求:奥尔特曼称上周OpenAI智能体产品用量增长2. 5 倍
TAGGED:3D与空间智能AI视频生成开源大模型
分享
Email 复制链接 打印
Share
Prompt 语宙研究院 头像
ByPrompt 语宙研究院
Follow:
Prompt 语宙研究院(paooo.com Research)专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示词工程(Prompt Engineering)与全球高增长 AI 生产力工具实测追踪,致力于为中文开发者与创作者提供一手、可复现的深度技术洞察。
上一篇 CSM – Sesame团队推出的语音对话模型 CSM – Sesame团队推出的语音对话模型
下一篇 LangBot – 多模态即时聊天机器人构建与管理的开源平台 LangBot – 多模态即时聊天机器人构建与管理的开源平台
Ad image
Ad image

最近更新

花旗银行、摩根大通与美国银行等多家大型商业银行收紧服务条款,明确用户授权第三方 AI 智能体受损需自行担责
哪怕被黑客盗刷也不赔!花旗、摩根大通与美银等五大银行集体改写条款:使用第三方AI智能体风险由客户全权自担,生态入口博弈全面打响
AIGC 资讯
LangSmith for Coding Agents 代码智能体按 PR 结果核算成本与 ROI 官方封面图
340亿美元编码AI开销如何算清账?LangSmith上线代码智能体ROI追踪:按PR结果归因成本、五大工具全统一与线程上下文通胀治理指南
最新趋势
Axiom Math 利用 AI 多智能体集群完成 1.5 万页有限单群分类定理(CFSG)与 7500 页 Stacks 项目数学形式化验证的可视化点阵图
4300万行代码堪比Linux内核!Axiom Math用AI智能体攻克1.5万页“庞大定理”与Stacks项目形式化验证:百个里程碑与分层多智能体架构全拆解
最新趋势
印度具身智能数据初创公司 Humyn Labs 联合创始人 Ishank Gupta(左)与 Manish Agarwal(右)
半年营收破千万且90%来自美国!印度物理AI数据创企Humyn Labs获4700万美元A轮:双摄硬件、2100万债权垫资与20国采集网全拆解
AIGC 资讯

相关推荐

SeniorTalk – 智源联合南开开源的超高龄老年人中文对话语音数据集
AIGC 资讯

SeniorTalk – 智源联合南开开源的超高龄老年人中文对话语音数据集

Prompt 语宙研究院
AI音频与语音 HuggingFace 开源大模型
OpenAI又走一员大将:田永龙疑似投奔腾讯混元,将执掌多模态方向
AIGC 资讯

OpenAI又走一员大将:田永龙疑似投奔腾讯混元,将执掌多模态方向

Prompt 语宙研究院
AI智能体 Gemini OpenAI 腾讯混元 通义千问
xAI被曝曾利用Claude输出数据训练编码模型,因Anthropic撤销权限转入地下提取
AIGC 资讯

xAI被曝曾利用Claude输出数据训练编码模型,因Anthropic撤销权限转入地下提取

Prompt 语宙研究院
AI编程 Anthropic Claude Grok OpenAI
MiniCPM5-1B – 面壁智能联合清华开源的端侧文本基座模型
AIGC 资讯

MiniCPM5-1B – 面壁智能联合清华开源的端侧文本基座模型

Prompt 语宙研究院
Claude Cursor Llama 大模型微调 开源大模型
/ Prompt 语宙 /

探索生成式 AI 的无限创作潜能,一站式获取前沿 AIGC 资讯、高阶 Prompt 咒语与全球实用 AI 工具。

核心专栏

  • 语宙 AI 工具导航
  • EVA 视觉抠图工坊Hot
  • 出海数字营销宝典
  • AI 生图咒语灵感库
  • 24H 硅谷 AI 情报流

生态与服务

  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作

标签

开源大模型 AI智能体 AI办公效率 AI绘画提示词 OpenAI 大模型微调 Midjourney AI编程 stable diffusion AI视频生成 ChatGPT 3D与空间智能 HuggingFace AI音频与语音 RAG检索增强 Claude Flux AIGC Gemini 通义千问 Anthropic Llama Cursor DeepSeek Prompt AI Agent Kimi 智谱AI 具身智能 YouTube
Prompt 语宙Prompt 语宙
Follow US
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.