Video Alchemist是什么
Video Alchemist是Snap公司等推出的新型视频生成模型,具备多主体、开放集合个性化能力,能根据文本提示和参考图像生成视频,无需在测试时进行优化。模型基于Diffusion Transformer模块,通过双重交叉注意力层将参考图像嵌入和主体级文本提示融入视频生成过程。Video Alchemist还引入了自动数据构建管道和多种数据增强技术,以增强模型对主体身份的关注,避免“复制粘贴效应”。为评估其性能,还提出了MSRVTT-Personalization新的视频个性化基准。
阅读目录

Video Alchemist的主要功能
- 个性化视频生成:具备内置的多主体、开放集合个性化能力,能同时对前景对象和背景进行个性化生成,无需在测试时进行优化。
- 基于文本提示和参考图像的条件生成:给定一个文本提示以及一组参考图像来概念化提示中的实体词,Video Alchemist能根据文本和参考图像生成相应的视频。
- Diffusion Transformer模块应用:模型基于新的Diffusion Transformer模块构建,通过额外的交叉注意力层将每个条件参考图像及其对应的主体级文本提示进行融合,实现多主体条件的生成,将每个主体的文字描述与其图像表示绑定在一起。
Video Alchemist的技术原理
- 多主体开放集合个性化:Video Alchemist具备内置的多主体、开放集合个性化能力,能同时对前景对象和背景进行个性化生成,无需在测试时进行优化。可以处理各种新颖的主体和背景概念,不需要对每个新主体或背景进行单独的优化。
- Diffusion Transformer模块:Video Alchemist基于新的Diffusion Transformer模块构建,模块通过额外的交叉注意力层将每个条件参考图像及其对应的主体级文本提示进行融合。具体来说,模型通过以下步骤实现多主体条件生成:
- 输入处理:给定一个文本提示和一组参考图像,模型首先将这些输入进行编码。
- 交叉注意力层:通过双重交叉注意力层,将参考图像嵌入和主体级文本提示融入视频生成过程,使生成的视频能够自然地保留主体身份和背景保真度。
- 主体级融合:引入主体级融合机制,将每个主体的文字描述与其图像表示绑定在一起,确保生成的视频中主体的准确性和一致性。
- 自动数据构建管道与图像增强:为了解决参考图像和视频配对数据集难以收集的问题,Video Alchemist设计了新的自动数据构建管道,引入了广泛的图像增强技术,以增强模型对主体身份的关注,避免“复制粘贴效应”:
- 数据收集:从多个帧中收集主体图像,并进行数据增强处理。
- 图像增强:通过多种数据增强技术,如旋转、缩放、颜色调整等,增强模型的泛化能力,减少过拟合现象。
- MSRVTT-Personalization基准:为了评估Video Alchemist的性能,引入了MSRVTT-Personalization新的视频个性化基准。在准确评估主体保真度,支持多种个性化场景,包括基于面部裁剪、单个或多个任意主体以及前景对象和背景组合的条件模式。
Video Alchemist的项目地址
- 项目官网:https://snap-research.github.io/open-set-video-personalization
- arXiv技术论文:https://arxiv.org/pdf/2501.06187
Video Alchemist的应用场景
- 短视频创作:个人用户可以将创意故事、奇幻场景转化为视频,制作独特的短视频分享至社交平台,展现个性。
- 动画制作:创作者可以用Video Alchemist生成动画角色和背景,快速制作动画短片,无需复杂的动画制作软件和技能。
- 历史事件:教师可以生成历史事件的视频,帮助学生更好地理解历史背景和事件过程。
- 剧本场景:制片人和导演可以生成剧本场景的初步视频样片,用于团队沟通和向投资方展示项目概念。
- 角色动作:可以生成角色的动作和表情,帮助演员和导演更好地理解角色的表演要求。
❓ 常见问题解答(FAQ)
Video Alchemist 适合做什么视频生成任务?
它适合需要主体一致性的个性化视频生成任务,例如短视频创作、动画角色与背景生成、历史事件演示、剧本场景样片和角色动作表情生成。核心优势是能同时处理多个主体,并保持身份与背景一致性。
Video Alchemist 和普通文生视频模型有什么区别?
普通文生视频模型通常只依赖文本提示,而 Video Alchemist 还能结合参考图像,并支持多主体、开放集合个性化。它通过双重交叉注意力把主体图像和主体级文本绑定到生成过程里,提升主体保真度。
MSRVTT-Personalization 基准主要评估什么?
MSRVTT-Personalization 是为个性化视频生成设计的新基准,重点评估主体保真度和多种个性化场景表现,包括面部裁剪、单个或多个任意主体,以及前景对象与背景组合等条件模式。
🔬 语宙深潜追问 · 进阶实操拆解
无需测试时优化为何更适合落地?
因为它把成本前移到训练阶段,推理时直接用文本和参考图像出结果,延迟更低、流程更简单,也更适合产品化。代价是训练数据和条件控制要做得更扎实,否则一旦遇到新主体或复杂交互,稳定性会下降。
多主体视频怎么避免身份串台?
要把每个主体的外观、位置和动作条件显式解耦,并在注意力里做主体级约束。实操上可增加身份保持损失、跨帧一致性约束和负样本干扰训练,减少服饰、脸部和道具在不同主体间互相污染。
🗳️ 读者观点微投票 · 您的实战立场是?
多主体个性化视频生成最难的是谁?
