Ingredients是什么
Ingredients是强大的框架,基于将多个特定身份(ID)照片与视频扩散Transformer相结合,用在定制视频创作。Ingredients基于三个核心模块实现高度定制化的视频生成:面部提取器、多尺度投影器和ID路由器。面部提取器从全局和局部视角捕捉每个身份的面部特征;多尺度投影器将这些特征映射到视频扩散模型的上下文中;ID路由器则动态分配和组合多个身份特征到相应的时间空间区域。基于精心设计的多阶段训练协议,Ingredients能在无需提示约束的情况下,生成具有高度身份保真度和内容灵活性的个性化视频。

Ingredients的主要功能
- 保持身份一致性:在生成的视频中保持多个参考图像中人物身份的一致性。
- 灵活的内容控制:支持用户用文本提示对视频内容进行精确控制。
- 高质量视频生成:生成具有高视觉质量和自然过渡的视频内容。
- 无需训练的定制:无需针对每个新身份进行模型训练或微调,实现定制化视频生成。
Ingredients的技术原理
- 面部提取器:负责从输入的参考图像中提取每个身份的面部特征。基于全局和局部相结合的方法,从全局视角提取整体面部信息,从局部视角提取细节特征,确保生成视频中人物面部的多样性和准确性。
- 多尺度投影器:将提取的面部特征嵌入映射到视频扩散变换器的图像查询上下文中。用多尺度特征融合和交叉注意力机制,使面部特征与视频扩散模型中的视觉令牌进行有效交互,在生成过程中准确地反映人物身份信息。
- ID路由器:负责在视频生成的时间空间区域内动态分配和组合多个身份特征。基于位置感知的路由网络,将每个潜在的面部区域分配给唯一的身份特征,避免身份特征的混合和混淆,确保生成视频中不同人物身份的清晰区分和一致性表达。
Ingredients的项目地址
- GitHub仓库:https://github.com/feizc/Ingredients
- HuggingFace模型库:https://huggingface.co/feizhengcong/Ingredients
- arXiv技术论文:https://arxiv.org/pdf/2501.01790
Ingredients的应用场景
- 娱乐创作:为虚拟偶像制作一段多场景的音乐视频,保持其面部特征和风格一致,增强粉丝互动。
- 广告行业:为时尚品牌定制不同风格的广告,展示目标受众在校园、街头等场景下的时尚造型,提高品牌吸引力。
- 教育教学:在语言学习应用中,创建国际会议场景视频,学习者观看不同国家代表的交流,学习商务英语和跨文化沟通。
- 社交媒体:用户制作家族历史视频,结合老照片和口述故事,展现家族成员在不同年代的生活场景,分享在社交媒体上引发共鸣。
- 虚拟现实:在虚拟现实旅游应用中,生成用户与虚拟导游在景点游览的视频,导游详细介绍景点历史和文化,增强旅游体验的真实感。
🧭 文中关联 AI 工具官网与参数卡(语宙 AI 导航)
❓ 常见问题解答(FAQ)
Ingredients适合做什么类型的视频生成?
它主要用于多ID照片定制视频生成,适合需要同时保留多个人物身份一致性的场景,如虚拟偶像、广告短片、教育演示、家族纪念视频和VR导览等。
Ingredients为什么能保持人物身份一致性?
核心在于面部提取器、多尺度投影器和ID路由器协同工作:先提取身份特征,再映射到视频扩散模型上下文,最后按时间空间区域动态分配身份,减少混淆。
使用Ingredients需要为每个新身份重新训练吗?
不需要。文章指出它支持无需针对每个新身份进行训练或微调的定制化视频生成,配合多阶段训练协议即可实现较高身份保真度和内容灵活性。
🔬 语宙深潜追问 · 进阶实操拆解
多身份视频生成最难的是什么?
最难的是身份保真、动作一致和文本可控三者同时成立。实际落地时要用身份编码隔离、分阶段训练和约束采样,避免不同人物特征互相串扰,尤其在多人同框时更容易出错。
无需微调如何保持新身份一致性?
关键是把身份信息显式注入到生成过程,并在训练中见过足够多的身份组合。推理时可通过参考图选择、注意力约束和身份一致性损失来稳住面部与服饰特征,减少漂移。
🗳️ 读者观点微投票 · 您的实战立场是?
多ID定制视频,免微调真能规模化吗?
