Prompt 语宙Prompt 语宙
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
阅读: Ingredients – 多ID照片定制视频生成框架,基于多ID照片与视频扩散相结合
Share
通知 阅读更多
Font Resizer字体
Font Resizer字体
Prompt 语宙Prompt 语宙
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
已有帐户? 登陆
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
Ingredients – 多ID照片定制视频生成框架,基于多ID照片与视频扩散相结合
Prompt 语宙 > AIGC 资讯 > Ingredients – 多ID照片定制视频生成框架,基于多ID照片与视频扩散相结合
AIGC 资讯

Ingredients – 多ID照片定制视频生成框架,基于多ID照片与视频扩散相结合

Prompt 语宙研究院
最近更新: 2026年6月9日 上午12:07
AI视频生成 HuggingFace stable diffusion 大模型微调 开源大模型
SHARE
⚡ Prompt 语宙 AI 导读 · 30 秒核心看点
  • 通过面部提取器、多尺度投影器和ID路由器,Ingredients实现多身份视频生成的稳定身份保持。
  • 框架支持文本提示控制内容,同时无需为每个新身份单独训练或微调,定制效率更高。
  • 适合虚拟偶像、广告、教育、社交媒体与VR旅游等多场景个性化视频创作。

Ingredients是什么

Ingredients是强大的框架,基于将多个特定身份(ID)照片与视频扩散Transformer相结合,用在定制视频创作。Ingredients基于三个核心模块实现高度定制化的视频生成:面部提取器、多尺度投影器和ID路由器。面部提取器从全局和局部视角捕捉每个身份的面部特征;多尺度投影器将这些特征映射到视频扩散模型的上下文中;ID路由器则动态分配和组合多个身份特征到相应的时间空间区域。基于精心设计的多阶段训练协议,Ingredients能在无需提示约束的情况下,生成具有高度身份保真度和内容灵活性的个性化视频。

阅读目录
  • Ingredients是什么
  • Ingredients的主要功能
  • Ingredients的技术原理
  • Ingredients的项目地址
  • Ingredients的应用场景

Ingredients

Ingredients的主要功能

  • 保持身份一致性:在生成的视频中保持多个参考图像中人物身份的一致性。
  • 灵活的内容控制:支持用户用文本提示对视频内容进行精确控制。
  • 高质量视频生成:生成具有高视觉质量和自然过渡的视频内容。
  • 无需训练的定制:无需针对每个新身份进行模型训练或微调,实现定制化视频生成。

Ingredients的技术原理

  • 面部提取器:负责从输入的参考图像中提取每个身份的面部特征。基于全局和局部相结合的方法,从全局视角提取整体面部信息,从局部视角提取细节特征,确保生成视频中人物面部的多样性和准确性。
  • 多尺度投影器:将提取的面部特征嵌入映射到视频扩散变换器的图像查询上下文中。用多尺度特征融合和交叉注意力机制,使面部特征与视频扩散模型中的视觉令牌进行有效交互,在生成过程中准确地反映人物身份信息。
  • ID路由器:负责在视频生成的时间空间区域内动态分配和组合多个身份特征。基于位置感知的路由网络,将每个潜在的面部区域分配给唯一的身份特征,避免身份特征的混合和混淆,确保生成视频中不同人物身份的清晰区分和一致性表达。

Ingredients的项目地址

  • GitHub仓库:https://github.com/feizc/Ingredients
  • HuggingFace模型库:https://huggingface.co/feizhengcong/Ingredients
  • arXiv技术论文:https://arxiv.org/pdf/2501.01790

Ingredients的应用场景

  • 娱乐创作:为虚拟偶像制作一段多场景的音乐视频,保持其面部特征和风格一致,增强粉丝互动。
  • 广告行业:为时尚品牌定制不同风格的广告,展示目标受众在校园、街头等场景下的时尚造型,提高品牌吸引力。
  • 教育教学:在语言学习应用中,创建国际会议场景视频,学习者观看不同国家代表的交流,学习商务英语和跨文化沟通。
  • 社交媒体:用户制作家族历史视频,结合老照片和口述故事,展现家族成员在不同年代的生活场景,分享在社交媒体上引发共鸣。
  • 虚拟现实:在虚拟现实旅游应用中,生成用户与虚拟导游在景点游览的视频,导游详细介绍景点历史和文化,增强旅游体验的真实感。
🧭 文中关联 AI 工具官网与参数卡(语宙 AI 导航)
HuggingFace ↗
HuggingFace:AI模型开发社区,面向大语言模型场景提供便捷实用的在线功能支持,涵盖大模型等实用方向。
❓ 常见问题解答(FAQ)
Ingredients适合做什么类型的视频生成?

它主要用于多ID照片定制视频生成,适合需要同时保留多个人物身份一致性的场景,如虚拟偶像、广告短片、教育演示、家族纪念视频和VR导览等。

Ingredients为什么能保持人物身份一致性?

核心在于面部提取器、多尺度投影器和ID路由器协同工作:先提取身份特征,再映射到视频扩散模型上下文,最后按时间空间区域动态分配身份,减少混淆。

使用Ingredients需要为每个新身份重新训练吗?

不需要。文章指出它支持无需针对每个新身份进行训练或微调的定制化视频生成,配合多阶段训练协议即可实现较高身份保真度和内容灵活性。

🔬 语宙深潜追问 · 进阶实操拆解
多身份视频生成最难的是什么?

最难的是身份保真、动作一致和文本可控三者同时成立。实际落地时要用身份编码隔离、分阶段训练和约束采样,避免不同人物特征互相串扰,尤其在多人同框时更容易出错。

无需微调如何保持新身份一致性?

关键是把身份信息显式注入到生成过程,并在训练中见过足够多的身份组合。推理时可通过参考图选择、注意力约束和身份一致性损失来稳住面部与服饰特征,减少漂移。

🗳️ 读者观点微投票 · 您的实战立场是?
多ID定制视频,免微调真能规模化吗?
🕸️ 语宙向量知识图谱 · 语义强关联深度内链
🐋 所属权威专题:DeepSeek 深度实战与部署 →
  • ID-Animator – 腾讯等推出的个性化人物视频生成框架
  • ConsisID – 北大联合鹏城实验室等机构推出的文本到视频生成模型
  • Phantom – 字节跳动推出的主体一致视频生成框架
  • DreaMoving – 阿里开源的基于扩散模型的人类视频生成框架
🏛️ Prompt 语宙研究院 · Prompt 语宙研究院(paooo.com Research)专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示词工程(Prompt Engineering)与全球高增长 AI 生产力工具实测追踪,致力于为中文开发者与创作者提供一手、可复现的深度技术洞察。
📄 Markdown 纯净版
💡 这篇内容对您有启发吗?
📡 RSS 订阅✨ 提交 AI 工具 / 合作
🚀 Prompt 语宙 AI 创作者生态:探索 2,800+ 全球实用 AI 工具与高精度生图提示词咒语库
🧭 语宙 AI 导航 (ai.paooo.com)🎨 AI 生图 Prompt 库📚 核心专题导航⚡ AIGC 早报生成器
BiGR – 统一条件生成图像的模型框架,增强生成质量和表示能力
[AI生图咒语] 超写实韩系温馨粉色卧室少女学习
moonshot-v1-vision-preview – 月之暗面推出的多模态图片理解模型
VLN-R1:港大联合上海AI Lab发布具身智能框架,用视觉语言模型实现3D连续导航
MangaNinja – 基于参考图像的线稿着色技术
TAGGED:AI视频生成HuggingFacestable diffusion大模型微调开源大模型
分享
Email 复制链接 打印
Share
Prompt 语宙研究院 头像
ByPrompt 语宙研究院
Follow:
Prompt 语宙研究院(paooo.com Research)专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示词工程(Prompt Engineering)与全球高增长 AI 生产力工具实测追踪,致力于为中文开发者与创作者提供一手、可复现的深度技术洞察。
上一篇 Long-VITA – 腾讯优图联合南大、厦大开源的多模态模型 Long-VITA – 腾讯优图联合南大、厦大开源的多模态模型
下一篇 MinT – 生成顺序事件的文本转视频模型,灵活控制时间戳 MinT – 生成顺序事件的文本转视频模型,灵活控制时间戳
Ad image
Ad image

最近更新

花旗银行、摩根大通与美国银行等多家大型商业银行收紧服务条款,明确用户授权第三方 AI 智能体受损需自行担责
哪怕被黑客盗刷也不赔!花旗、摩根大通与美银等五大银行集体改写条款:使用第三方AI智能体风险由客户全权自担,生态入口博弈全面打响
AIGC 资讯
LangSmith for Coding Agents 代码智能体按 PR 结果核算成本与 ROI 官方封面图
340亿美元编码AI开销如何算清账?LangSmith上线代码智能体ROI追踪:按PR结果归因成本、五大工具全统一与线程上下文通胀治理指南
最新趋势
Axiom Math 利用 AI 多智能体集群完成 1.5 万页有限单群分类定理(CFSG)与 7500 页 Stacks 项目数学形式化验证的可视化点阵图
4300万行代码堪比Linux内核!Axiom Math用AI智能体攻克1.5万页“庞大定理”与Stacks项目形式化验证:百个里程碑与分层多智能体架构全拆解
最新趋势
印度具身智能数据初创公司 Humyn Labs 联合创始人 Ishank Gupta(左)与 Manish Agarwal(右)
半年营收破千万且90%来自美国!印度物理AI数据创企Humyn Labs获4700万美元A轮:双摄硬件、2100万债权垫资与20国采集网全拆解
AIGC 资讯

相关推荐

Glyph视觉压缩框架:智谱清华联手,大模型推理速度提升4倍,显存占用直降2/3
AI 工具AIGC 资讯

Glyph视觉压缩框架:智谱清华联手,大模型推理速度提升4倍,显存占用直降2/3

Prompt 语宙研究院
HuggingFace 上下文压缩 大模型微调 开源大模型 智谱 智谱AI 清华大学 视觉语言模型
Agent Q – MultiOn公司推出的AI智能体,可以自我学习进化
AIGC 资讯

Agent Q – MultiOn公司推出的AI智能体,可以自我学习进化

Prompt 语宙研究院
AI办公效率 AI智能体 AI编程 大模型微调
GarDiff – AI虚拟试穿技术,生成高保真试穿图像保留服装细节
AIGC 资讯

GarDiff – AI虚拟试穿技术,生成高保真试穿图像保留服装细节

Prompt 语宙研究院
3D与空间智能 AI办公效率 AI绘画提示词 stable diffusion 开源大模型
RuoYi AI – 全栈式 AI 开发平台,快速搭建个性化 AI 应用
AIGC 资讯

RuoYi AI – 全栈式 AI 开发平台,快速搭建个性化 AI 应用

Prompt 语宙研究院
AI编程 Midjourney OpenAI RAG检索增强 智谱AI
/ Prompt 语宙 /

探索生成式 AI 的无限创作潜能,一站式获取前沿 AIGC 资讯、高阶 Prompt 咒语与全球实用 AI 工具。

核心专栏

  • 语宙 AI 工具导航
  • EVA 视觉抠图工坊Hot
  • 出海数字营销宝典
  • AI 生图咒语灵感库
  • 24H 硅谷 AI 情报流

生态与服务

  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作

标签

开源大模型 AI智能体 AI办公效率 AI绘画提示词 OpenAI 大模型微调 Midjourney AI编程 stable diffusion AI视频生成 ChatGPT 3D与空间智能 HuggingFace AI音频与语音 RAG检索增强 Claude Flux AIGC Gemini 通义千问 Anthropic Llama Cursor DeepSeek Prompt AI Agent Kimi 智谱AI 具身智能 YouTube
Prompt 语宙Prompt 语宙
Follow US
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.