# ConsisID – 北大联合鹏城实验室等机构推出的文本到视频生成模型

- Link: https://paooo.com/aigc-news/25065/
- Published: 2026-07-11T14:18:29+08:00
- Author: Prompt 语宙研究院

## ConsisID是什么

ConsisID是北京大学和鹏城实验室等机构推出的文本到视频（Text-to-Video, IPT2V）生成
模型，基于频率分解技术保持视频中人物身份的一致性。模型用免调优（tuning-free）的Diffusion
Transformer（DiT）架构，结合低频全局特征和高频内在特征，用分层训练策略生成高质量、
可编辑且身份一致性强的视频。ConsisID在多个评估维度上超越现有技术，推动了身份一致性
视频生成技术的发展。

阅读目录

 * [ConsisID是什么](https://paooo.com/aigc-news/25065/#consisid%e6%98%af%e4%bb%80%e4%b9%88)
 * [ConsisID的主要功能](https://paooo.com/aigc-news/25065/#consisid%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd)
 * [ConsisID的技术原理](https://paooo.com/aigc-news/25065/#consisid%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86)
 * [ConsisID的项目地址](https://paooo.com/aigc-news/25065/#consisid%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80)
 * [ConsisID的应用场景](https://paooo.com/aigc-news/25065/#consisid%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af)

![ConsisID](https://paooo.com/wp-content/uploads/2026/07/ConsisID-website-1-1.avif)

## ConsisID的主要功能

 * **身份保持**：在视频生成过程中保持人物身份的一致性，确保视频中的人物特征与提供
   的参考图像相匹配。
 * **高质量视频生成**：生成视觉上逼真、细节丰富的视频内容。
 * **无需微调**：作为免调优（tuning-free）模型，不需要针对每个新案例进行微调，降低
   了使用门槛。
 * **可编辑性**：支持用户用文本提示控制视频内容，包括人物动作、表情和背景等。
 * **泛化能力**：能处理训练数据领域之外的人物，提高模型的泛化能力。

## ConsisID的技术原理

 * **频率分解**：
    - **低频控制**：用全局人脸特征提取器，将参考图像和人脸关键点编码为低频特征，
      集成到网络的浅层，缓解训练难度。
    - **高频控制**：设计局部人脸特征提取器，捕获高频细节注入到Transformer模块，增强
      模型对细粒度特征的保留能力。
 * **层次化训练策略**：
    - **粗到细训练**：先让模型学习全局信息，再细化到局部信息，保持视频在空间和时间
      维度上的一致性。
    - **动态掩码损失（Dynamic Mask Loss）**：用人脸mask约束损失函数的计算，让模型
      专注于人脸区域。
    - **动态跨脸损失（Dynamic Cross-Face Loss）**：引入跨面部的参考图像，提高模型
      对未见身份的泛化能力。
 * **特征融合**：用人脸识别骨干网络和CLIP图像编码器提取特征，基于Q-Former融合特征，
   生成包含高频语义信息的内在身份特征。
 * **交叉注意力机制**：基于交叉注意力机制，让模型能与预训练模型生成的视觉标记交互，
   有效增强DiT中的高频信息。

## ConsisID的项目地址

 * **项目官网**：[pku-yuangroup.github.io/ConsisID](https://pku-yuangroup.github.io/ConsisID/?utm_source=ai-bot.cn)
 * **GitHub仓库**：[https://github.com/PKU-YuanGroup/ConsisID](https://github.com/PKU-YuanGroup/ConsisID)
 * **HuggingFace模型库**：[https://huggingface.co/datasets/BestWishYsh/ConsisID](https://huggingface.co/datasets/BestWishYsh/ConsisID-preview-Data)
 * **arXiv技术论文**：[https://arxiv.org/pdf/2411.17440](https://arxiv.org/pdf/2411.17440)
 * **在线体验Demo**：[https://huggingface.co/spaces/BestWishYsh/ConsisID](https://huggingface.co/spaces/BestWishYsh/ConsisID-preview-Space)

## ConsisID的应用场景

 * **个性化娱乐**：用户创建与自己或指定人物相似的虚拟形象，用在社交媒体平台或个人
   娱乐。
 * **虚拟主播**：在新闻播报或网络直播中，用ConsisID生成的虚拟主播24小时不间断地工作。
 * **电影和电视制作**：在电影后期制作中，用在生成特效场景中的角色，或创建全新的虚拟
   角色。
 * **游戏行业**：为游戏角色设计提供原型，或在游戏中生成与玩家相似的非玩家角色（NPC）。
 * **教育和模拟训练**：创建历史人物或模拟特定场景，用在教育目的或专业培训，如医疗
   模拟、驾驶训练等。

[🏛️ Prompt 语宙研究院](https://paooo.com/author/paooo-research/) · Prompt 语宙研究院（
paooo.com Research）专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示
词工程（Prompt Engineering）与全球高增长 AI 生产力工具实测追踪，致力于为中文开发
者与创作者提供一手、可复现的深度技术洞察。

[📄 Markdown 纯净版](https://paooo.com/aigc-news/25065/?format=md)

💡 这篇内容对您有启发吗？

[📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/)

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)