# OmniHuman – 字节跳动推出的单张照片生成全身动态视频生成框架

- Link: https://paooo.com/aigc-news/22365/
- Published: 2026-06-09T08:23:21+08:00
- Author: 站外新闻

## OmniHuman是什么

OmniHuman是字节跳动推出的端到端多模态条件化人类[视频生成](https://ai-bot.cn/ai-video-generation-tools/)
框架，能基于单张人类图像和运动信号（如音频、视频或两者的组合）生成逼真的人类视频。
OmniHuman基于多模态运动条件混合训练策略，克服以往方法因高质量数据稀缺而导致的性能
瓶颈，支持任意宽高比的图像输入（包括肖像、半身和全身图像），能适应多种场景。OmniHuman
在歌唱、对话、手势处理等方面表现出色，支持多种视觉和音频风格，同时兼容音频、视频
及组合驱动，生成高质量的视频内容。

阅读目录

 * [OmniHuman是什么](https://paooo.com/aigc-news/22365/#omnihuman%e6%98%af%e4%bb%80%e4%b9%88)
 * [OmniHuman的主要功能](https://paooo.com/aigc-news/22365/#omnihuman%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd)
 * [OmniHuman的技术原理](https://paooo.com/aigc-news/22365/#omnihuman%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86)
 * [OmniHuman的项目地址](https://paooo.com/aigc-news/22365/#omnihuman%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80)
 * [OmniHuman的应用场景](https://paooo.com/aigc-news/22365/#omnihuman%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af)

![OmniHuman](https://paooo.com/wp-content/uploads/2026/06/OmniHuman-website-1.avif)

## OmniHuman的主要功能

 * **多模态驱动的视频生成**：
    - 支持音频驱动（如说话、唱歌）和姿势驱动（如手势、动作），且能结合两者进行混合
      驱动，生成自然流畅的人类动作视频。
    - 支持多种输入形式，包括面部特写、半身像、全身像，兼容不同比例和风格的图像。
 * **高逼真度与多样化动作**：
    - 生成的视频在视觉上高度逼真，具备自然的面部表情、肢体动作和流畅的动态效果。
    - 能处理复杂的动作和对象交互，例如唱歌时演奏乐器、手势与物体的自然互动等。
 * **灵活的视频生成**：
    - 支持任意宽高比和时长的视频生成，根据输入信号生成不同长度的视频片段。
    - 兼容多种图像风格，包括写实、卡通和风格化人物。
 * **多场景适应性**：在多种场景下生成高质量视频，包括不同的背景、光照条件和相机角度。

## OmniHuman的技术原理

 * **混合条件训练策略**：
    - **多条件融合**：将文本、音频和姿势等多种运动相关条件混合到训练过程中，减少
      数据筛选导致的浪费，运用不同条件之间的互补性。
    - **分阶段训练**：基于三阶段训练策略，逐步引入不同条件（文本、音频、姿势），
      根据条件的强弱调整训练比例，优化模型的泛化能力。
    - **训练原则**：更强条件的任务用较弱条件的任务及其对应数据，扩展数据规模。条件
      越强，训练比例应越低，避免模型过度依赖强条件。
 * **扩散变换器架构**：
    - **基于DiT的模型**：OmniHuman 基于先进的视频生成模型架构DiT，用因果3DVAE（Causal
      3DVAE）将视频投影到潜在空间，并基于流匹配（Flow Matching）作为训练目标。
    - **条件注入**：
       * **音频条件**：用wav2vec模型提取音频特征，将其与视频帧特征结合，生成音频
         令牌（tokens），基于交叉注意力机制注入到模型中。
       * **姿势条件**：用姿势引导器（Pose Guider）处理姿势条件，将姿势热图特征与
         视频帧特征结合，生成姿势令牌（tokens），将其与噪声潜在表示一起输入模型。
       * **文本条件**：保留DiT架构中的文本分支，用在描述生成视频的内容。
    - **参考条件处理**：采用创新的参考条件策略，基于修改3D旋转位置嵌入（RoPE），
      将参考图像特征与视频特征融合，无需额外的网络模块。
    - **推理策略**：
       * **分类器自由引导（CFG）**：在推理过程中，对音频和文本条件应用CFG策略，基于
         逐步降低CFG强度，平衡表达性和计算效率，减少生成视频中的瑕疵（如皱纹）。
       * **长视频生成**：用上一个视频片段的最后几帧作为运动帧，确保长视频生成中的
         时间连贯性和身份一致性。

## OmniHuman的项目地址

 * **项目官网**：[https://omnihuman-lab.github.io/](https://omnihuman-lab.github.io/?utm_source=ai-bot.cn)
 * **arXiv技术论文**：[https://arxiv.org/pdf/2502.01061](https://arxiv.org/pdf/2502.01061)

## OmniHuman的应用场景

 * **影视与娱乐**：生成虚拟角色动画、虚拟主播、音乐视频等，提升内容制作效率和视觉
   效果。
 * **游戏开发**：为游戏角色和NPC生成自然动作，增强游戏沉浸感和互动性。
 * **教育与培训**：创建虚拟教师、模拟训练视频，辅助语言学习和职业技能培训。
 * **广告与营销**：生成个性化广告、品牌推广视频，提升用户参与度和内容吸引力。
 * **社交媒体与内容创作**：帮助创作者快速生成高质量短视频，支持互动视频创作，增加
   内容趣味性