# Hallo3 – 复旦联合百度开源的高动态与真实感肖像动画生成框架

- Link: https://paooo.com/aigc-news/22985/
- Published: 2026-06-09T15:46:37+08:00
- Author: Prompt 语宙研究院

⚡ [Prompt](https://paooo.com/ai-image-prompts/) 语宙 AI 导读 · 30 秒核心看点

 * 基于Diffusion Transformer与预训练视频骨干，Hallo3显著提升非正面肖像与复杂场景
   的生成能力。
 * 通过身份参考网络、音频条件和运动帧机制，兼顾身份一致性、嘴唇同步与长视频连续性。
 * 实验表明其在多视角、动态对象和沉浸式背景下表现出色，适合动画、游戏与虚拟人场景。

## Hallo3是什么

Hallo3是复旦大学和百度公司联合推出的，基于扩散变换器网络（Diffusion Transformer 
Networks）的肖像图像动画技术，能生成高度动态和逼真的视频。Hallo3基于预训练的变换
器视频生成模型，有效解决现有方法在处理非正面视角、动态对象渲染和生成沉浸式背景方面
的挑战。Hallo3基于新的视频骨干网络，设计身份参考网络确保视频序列中面部身份的一致性，
研究了语音音频条件和运动帧机制，实现由语音音频驱动的连续视频生成。实验表明，Hallo3
在生成具有多种方向的逼真肖像方面表现出色，能适应复杂姿势和动态场景，产生逼真且平滑
的动画效果。

阅读目录

 * [Hallo3是什么](https://paooo.com/aigc-news/22985/#hallo3%e6%98%af%e4%bb%80%e4%b9%88)
 * [Hallo3的主要功能](https://paooo.com/aigc-news/22985/#hallo3%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd)
 * [Hallo3的技术原理](https://paooo.com/aigc-news/22985/#hallo3%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86)
 * [Hallo3的项目地址](https://paooo.com/aigc-news/22985/#hallo3%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80)
 * [Hallo3的应用场景](https://paooo.com/aigc-news/22985/#hallo3%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af)

![Hallo3](https://paooo.com/wp-content/uploads/2026/06/Hallo3-website-1.avif)

## Hallo3的主要功能

 * **多视角动画生成**：从不同的视角（如正面、侧面、 overhead 或低角度）生成动画肖像，
   突破传统方法主要依赖正面视角的限制。
 * **动态对象渲染**：处理肖像周围动态对象的动画，如人物手持智能手机、麦克风或佩戴
   紧密贴合的物品，生成对象在视频序列中的真实运动。
 * **沉浸式背景生成**：生成具有动态效果的背景，如前景中的篝火或背景中的拥挤街道场景，
   增强视频的真实感和沉浸感。
 * **身份一致性保持**：在整个视频序列中保持肖像的身份一致性，在长时间的动画中也能
   准确地识别和保持人物的面部特征。
 * **语音驱动的动画**：基于语音音频驱动肖像的面部表情和嘴唇动作，实现高度同步的语音
   和面部动画，让动画更加自然和逼真。

## Hallo3的技术原理

 * **预训练的变换器视频生成模型**：
    - **基础架构**：CogVideoX模型作为基础架构，用3D变分自编码器（VAE）对视频数据
      进行压缩。模型将潜在变量与文本嵌入相结合，基于专家变换器网络进行处理。
    - **条件机制**：引入三种条件机制：文本提示（ctext）、语音音频条件（caudio）和
      身份外观条件（cid）。主要用交叉注意力（cross-attention）和自适应层归一化（
      adaLN）整合这些条件信息。
 * **身份参考网络**：
    - **3D VAE和变换器层**：用因果3D VAE结合42层变换器层的身份参考网络，从参考图像
      中提取身份特征，嵌入到去噪潜在代码中，基于自注意力机制增强模型对身份信息的
      表示和长期保持。
    - **特征融合**：将参考网络生成的视觉特征与去噪网络的特征进行融合，确保生成的
      面部动画在长时间序列中保持一致性和连贯性。
 * **语音音频条件**：
    - **音频嵌入**：wav2vec框架提取音频特征，生成帧特定的音频嵌入，基于线性变换层
      将音频嵌入转换为适合模型的表示。
    - **交叉注意力机制**：在去噪网络中，交叉注意力机制将音频嵌入与潜在编码进行交互，
      增强生成输出的相干性和相关性，确保模型有效地捕捉驱动角色生成的音频信号。
 * **视频外推**：引入运动帧作为条件信息。将生成视频的最后几帧作为后续片段生成的输入，
   用3D VAE处理运动帧，生成新的潜在代码，实现时间一致的长视频推理。
 * **训练和推理**：
    - **训练过程**：分为两个阶段。第一阶段训练模型生成具有身份一致性的视频；第二
      阶段扩展到音频驱动的视频生成，整合音频注意力模块。
    - **推理过程**：模型接收参考图像、驱动音频、文本提示和运动帧作为输入，生成具有
      身份一致性和嘴唇同步的视频。

## Hallo3的项目地址

 * **项目官网**：[https://fudan-generative-vision.github.io/hallo3](https://fudan-generative-vision.github.io/hallo3/#/?utm_source=ai-bot.cn)
 * **GitHub仓库**：[https://github.com/fudan-generative-vision/hallo3](https://github.com/fudan-generative-vision/hallo3)
 * **HuggingFace模型库**：[https://huggingface.co/fudan-generative-ai/hallo3](https://huggingface.co/fudan-generative-ai/hallo3)
 * **arXiv技术论文**：[https://arxiv.org/pdf/2412.00733](https://arxiv.org/pdf/2412.00733)

## Hallo3的应用场景

 * **游戏开发**：为游戏中的角色生成动态的肖像动画，使角色在游戏中的表现更加自然和
   逼真，提升玩家的游戏体验。
 * **电影制作**：生成逼真的角色动画，提升电影和动画的视觉效果和沉浸感。
 * **社交媒体**：为社交媒体用户生成动态头像，使用户的个人资料更加生动有趣，提升用户
   在社交媒体上的个性化体验。
 * **在线教育**：生成虚拟讲师的动画，让在线课程更加生动和有趣，提高学生的学习兴趣
   和参与度。
 * **虚拟现实和增强现实**：在VR和AR应用中生成虚拟角色，提供更加逼真的交互体验，增强
   用户的沉浸感和参与感。

🧭 文中关联 [AI 工具](https://ai.paooo.com/)官网与参数卡（语宙 AI 导航）

**HuggingFace ↗**

HuggingFace：AI模型开发社区，面向大语言模型场景提供便捷实用的在线功能支持，涵盖大
模型等实用方向。

❓ 常见问题解答（FAQ）

Hallo3适合做什么类型的肖像动画？

Hallo3主要面向高动态、真实感肖像动画生成，支持正面、侧面、俯视和低角度等多视角输出，
也能处理手持物品、动态背景和语音驱动的嘴唇动作，适合虚拟人、游戏角色和短视频内容
制作。

Hallo3如何保证人物身份一致性？

它通过身份参考网络从参考图像中提取身份特征，并将这些特征融合到去噪潜在代码中；同时
结合自注意力机制与特征融合策略，尽量在长时间视频序列里保持面部特征稳定一致。

Hallo3支持语音驱动视频生成吗？

支持。Hallo3使用wav2vec提取音频特征，并在去噪网络中通过交叉注意力将音频嵌入与潜在
编码交互，从而驱动表情和嘴唇动作生成，实现更自然的语音同步动画。

🔬 语宙深潜追问 · 进阶实操拆解

复杂姿态下如何保身份一致？

关键是把身份特征和运动信息解耦：先用参考网络锁定脸部结构，再用时序模块处理姿态变化。
训练时要加入大角度、遮挡和表情扰动样本，否则一遇到侧脸或快速动作就容易漂移。

语音驱动动画最难在哪？

难点不是嘴型同步，而是表情、头动和语义情绪的一致性。实战里要把音素对齐、情感控制
和背景稳定分开建模，并用时序平滑抑制抖动，才能避免“只会张嘴”的机械感。

🗳️ 读者观点微投票 · 您的实战立场是？

肖像动画更该拼真实感还是可控性？

🕸️ 语宙向量知识图谱 · 语义强关联深度内链

[🔓 所属权威专题：开源大模型与端侧推理 →](https://paooo.com/topics/open-source-llm/)

 * [Hallo – 复旦百度等开源的AI对口型肖像视频生成框架](https://paooo.com/aigc-news/27833/)
 * [Hallo2 – 复旦、百度和南大共同推出的音频驱动视频生成模型](https://paooo.com/aigc-news/26289/)
 * [DreaMoving – 阿里开源的基于扩散模型的人类视频生成框架](https://paooo.com/aigc-news/28021/)
 * [3DHM – 3D人体动作生成框架，单张图片生成任意视频动作](https://paooo.com/aigc-news/24586/)

[🏛️ Prompt 语宙研究院](https://paooo.com/author/paooo-research/) · Prompt 语宙研究院（
paooo.com Research）专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示
词工程（Prompt Engineering）与全球高增长 AI 生产力工具实测追踪，致力于为中文开发
者与创作者提供一手、可复现的深度技术洞察。

[📄 Markdown 纯净版](https://paooo.com/aigc-news/22985/?format=md)

💡 这篇内容对您有启发吗？

[📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/)

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)
