---
title: "Hallo3 – 复旦联合百度开源的高动态与真实感肖像动画生成框架"
url: "https://paooo.com/aigc-news/22985/"
author: "Prompt 语宙研究院"
published_at: "2026-06-09T15:46:37+08:00"
updated_at: "2026-06-09T15:46:37+08:00"
categories: "AIGC 资讯"
tags: "3D与空间智能, AI视频生成, AI音频与语音, HuggingFace, 开源大模型"
source: "Prompt 语宙 (https://paooo.com)"
ai_tools_directory: "语宙 AI 导航 (https://ai.paooo.com)"
---

# Hallo3 – 复旦联合百度开源的高动态与真实感肖像动画生成框架

> 来源：[Prompt 语宙 (paooo.com)](https://paooo.com/aigc-news/22985/) · 作者：Prompt 语宙研究院 · 发布时间：2026-06-09

## AI 30 秒核心看点 (TL;DR)

- 基于Diffusion Transformer与预训练视频骨干，Hallo3显著提升非正面肖像与复杂场景的生成能力。
- 通过身份参考网络、音频条件和运动帧机制，兼顾身份一致性、嘴唇同步与长视频连续性。
- 实验表明其在多视角、动态对象和沉浸式背景下表现出色，适合动画、游戏与虚拟人场景。

## Hallo3是什么

Hallo3是复旦大学和百度公司联合推出的，基于扩散变换器网络（Diffusion Transformer Networks）的肖像图像动画技术，能生成高度动态和逼真的视频。Hallo3基于预训练的变换器视频生成模型，有效解决现有方法在处理非正面视角、动态对象渲染和生成沉浸式背景方面的挑战。Hallo3基于新的视频骨干网络，设计身份参考网络确保视频序列中面部身份的一致性，研究了语音音频条件和运动帧机制，实现由语音音频驱动的连续视频生成。实验表明，Hallo3在生成具有多种方向的逼真肖像方面表现出色，能适应复杂姿势和动态场景，产生逼真且平滑的动画效果。

## Hallo3的主要功能

- **多视角动画生成**：从不同的视角（如正面、侧面、 overhead 或低角度）生成动画肖像，突破传统方法主要依赖正面视角的限制。

- **动态对象渲染**：处理肖像周围动态对象的动画，如人物手持智能手机、麦克风或佩戴紧密贴合的物品，生成对象在视频序列中的真实运动。

- **沉浸式背景生成**：生成具有动态效果的背景，如前景中的篝火或背景中的拥挤街道场景，增强视频的真实感和沉浸感。

- **身份一致性保持**：在整个视频序列中保持肖像的身份一致性，在长时间的动画中也能准确地识别和保持人物的面部特征。

- **语音驱动的动画**：基于语音音频驱动肖像的面部表情和嘴唇动作，实现高度同步的语音和面部动画，让动画更加自然和逼真。

## Hallo3的技术原理

- **预训练的变换器视频生成模型**：

**基础架构**：CogVideoX模型作为基础架构，用3D变分自编码器（VAE）对视频数据进行压缩。模型将潜在变量与文本嵌入相结合，基于专家变换器网络进行处理。

- **条件机制**：引入三种条件机制：文本提示（ctext）、语音音频条件（caudio）和身份外观条件（cid）。主要用交叉注意力（cross-attention）和自适应层归一化（adaLN）整合这些条件信息。

- **身份参考网络**：

**3D VAE和变换器层**：用因果3D VAE结合42层变换器层的身份参考网络，从参考图像中提取身份特征，嵌入到去噪潜在代码中，基于自注意力机制增强模型对身份信息的表示和长期保持。

- **特征融合**：将参考网络生成的视觉特征与去噪网络的特征进行融合，确保生成的面部动画在长时间序列中保持一致性和连贯性。

- **语音音频条件**：

**音频嵌入**：wav2vec框架提取音频特征，生成帧特定的音频嵌入，基于线性变换层将音频嵌入转换为适合模型的表示。

- **交叉注意力机制**：在去噪网络中，交叉注意力机制将音频嵌入与潜在编码进行交互，增强生成输出的相干性和相关性，确保模型有效地捕捉驱动角色生成的音频信号。

- **视频外推**：引入运动帧作为条件信息。将生成视频的最后几帧作为后续片段生成的输入，用3D VAE处理运动帧，生成新的潜在代码，实现时间一致的长视频推理。

- **训练和推理**：

**训练过程**：分为两个阶段。第一阶段训练模型生成具有身份一致性的视频；第二阶段扩展到音频驱动的视频生成，整合音频注意力模块。

- **推理过程**：模型接收参考图像、驱动音频、文本提示和运动帧作为输入，生成具有身份一致性和嘴唇同步的视频。

## Hallo3的项目地址

- **项目官网**：[https://fudan-generative-vision.github.io/hallo3](https://fudan-generative-vision.github.io/hallo3/#/?utm_source=ai-bot.cn)

- **GitHub仓库**：[https://github.com/fudan-generative-vision/hallo3](https://github.com/fudan-generative-vision/hallo3)

- **HuggingFace模型库**：[https://huggingface.co/fudan-generative-ai/hallo3](https://huggingface.co/fudan-generative-ai/hallo3)

- **arXiv技术论文**：[https://arxiv.org/pdf/2412.00733](https://arxiv.org/pdf/2412.00733)

## Hallo3的应用场景

- **游戏开发**：为游戏中的角色生成动态的肖像动画，使角色在游戏中的表现更加自然和逼真，提升玩家的游戏体验。

- **电影制作**：生成逼真的角色动画，提升电影和动画的视觉效果和沉浸感。

- **社交媒体**：为社交媒体用户生成动态头像，使用户的个人资料更加生动有趣，提升用户在社交媒体上的个性化体验。

- **在线教育**：生成虚拟讲师的动画，让在线课程更加生动和有趣，提高学生的学习兴趣和参与度。

- **虚拟现实和增强现实**：在VR和AR应用中生成虚拟角色，提供更加逼真的交互体验，增强用户的沉浸感和参与感。

## 常见问题解答 (FAQ)

### Hallo3适合做什么类型的肖像动画？
Hallo3主要面向高动态、真实感肖像动画生成，支持正面、侧面、俯视和低角度等多视角输出，也能处理手持物品、动态背景和语音驱动的嘴唇动作，适合虚拟人、游戏角色和短视频内容制作。

### Hallo3如何保证人物身份一致性？
它通过身份参考网络从参考图像中提取身份特征，并将这些特征融合到去噪潜在代码中；同时结合自注意力机制与特征融合策略，尽量在长时间视频序列里保持面部特征稳定一致。

### Hallo3支持语音驱动视频生成吗？
支持。Hallo3使用wav2vec提取音频特征，并在去噪网络中通过交叉注意力将音频嵌入与潜在编码交互，从而驱动表情和嘴唇动作生成，实现更自然的语音同步动画。

---
探索 2,800+ 全球实用 AI 工具与官方直达入口：[语宙 AI 导航 (https://ai.paooo.com/)](https://ai.paooo.com/)
