# Hallo2 – 复旦、百度和南大共同推出的音频驱动视频生成模型

- Link: https://paooo.com/aigc-news/26289/
- Published: 2026-07-08T21:35:08+08:00
- Author: 站外新闻

## Hallo2是什么

Hallo2是复旦大学、百度公司和南京大学共同推出的音频驱动视频生成模型。能将单张参考
图片和持续几分钟的音频输入结合起来，基于可选的文本提示调节肖像表情，生成与音频同步
的高分辨率4K视频。Hallo2基于先进的数据增强技术，如补丁下降和高斯噪声，增强视频的
长期视觉一致性和时间连贯性。Hallo2实现潜在代码的矢量量化和时间对齐技术，生成4K分辨
率的视频，引入语义文本标签作为条件输入，提高动画的可控性和多样性。Hallo2在多个公开
数据集上进行广泛的实验，展示在生成长时间、高分辨率、丰富且可控内容方面的能力。

阅读目录

 * [Hallo2是什么](https://paooo.com/aigc-news/26289/#hallo2%e6%98%af%e4%bb%80%e4%b9%88)
 * [Hallo2的主要功能](https://paooo.com/aigc-news/26289/#hallo2%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd)
 * [Hallo2的技术原理](https://paooo.com/aigc-news/26289/#hallo2%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86)
 * [Hallo2的项目地址](https://paooo.com/aigc-news/26289/#hallo2%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80)
 * [Hallo2的应用场景](https://paooo.com/aigc-news/26289/#hallo2%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af)

![Hallo2](https://paooo.com/wp-content/uploads/2026/07/Hallo2-website-1.avif)

## Hallo2的主要功能

 * **长时视频生成**：能生成长达一小时的视频生成，解决外观漂移和时间伪影的问题。
 * **高分辨率输出**：实现4K分辨率的肖像视频生成，提供清晰的视觉细节。
 * **音频驱动动画**：基于音频输入驱动肖像图像动画，实现口型和表情的同步。
 * **文本提示调节**：引入文本提示调节和细化肖像的表情，增加动画的多样性和表现力。
 * **数据增强技术**：基于补丁下降和高斯噪声增强技术，提高视频的长期视觉一致性和时间
   连贯性。

## Hallo2的技术原理

 * **补丁下降技术（Patch-Drop Augmentation）**：基于在条件帧中随机丢弃部分图像块（
   补丁），减少前一帧对后续帧外观的影响，保持长时间视频生成中的视觉一致性。
 * **高斯噪声增强**：在补丁下降的基础上加入高斯噪声，进一步提高模型对参考图像外观
   的依赖，保留运动信息，减少累积的伪影和失真。
 * **向量量化生成对抗网络（VQGAN）**：基于向量量化潜在代码和应用时间对齐技术，Hallo2
   能在时间维度上维持连贯性，生成4K分辨率的高质量视频。
 * **语义文本标签**：Hallo2引入可调整的语义文本标签作为条件输入，支持模型根据文本
   提示生成特定的表情和动作，提高生成内容的可控性。
 * **跨注意力机制（Cross-Attention Mechanism）**：模型能在去噪过程中有效地整合运动
   条件，如音频特征和文本嵌入，生成与条件输入相一致的图像。

## Hallo2的项目地址

 * **项目官网**：[fudan-generative-vision.github.io/hallo2](https://fudan-generative-vision.github.io/hallo2/?utm_source=ai-bot.cn)
 * **GitHub仓库**：[https://github.com/fudan-generative-vision/hallo2](https://github.com/fudan-generative-vision/hallo2)
 * **HuggingFace模型库**：[https://huggingface.co/fudan-generative-ai/hallo2](https://huggingface.co/fudan-generative-ai/hallo2)
 * **arXiv技术论文**：[https://arxiv.org/pdf/2410.07718v1](https://arxiv.org/pdf/2410.07718v1)
 * **Hallo3肖像动画生成框架**：[https://ai-bot.cn/hallo3/](https://ai-bot.cn/hallo3/)

## Hallo2的应用场景

 * **电影和视频制作**：在电影制作中，Hallo2生成或增强角色的面部表情和口型，用在需要
   大量虚拟角色或特效的科幻和动画电影中。
 * **虚拟助手和数字人**：在客服、教育、娱乐等领域，Hallo2能创建逼真的虚拟助手或数字
   人，提供更加自然和吸引人的交互体验。
 * **游戏开发**：游戏开发者基于Hallo2生成具有高度真实感的角色动画，提高游戏的沉浸
   感和玩家的游戏体验。
 * **社交媒体和内容创作**：内容创作者用Hallo2创建动态肖像视频，用在社交媒体平台，
   增加内容的吸引力和互动性。
 * **新闻和广播**：Hallo2能生成新闻主播的动画形象，在需要多语言播报的情况下，快速
   生成不同语言的口型和表情。

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,000+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[⚡ AIGC 早报生成器](https://paooo.com/mtool/)