Prompt 语宙Prompt 语宙
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
阅读: Hallo3 – 复旦联合百度开源的高动态与真实感肖像动画生成框架
Share
通知 阅读更多
Font Resizer字体
Font Resizer字体
Prompt 语宙Prompt 语宙
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
已有帐户? 登陆
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
Hallo3 – 复旦联合百度开源的高动态与真实感肖像动画生成框架
Prompt 语宙 > AIGC 资讯 > Hallo3 – 复旦联合百度开源的高动态与真实感肖像动画生成框架
AIGC 资讯

Hallo3 – 复旦联合百度开源的高动态与真实感肖像动画生成框架

Prompt 语宙研究院
最近更新: 2026年6月9日 下午3:46
3D与空间智能 AI视频生成 AI音频与语音 HuggingFace 开源大模型
SHARE
⚡ Prompt 语宙 AI 导读 · 30 秒核心看点
  • 基于Diffusion Transformer与预训练视频骨干,Hallo3显著提升非正面肖像与复杂场景的生成能力。
  • 通过身份参考网络、音频条件和运动帧机制,兼顾身份一致性、嘴唇同步与长视频连续性。
  • 实验表明其在多视角、动态对象和沉浸式背景下表现出色,适合动画、游戏与虚拟人场景。

Hallo3是什么

Hallo3是复旦大学和百度公司联合推出的,基于扩散变换器网络(Diffusion Transformer Networks)的肖像图像动画技术,能生成高度动态和逼真的视频。Hallo3基于预训练的变换器视频生成模型,有效解决现有方法在处理非正面视角、动态对象渲染和生成沉浸式背景方面的挑战。Hallo3基于新的视频骨干网络,设计身份参考网络确保视频序列中面部身份的一致性,研究了语音音频条件和运动帧机制,实现由语音音频驱动的连续视频生成。实验表明,Hallo3在生成具有多种方向的逼真肖像方面表现出色,能适应复杂姿势和动态场景,产生逼真且平滑的动画效果。

阅读目录
  • Hallo3是什么
  • Hallo3的主要功能
  • Hallo3的技术原理
  • Hallo3的项目地址
  • Hallo3的应用场景

Hallo3

Hallo3的主要功能

  • 多视角动画生成:从不同的视角(如正面、侧面、 overhead 或低角度)生成动画肖像,突破传统方法主要依赖正面视角的限制。
  • 动态对象渲染:处理肖像周围动态对象的动画,如人物手持智能手机、麦克风或佩戴紧密贴合的物品,生成对象在视频序列中的真实运动。
  • 沉浸式背景生成:生成具有动态效果的背景,如前景中的篝火或背景中的拥挤街道场景,增强视频的真实感和沉浸感。
  • 身份一致性保持:在整个视频序列中保持肖像的身份一致性,在长时间的动画中也能准确地识别和保持人物的面部特征。
  • 语音驱动的动画:基于语音音频驱动肖像的面部表情和嘴唇动作,实现高度同步的语音和面部动画,让动画更加自然和逼真。

Hallo3的技术原理

  • 预训练的变换器视频生成模型:
    • 基础架构:CogVideoX模型作为基础架构,用3D变分自编码器(VAE)对视频数据进行压缩。模型将潜在变量与文本嵌入相结合,基于专家变换器网络进行处理。
    • 条件机制:引入三种条件机制:文本提示(ctext)、语音音频条件(caudio)和身份外观条件(cid)。主要用交叉注意力(cross-attention)和自适应层归一化(adaLN)整合这些条件信息。
  • 身份参考网络:
    • 3D VAE和变换器层:用因果3D VAE结合42层变换器层的身份参考网络,从参考图像中提取身份特征,嵌入到去噪潜在代码中,基于自注意力机制增强模型对身份信息的表示和长期保持。
    • 特征融合:将参考网络生成的视觉特征与去噪网络的特征进行融合,确保生成的面部动画在长时间序列中保持一致性和连贯性。
  • 语音音频条件:
    • 音频嵌入:wav2vec框架提取音频特征,生成帧特定的音频嵌入,基于线性变换层将音频嵌入转换为适合模型的表示。
    • 交叉注意力机制:在去噪网络中,交叉注意力机制将音频嵌入与潜在编码进行交互,增强生成输出的相干性和相关性,确保模型有效地捕捉驱动角色生成的音频信号。
  • 视频外推:引入运动帧作为条件信息。将生成视频的最后几帧作为后续片段生成的输入,用3D VAE处理运动帧,生成新的潜在代码,实现时间一致的长视频推理。
  • 训练和推理:
    • 训练过程:分为两个阶段。第一阶段训练模型生成具有身份一致性的视频;第二阶段扩展到音频驱动的视频生成,整合音频注意力模块。
    • 推理过程:模型接收参考图像、驱动音频、文本提示和运动帧作为输入,生成具有身份一致性和嘴唇同步的视频。

Hallo3的项目地址

  • 项目官网:https://fudan-generative-vision.github.io/hallo3
  • GitHub仓库:https://github.com/fudan-generative-vision/hallo3
  • HuggingFace模型库:https://huggingface.co/fudan-generative-ai/hallo3
  • arXiv技术论文:https://arxiv.org/pdf/2412.00733

Hallo3的应用场景

  • 游戏开发:为游戏中的角色生成动态的肖像动画,使角色在游戏中的表现更加自然和逼真,提升玩家的游戏体验。
  • 电影制作:生成逼真的角色动画,提升电影和动画的视觉效果和沉浸感。
  • 社交媒体:为社交媒体用户生成动态头像,使用户的个人资料更加生动有趣,提升用户在社交媒体上的个性化体验。
  • 在线教育:生成虚拟讲师的动画,让在线课程更加生动和有趣,提高学生的学习兴趣和参与度。
  • 虚拟现实和增强现实:在VR和AR应用中生成虚拟角色,提供更加逼真的交互体验,增强用户的沉浸感和参与感。
🧭 文中关联 AI 工具官网与参数卡(语宙 AI 导航)
HuggingFace ↗
HuggingFace:AI模型开发社区,面向大语言模型场景提供便捷实用的在线功能支持,涵盖大模型等实用方向。
❓ 常见问题解答(FAQ)
Hallo3适合做什么类型的肖像动画?

Hallo3主要面向高动态、真实感肖像动画生成,支持正面、侧面、俯视和低角度等多视角输出,也能处理手持物品、动态背景和语音驱动的嘴唇动作,适合虚拟人、游戏角色和短视频内容制作。

Hallo3如何保证人物身份一致性?

它通过身份参考网络从参考图像中提取身份特征,并将这些特征融合到去噪潜在代码中;同时结合自注意力机制与特征融合策略,尽量在长时间视频序列里保持面部特征稳定一致。

Hallo3支持语音驱动视频生成吗?

支持。Hallo3使用wav2vec提取音频特征,并在去噪网络中通过交叉注意力将音频嵌入与潜在编码交互,从而驱动表情和嘴唇动作生成,实现更自然的语音同步动画。

🔬 语宙深潜追问 · 进阶实操拆解
复杂姿态下如何保身份一致?

关键是把身份特征和运动信息解耦:先用参考网络锁定脸部结构,再用时序模块处理姿态变化。训练时要加入大角度、遮挡和表情扰动样本,否则一遇到侧脸或快速动作就容易漂移。

语音驱动动画最难在哪?

难点不是嘴型同步,而是表情、头动和语义情绪的一致性。实战里要把音素对齐、情感控制和背景稳定分开建模,并用时序平滑抑制抖动,才能避免“只会张嘴”的机械感。

🗳️ 读者观点微投票 · 您的实战立场是?
肖像动画更该拼真实感还是可控性?
🕸️ 语宙向量知识图谱 · 语义强关联深度内链
🔓 所属权威专题:开源大模型与端侧推理 →
  • Hallo – 复旦百度等开源的AI对口型肖像视频生成框架
  • Hallo2 – 复旦、百度和南大共同推出的音频驱动视频生成模型
  • DreaMoving – 阿里开源的基于扩散模型的人类视频生成框架
  • 3DHM – 3D人体动作生成框架,单张图片生成任意视频动作
🏛️ Prompt 语宙研究院 · Prompt 语宙研究院(paooo.com Research)专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示词工程(Prompt Engineering)与全球高增长 AI 生产力工具实测追踪,致力于为中文开发者与创作者提供一手、可复现的深度技术洞察。
📄 Markdown 纯净版
💡 这篇内容对您有启发吗?
📡 RSS 订阅✨ 提交 AI 工具 / 合作
🚀 Prompt 语宙 AI 创作者生态:探索 2,800+ 全球实用 AI 工具与高精度生图提示词咒语库
🧭 语宙 AI 导航 (ai.paooo.com)🎨 AI 生图 Prompt 库📚 核心专题导航⚡ AIGC 早报生成器
使用大语言模型 (LLMs) 构建产品一年后的经验总结 (第二部分)[译]
Audio-Visual Flamingo – 英伟达等开源的音频视觉语言模型
AVD2 – 清华联合复旦等机构推出的自动驾驶事故视频理解与生成框架
FireRedASR – 小红书开源的自动语音识别模型
Seed1.5-VL – 字节跳动Seed推出的视觉语言多模态大模型
TAGGED:3D与空间智能AI视频生成AI音频与语音HuggingFace开源大模型
分享
Email 复制链接 打印
Share
Prompt 语宙研究院 头像
ByPrompt 语宙研究院
Follow:
Prompt 语宙研究院(paooo.com Research)专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示词工程(Prompt Engineering)与全球高增长 AI 生产力工具实测追踪,致力于为中文开发者与创作者提供一手、可复现的深度技术洞察。
上一篇 清华联手智谱推出IndexCache:稀疏注意力加速技术,长上下文推理提速近2倍,零性能损失 清华联手智谱推出IndexCache:稀疏注意力加速技术,长上下文推理提速近2倍,零性能损失
下一篇 OpenHands – AI编程工具,多智能体协作实现代码编写、命令运行等 OpenHands – AI编程工具,多智能体协作实现代码编写、命令运行等
Ad image
Ad image

最近更新

Rest of World 调查揭示 AI 大模型数据产业链现状:高学历专家与全球劳动力正在被平台纳入按件计费的零工模式
美国心脏科医生时薪180美元、东南亚仅7.5美元?揭秘大模型“专家零工化”暗面:Scale AI与Mercor的算力人力套利
AIGC 资讯
Forrester 发布“信任与保障组织(TAO)”研究报告概念图:AI 重塑企业安全团队架构与 CISO 治理权责边界
37%企业AI项目未投产先折戟!Forrester呼吁CISO重构安全架构:打造TAO“信任与保障组织”,弥合权责与能力双缺口
最新趋势
Latent Space 对话 Black Forest Labs 核心创始人 Andreas Blattmann 与 Dustin Podell:从 FLUX 到视觉智能与世界动作模型
视觉智能为什么不能只靠静态图片?对话Black Forest Labs创始人:FLUX 3音画联合训练、扩散与自回归之争及世界动作模型全拆解
强化 AI 学习
Google 官方详解网站迁移至 CDN 如何避免爬虫流量激增打崩源站与误封 Googlebot 导致搜索掉收录
刚切上CDN源站反被爬虫打崩?Google官方拆解迁移翻车悖论:冷缓存雪崩、验证码误杀与预热止血指南
AI 工具

相关推荐

DeepSeek-TUI 重磅发布:基于 Rust 的开源终端智能体,深度适配 DeepSeek V4 百万上下文模型
AI 工具AIGC 资讯

DeepSeek-TUI 重磅发布:基于 Rust 的开源终端智能体,深度适配 DeepSeek V4 百万上下文模型

Prompt 语宙研究院
AIGC开发 DeepSeek V4 DeepSeek-TUI 开源编程工具 终端智能体
MATRIX-Gen – 上海交大联合牛津大学推出的多智能体模拟系统
AIGC 资讯

MATRIX-Gen – 上海交大联合牛津大学推出的多智能体模拟系统

Prompt 语宙研究院
AI智能体 AI编程 大模型微调
清华实验室重磅开源!MOSS-TTSD:百万小时数据训练的口语对话语音生成模型,支持零样本克隆与中英双语
AI 工具AIGC 资讯

清华实验室重磅开源!MOSS-TTSD:百万小时数据训练的口语对话语音生成模型,支持零样本克隆与中英双语

Prompt 语宙研究院
AIGC MOSS-TTSD 清华大学 语音生成模型 零样本语音克隆
LongReward – 清华、中科院、智谱AI联合推出提升长文本大语言模型性能的方法
AIGC 资讯

LongReward – 清华、中科院、智谱AI联合推出提升长文本大语言模型性能的方法

Prompt 语宙研究院
HuggingFace 大模型微调 开源大模型 智谱AI
/ Prompt 语宙 /

探索生成式 AI 的无限创作潜能,一站式获取前沿 AIGC 资讯、高阶 Prompt 咒语与全球实用 AI 工具。

核心专栏

  • 语宙 AI 工具导航
  • EVA 视觉抠图工坊Hot
  • 出海数字营销宝典
  • AI 生图咒语灵感库
  • 24H 硅谷 AI 情报流

生态与服务

  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作

标签

开源大模型 AI智能体 AI办公效率 AI绘画提示词 OpenAI 大模型微调 Midjourney AI编程 stable diffusion AI视频生成 ChatGPT 3D与空间智能 HuggingFace AI音频与语音 RAG检索增强 Claude Flux AIGC Gemini 通义千问 Anthropic Llama Cursor DeepSeek Prompt AI Agent Kimi 智谱AI 具身智能 YouTube
Prompt 语宙Prompt 语宙
Follow US
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.