# DICE-Talk – 复旦联合腾讯优图推出的情感化动态肖像生成框架

- Link: https://paooo.com/aigc-news/18905/
- Published: 2026-06-08T05:12:22+08:00
- Author: Prompt 语宙研究院

⚡ [Prompt](https://paooo.com/ai-image-prompts/) 语宙 AI 导读 · 30 秒核心看点

 * 引入情感关联增强模块与情感判别目标，提升情感生成的准确性、多样性与一致性。
 * 基于扩散模型与跨模态注意力联合建模音频、图像和情感线索，兼顾身份保持与唇形同步。
 * 在MEAD和HDTF数据集上表现优于现有技术，适合数字人、影视、VR/AR等情感化内容生成。

## DICE-Talk是什么

DICE-Talk是复旦大学联合腾讯优图实验室推出的新颖情感化动态肖像生成框架，支持生成具有
生动情感表达且保持身份一致性的动态肖像视频。DICE-Talk引入情感关联增强模块，基于情感
库捕获不同情感之间的关系，提升情感生成的准确性和多样性。框架设计情感判别目标，基于
情感分类确保生成过程中的情感一致性。在MEAD和HDTF数据集上的实验表明，DICE-Talk在情感
准确性、对口型和视觉质量方面均优于现有技术。

阅读目录

 * [DICE-Talk是什么](https://paooo.com/aigc-news/18905/#dicetalk%e6%98%af%e4%bb%80%e4%b9%88)
 * [DICE-Talk的主要功能](https://paooo.com/aigc-news/18905/#dicetalk%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd)
 * [DICE-Talk的技术原理](https://paooo.com/aigc-news/18905/#dicetalk%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86)
 * [DICE-Talk的项目地址](https://paooo.com/aigc-news/18905/#dicetalk%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80)
 * [DICE-Talk的应用场景](https://paooo.com/aigc-news/18905/#dicetalk%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af)

![DICE-Talk](https://paooo.com/wp-content/uploads/2026/06/DICE-Talk-website-1.avif)

## DICE-Talk的主要功能

 * **情感化动态肖像生成**：根据输入的音频和参考图像，生成具有特定情感表达的动态肖像
   视频。
 * **身份保持**：在生成情感化视频时，保持输入参考图像的身份特征，避免身份信息的泄露
   或混淆。
 * **高质量视频生成**：生成的视频在视觉质量、唇部同步和情感表达方面均达到较高水平。
 * **泛化能力**：能适应未见过的身份和情感组合，具有良好的泛化能力。
 * **用户控制**：用户输入特定的情感目标，控制生成视频的情感表达，实现高度的用户自
   定义。
 * **多模态输入**：支持多种输入模态，包括音频、视频和参考图像。

## DICE-Talk的技术原理

 * **解耦身份与情感**：基于跨模态注意力机制联合建模音频和视觉情感线索，将情感表示
   为身份无关的高斯分布。用对比学习（如InfoNCE损失）训练情感嵌入器，确保相同情感
   的特征在嵌入空间中聚集，不同情感的特征则分散。
 * **情感关联增强**：情感库是可学习的模块，存储多种情感的特征表示。用向量量化和基于
   注意力的特征聚合，学习情感之间的关系。情感库存储单一情感的特征，学习情感之间的
   关联，帮助模型更好地生成其他情感。
 * **情感判别目标**：在扩散模型的生成过程中，基于情感判别器确保生成视频的情感一致性。
   情感判别器与扩散模型联合训练，确保生成的视频在情感表达上与目标情感一致，保持视觉
   质量和唇部同步。
 * **扩散模型框架**：从高斯噪声开始，逐步去噪生成目标视频。基于变分自编码器（VAE）
   将视频帧映射到潜在空间，在潜在空间中逐步引入高斯噪声，基于扩散模型逐步去除噪声，
   生成目标视频。在去噪过程中，扩散模型基于跨模态注意力机制，结合参考图像、音频特征
   和情感特征，引导视频生成。

## DICE-Talk的项目地址

 * **项目官网**：[https://toto222.github.io/DICE-Talk/](https://toto222.github.io/DICE-Talk/?utm_source=ai-bot.cn)
 * **GitHub仓库**：[https://github.com/toto222/DICE-Talk](https://github.com/toto222/DICE-Talk)
 * **arXiv技术论文**：[https://arxiv.org/pdf/2504.18087](https://arxiv.org/pdf/2504.18087)

## DICE-Talk的应用场景

 * **数字人与虚拟助手**：为数字人和虚拟助手赋予丰富的情感表达，与用户交互时更加自然
   和生动，提升用户体验。
 * **影视制作**：在影视特效和动画制作中，快速生成具有特定情感的动态肖像，提高制作
   效率，降低制作成本。
 * **虚拟现实与增强现实**：在VR/AR应用中，生成与用户情感互动的虚拟角色，增强沉浸
   感和情感共鸣。
 * **在线教育与培训**：创建具有情感反馈的教学视频，让学习内容更加生动有趣，提高学习
   效果。
 * **心理健康支持**：开发情感化虚拟角色，用在心理治疗和情感支持，帮助用户更好地表达
   和理解情感。

❓ 常见问题解答（FAQ）

DICE-Talk主要解决什么问题？

DICE-Talk主要解决动态肖像生成中“有情感但不像本人”或“像本人但没情感”的矛盾。它在生成
视频时同时兼顾情感表达、身份一致性和口型同步，适合音频驱动的情感化人物视频生成。

DICE-Talk为什么比普通说话头像更强？

它不仅做音频到口型的驱动，还引入情感库、情感关联增强和情感判别目标，让模型能更准确
地生成目标情绪，并保持较好的视觉质量与身份特征，实验结果也优于现有方法。

DICE-Talk适合哪些应用场景？

适合数字人和虚拟助手、影视特效与动画、VR/AR虚拟角色、在线教育视频，以及心理健康支持
等场景。凡是需要“可控情绪表达”的动态人物视频生成任务，都有较高应用价值。

🔬 语宙深潜追问 · 进阶实操拆解

情感驱动的口型同步，难点在哪？

难点不只是对齐音素，还要同步情绪强度、节奏和面部微表情。实操上通常需要把音频特征、
身份特征和情感标签分开建模，再用时序约束保证嘴型与表情不打架。

如何提升身份一致性又不损失表情？

可以在身份保持分支里锁定人脸结构，在情感分支里只调节局部动态参数。训练时加入身份
损失、感知损失和时序平滑约束，避免一激动就“换脸”或表情僵硬。

🗳️ 读者观点微投票 · 您的实战立场是？

情感化数字人，最难的是像人还是像自己？

🕸️ 语宙向量知识图谱 · 语义强关联深度内链

[🐋 所属权威专题：DeepSeek 深度实战与部署 →](https://paooo.com/topics/deepseek/)

 * [趣丸科技发布Playmate框架：音频驱动，精准控制表情与姿态的AI人脸动画生成革命](https://paooo.com/aigc-news/14962/)
 * [EDTalk – 上海交大联合网易推出高效解耦的情感说话头像合成模型](https://paooo.com/aigc-news/24523/)
 * [Follow-Your-Emoji – 腾讯等推出的基于扩散模型的人像动画框架](https://paooo.com/aigc-news/27852/)
 * [腾讯混元HunyuanVideo-Avatar：AI语音数字人技术革新，多角色情感对话视频一键生成](https://paooo.com/aigc-news/15216/)

[🏛️ Prompt 语宙研究院](https://paooo.com/author/paooo-research/) · Prompt 语宙研究院（
paooo.com Research）专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示
词工程（Prompt Engineering）与全球高增长 AI 生产力工具实测追踪，致力于为中文开发
者与创作者提供一手、可复现的深度技术洞察。

[📄 Markdown 纯净版](https://paooo.com/aigc-news/18905/?format=md)

💡 这篇内容对您有启发吗？

[📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/)

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)
