Prompt 语宙Prompt 语宙
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
阅读: DICE-Talk – 复旦联合腾讯优图推出的情感化动态肖像生成框架
Share
通知 阅读更多
Font Resizer字体
Font Resizer字体
Prompt 语宙Prompt 语宙
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
已有帐户? 登陆
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
DICE-Talk – 复旦联合腾讯优图推出的情感化动态肖像生成框架
Prompt 语宙 > AIGC 资讯 > DICE-Talk – 复旦联合腾讯优图推出的情感化动态肖像生成框架
AIGC 资讯

DICE-Talk – 复旦联合腾讯优图推出的情感化动态肖像生成框架

Prompt 语宙研究院
最近更新: 2026年6月7日 下午8:02
AI绘画提示词 AI视频生成 AI音频与语音 开源大模型
SHARE
⚡ Prompt 语宙 AI 导读 · 30 秒核心看点
  • 引入情感关联增强模块与情感判别目标,提升情感生成的准确性、多样性与一致性。
  • 基于扩散模型与跨模态注意力联合建模音频、图像和情感线索,兼顾身份保持与唇形同步。
  • 在MEAD和HDTF数据集上表现优于现有技术,适合数字人、影视、VR/AR等情感化内容生成。

DICE-Talk是什么

DICE-Talk是复旦大学联合腾讯优图实验室推出的新颖情感化动态肖像生成框架,支持生成具有生动情感表达且保持身份一致性的动态肖像视频。DICE-Talk引入情感关联增强模块,基于情感库捕获不同情感之间的关系,提升情感生成的准确性和多样性。框架设计情感判别目标,基于情感分类确保生成过程中的情感一致性。在MEAD和HDTF数据集上的实验表明,DICE-Talk在情感准确性、对口型和视觉质量方面均优于现有技术。

阅读目录
  • DICE-Talk是什么
  • DICE-Talk的主要功能
  • DICE-Talk的技术原理
  • DICE-Talk的项目地址
  • DICE-Talk的应用场景

DICE-Talk

DICE-Talk的主要功能

  • 情感化动态肖像生成:根据输入的音频和参考图像,生成具有特定情感表达的动态肖像视频。
  • 身份保持:在生成情感化视频时,保持输入参考图像的身份特征,避免身份信息的泄露或混淆。
  • 高质量视频生成:生成的视频在视觉质量、唇部同步和情感表达方面均达到较高水平。
  • 泛化能力:能适应未见过的身份和情感组合,具有良好的泛化能力。
  • 用户控制:用户输入特定的情感目标,控制生成视频的情感表达,实现高度的用户自定义。
  • 多模态输入:支持多种输入模态,包括音频、视频和参考图像。

DICE-Talk的技术原理

  • 解耦身份与情感:基于跨模态注意力机制联合建模音频和视觉情感线索,将情感表示为身份无关的高斯分布。用对比学习(如InfoNCE损失)训练情感嵌入器,确保相同情感的特征在嵌入空间中聚集,不同情感的特征则分散。
  • 情感关联增强:情感库是可学习的模块,存储多种情感的特征表示。用向量量化和基于注意力的特征聚合,学习情感之间的关系。情感库存储单一情感的特征,学习情感之间的关联,帮助模型更好地生成其他情感。
  • 情感判别目标:在扩散模型的生成过程中,基于情感判别器确保生成视频的情感一致性。情感判别器与扩散模型联合训练,确保生成的视频在情感表达上与目标情感一致,保持视觉质量和唇部同步。
  • 扩散模型框架:从高斯噪声开始,逐步去噪生成目标视频。基于变分自编码器(VAE)将视频帧映射到潜在空间,在潜在空间中逐步引入高斯噪声,基于扩散模型逐步去除噪声,生成目标视频。在去噪过程中,扩散模型基于跨模态注意力机制,结合参考图像、音频特征和情感特征,引导视频生成。

DICE-Talk的项目地址

  • 项目官网:https://toto222.github.io/DICE-Talk/
  • GitHub仓库:https://github.com/toto222/DICE-Talk
  • arXiv技术论文:https://arxiv.org/pdf/2504.18087

DICE-Talk的应用场景

  • 数字人与虚拟助手:为数字人和虚拟助手赋予丰富的情感表达,与用户交互时更加自然和生动,提升用户体验。
  • 影视制作:在影视特效和动画制作中,快速生成具有特定情感的动态肖像,提高制作效率,降低制作成本。
  • 虚拟现实与增强现实:在VR/AR应用中,生成与用户情感互动的虚拟角色,增强沉浸感和情感共鸣。
  • 在线教育与培训:创建具有情感反馈的教学视频,让学习内容更加生动有趣,提高学习效果。
  • 心理健康支持:开发情感化虚拟角色,用在心理治疗和情感支持,帮助用户更好地表达和理解情感。
❓ 常见问题解答(FAQ)
DICE-Talk主要解决什么问题?

DICE-Talk主要解决动态肖像生成中“有情感但不像本人”或“像本人但没情感”的矛盾。它在生成视频时同时兼顾情感表达、身份一致性和口型同步,适合音频驱动的情感化人物视频生成。

DICE-Talk为什么比普通说话头像更强?

它不仅做音频到口型的驱动,还引入情感库、情感关联增强和情感判别目标,让模型能更准确地生成目标情绪,并保持较好的视觉质量与身份特征,实验结果也优于现有方法。

DICE-Talk适合哪些应用场景?

适合数字人和虚拟助手、影视特效与动画、VR/AR虚拟角色、在线教育视频,以及心理健康支持等场景。凡是需要“可控情绪表达”的动态人物视频生成任务,都有较高应用价值。

🔬 语宙深潜追问 · 进阶实操拆解
情感驱动的口型同步,难点在哪?

难点不只是对齐音素,还要同步情绪强度、节奏和面部微表情。实操上通常需要把音频特征、身份特征和情感标签分开建模,再用时序约束保证嘴型与表情不打架。

如何提升身份一致性又不损失表情?

可以在身份保持分支里锁定人脸结构,在情感分支里只调节局部动态参数。训练时加入身份损失、感知损失和时序平滑约束,避免一激动就“换脸”或表情僵硬。

🗳️ 读者观点微投票 · 您的实战立场是?
情感化数字人,最难的是像人还是像自己?
🕸️ 语宙向量知识图谱 · 语义强关联深度内链
🐋 所属权威专题:DeepSeek 深度实战与部署 →
  • 趣丸科技发布Playmate框架:音频驱动,精准控制表情与姿态的AI人脸动画生成革命
  • EDTalk – 上海交大联合网易推出高效解耦的情感说话头像合成模型
  • Follow-Your-Emoji – 腾讯等推出的基于扩散模型的人像动画框架
  • 腾讯混元HunyuanVideo-Avatar:AI语音数字人技术革新,多角色情感对话视频一键生成
🏛️ Prompt 语宙研究院 · Prompt 语宙研究院(paooo.com Research)专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示词工程(Prompt Engineering)与全球高增长 AI 生产力工具实测追踪,致力于为中文开发者与创作者提供一手、可复现的深度技术洞察。
📄 Markdown 纯净版
💡 这篇内容对您有启发吗?
📡 RSS 订阅✨ 提交 AI 工具 / 合作
🚀 Prompt 语宙 AI 创作者生态:探索 2,800+ 全球实用 AI 工具与高精度生图提示词咒语库
🧭 语宙 AI 导航 (ai.paooo.com)🎨 AI 生图 Prompt 库📚 核心专题导航⚡ AIGC 早报生成器
美团万亿参数大模型LongCat-2.0-Preview:国产芯片训推闭环破局,1M上下文免费开放内测
[AI生图咒语] 例379 – 品牌人格漫画信息图
GPT-5.2-Codex重磅发布:OpenAI智能体编程模型深度解析,代码生成、漏洞扫描与Windows优化全面升级
Kimi-Dev 72B 开源代码模型登顶SWE-bench!月之暗面发布,超越DeepSeek-R1,编程能力堪比闭源模型
上线4个月ARR破数百万美元!前 Plaid CTO 创立 Town 斩获 1.08 亿美元 B 轮晋升独角兽:揭秘 Townie 跨员工智能体协议与共享工作流架构
TAGGED:AI绘画提示词AI视频生成AI音频与语音开源大模型
分享
Email 复制链接 打印
Share
Prompt 语宙研究院 头像
ByPrompt 语宙研究院
Follow:
Prompt 语宙研究院(paooo.com Research)专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示词工程(Prompt Engineering)与全球高增长 AI 生产力工具实测追踪,致力于为中文开发者与创作者提供一手、可复现的深度技术洞察。
上一篇 Llama 4 – Meta 开源的多模态系列AI模型,重夺开源王座 Llama 4 – Meta 开源的多模态系列AI模型,重夺开源王座
下一篇 ACI.dev – 为AI智能体设计的开源MCP基础设施平台 ACI.dev – 为AI智能体设计的开源MCP基础设施平台
Ad image
Ad image

最近更新

NVIDIA Vera Rubin 亮相 MLPerf 评测并在训练与端点测试中领先
单GPU训练性能翻倍且智能体每瓦吞吐暴增10倍!NVIDIA Vera Rubin首战MLPerf大获全胜:DeepSeek-V3千卡扩展效率97%与Agentic端点推理全景深度拆解
AIGC 资讯
美国商务部大楼与半导体出口管制新规
算力超1200万TPP即触发许可且限期90天整改!美国商务部突发全球数据中心新规:封死离岸云端远程租用算力与废止AI扩散规则全景深度拆解
AIGC 资讯
AI 原生 CRM 初创公司 Dreamteam 获 5300 万美元融资,挑战 Salesforce 与 HubSpot
斩获5300万美元对标Salesforce!前Freshworks高管创办AI原生CRM Dreamteam:基于Company Brain虚拟记忆与自动化智能体流水线深度拆解
AI 工具
Optimizely 谈营销智能体落地:企业需将审核从输出转向输入
告别Vibe Coding虚火!Optimizely解密企业级营销智能体落地法则:从“输出审核”走向“输入约束”、专用Harness架构与800落地页规模化实战
最新趋势

相关推荐

单周狂吞 188 万亿 Token!全球大模型调用榜中国断层领跑 26 周:DeepSeek V4.1-Flash-1017 暴涨 800% 登顶全景深度拆解
AIGC 资讯最新趋势

单周狂吞 188 万亿 Token!全球大模型调用榜中国断层领跑 26 周:DeepSeek V4.1-Flash-1017 暴涨 800% 登顶全景深度拆解

Prompt 语宙研究院
DeepSeek OpenRouter Token经济学 国产大模型 大模型调用量
Cua – 专为 MacOS 推出的开源 AI Agent项目
AIGC 资讯

Cua – 专为 MacOS 推出的开源 AI Agent项目

Prompt 语宙研究院
AI智能体 AI编程 Anthropic Claude OpenAI
阿里通义EAPO框架:30B小模型反超120B闭源大模型的强化学习突破,ACL 2026论文详解
AI 工具AIGC 资讯

阿里通义EAPO框架:30B小模型反超120B闭源大模型的强化学习突破,ACL 2026论文详解

Prompt 语宙研究院
EAPO 大模型 强化学习 长文本推理 阿里通义
DrawingSpinUp – AI驱动的2D绘画转化为3D效果的动画生成技术
AIGC 资讯

DrawingSpinUp – AI驱动的2D绘画转化为3D效果的动画生成技术

Prompt 语宙研究院
3D与空间智能 AI绘画提示词 AI视频生成
/ Prompt 语宙 /

探索生成式 AI 的无限创作潜能,一站式获取前沿 AIGC 资讯、高阶 Prompt 咒语与全球实用 AI 工具。

核心专栏

  • Remaker AI
  • BGRemaker 抠图Hot
  • AIGC 工具
  • Prompt 咒语生成器
  • 去水印工具

生态与服务

  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作

标签

开源大模型 AI智能体 AI办公效率 AI绘画提示词 OpenAI 大模型微调 Midjourney AI编程 stable diffusion AI视频生成 ChatGPT 3D与空间智能 HuggingFace AI音频与语音 RAG检索增强 Claude Flux AIGC Gemini 通义千问 Anthropic Llama Cursor DeepSeek Prompt AI Agent Kimi 智谱AI 具身智能 YouTube
Prompt 语宙Prompt 语宙
Follow US
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.