# MEMO – 音频驱动的生成肖像说话视频框架，保持身份一致性和表现力

- Link: https://paooo.com/aigc-news/25011/
- Published: 2026-07-11T05:48:29+08:00
- Author: Prompt 语宙研究院

## MEMO是什么

MEMO（Memory-Guided EMOtionaware diffusion）是Skywork AI、南洋理工大学和新加坡国立大学
推出的音频驱动肖像动画框架，用在生成具有身份一致性和表现力的说话视频。MEMO围绕两
个核心模块构建：记忆引导的时间模块和情感感知音频模块。记忆引导模块通存储更长期的
运动信息增强身份一致性和运动平滑性，情感感知模块用多模态注意力机制提升音频与视频
的交互，根据音频中的情感来细化面部表情。MEMO在多种图像和音频类型的说话视频中，展现
出比现有最先进方法更优秀的整体质量、音频-唇形同步、身份一致性和表情-情感对齐。

阅读目录

 * [MEMO是什么](https://paooo.com/aigc-news/25011/#memo%e6%98%af%e4%bb%80%e4%b9%88)
 * [MEMO的主要功能](https://paooo.com/aigc-news/25011/#memo%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd)
 * [MEMO的技术原理](https://paooo.com/aigc-news/25011/#memo%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86)
 * [MEMO的项目地址](https://paooo.com/aigc-news/25011/#memo%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80)
 * [MEMO的应用场景](https://paooo.com/aigc-news/25011/#memo%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af)

![MEMO](https://paooo.com/wp-content/uploads/2026/07/MEMO-website-1.avif)

## MEMO的主要功能

 * **音频驱动的肖像动画**：MEMO根据输入的音频和参考图像生成同步的、具有身份一致性
   的说话视频。
 * **多样化内容生成**：支持多种图像风格（如肖像、雕塑、数字艺术）和音频类型（如演讲、
   唱歌、说唱）的说话视频生成。
 * **多语言支持**：能处理包括英语、普通话、西班牙语、日语、韩语和粤语在内的多种语言
   的音频输入。
 * **表情丰富的视频生成**：根据音频的情感内容生成具有相应表情的说话视频。
 * **长视频生成能力**：能生成长时间、少误差累积的说话视频。

## MEMO的技术原理

 * **记忆引导的时间模块**：
    - **记忆状态**：开发记忆状态存储来自更长过去上下文的信息，指导时间建模。
    - **线性注意力**：基于线性注意力机制使用长期运动信息，提高面部运动的连贯性，
      减少误差累积。
 * **情感感知音频模块**：
    - **多模态注意力**：同时处理视频和音频输入，增强两者之间的交互。
    - **音频情感检测**：动态检测音频中的情感线索，将情感信息整合到视频生成过程中，
      细化面部表情。
 * **端到端框架**：
    - **参考网络（Reference Net）**：提供身份信息，用在空间和时间建模。
    - **扩散网络（Diffusion Net）**：核心创新所在，包含记忆引导的时间模块和情感感知
      音频模块。
 * **数据处理流程**：包括场景转换检测、人脸检测、图像质量评估、音频-唇形同步检测
   等步骤，确保数据质量。
 * **训练策略**：分为两个阶段：面部领域适应和情感解耦的鲁棒训练，使用修正流量损失
   进行训练。

## MEMO的项目地址

 * **项目官网**：[memoavatar.github.io](https://memoavatar.github.io/?utm_source=ai-bot.cn)
 * **GitHub仓库**：[https://github.com/memoavatar/memo](https://github.com/memoavatar/memo)
 * **HuggingFace模型库**：[https://huggingface.co/memoavatar/memo](https://huggingface.co/memoavatar/memo)
 * **arXiv技术论文**：[https://arxiv.org/pdf/2412.04448](https://arxiv.org/pdf/2412.04448)

## MEMO的应用场景

 * **虚拟助手和聊天机器人**：生成虚拟助手或聊天机器人的逼真视频，在与用户交流时更加
   自然和亲切。
 * **娱乐和社交媒体**：在娱乐行业，创建虚拟偶像、游戏角色或社交媒体影响者的动态视频
   内容。
 * **教育和培训**：生成教育视频，其中教师或培训师的形象根据教学内容动态变化，提高
   学习体验的互动性和吸引力。
 * **新闻和媒体**：在新闻播报中，生成主播的视频，特别是在需要多语言播报时，快速生成
   对应语言的主播视频。
 * **广告和营销**：创建定制化的广告视频，产品代言人根据不同的市场和受众群体进行个性
   化调整。

[🏛️ Prompt 语宙研究院](https://paooo.com/author/paooo-research/) · Prompt 语宙研究院（
paooo.com Research）专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示
词工程（Prompt Engineering）与全球高增长 AI 生产力工具实测追踪，致力于为中文开发
者与创作者提供一手、可复现的深度技术洞察。

[📄 Markdown 纯净版](https://paooo.com/aigc-news/25011/?format=md)

💡 这篇内容对您有启发吗？

[📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/)

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)