# AniTalker – 上海交大开源的对口型说话视频生成框架 - Link: https://paooo.com/aigc-news/27899/ - Published: 2026-07-09T23:31:44+08:00 - Author: Prompt 语宙研究院 ## AniTalker是什么 AniTalker是由来自上海交大X-LANCE实验室和思必驰AISpeech的研究人员推出的[AI对口型](https://ai-bot.cn/ai-lip-syncing-tools/) 说话视频生成框架，能够将单张静态人像和输入的音频转换成栩栩如生的动画对话视频。该 框架通过自监督学习策略捕捉面部的复杂动态，包括微妙的表情和头部动作。AniTalker利用 通用运动表示和身份解耦技术，减少了对标记数据的依赖，同时结合扩散模型和方差适配器， 生成多样化和可控制的面部动画，可实现类似阿里[EMO](https://ai-bot.cn/emo/)和腾讯[AniPortrait](https://ai-bot.cn/aniportrait-ai/) 的效果。 阅读目录 * [AniTalker是什么](https://paooo.com/aigc-news/27899/#anitalker%e6%98%af%e4%bb%80%e4%b9%88) * [AniTalker的主要功能](https://paooo.com/aigc-news/27899/#anitalker%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd) * [AniTalker的官网入口](https://paooo.com/aigc-news/27899/#anitalker%e7%9a%84%e5%ae%98%e7%bd%91%e5%85%a5%e5%8f%a3) * [AniTalker的工作原理](https://paooo.com/aigc-news/27899/#anitalker%e7%9a%84%e5%b7%a5%e4%bd%9c%e5%8e%9f%e7%90%86) * [AniTalker的应用场景](https://paooo.com/aigc-news/27899/#anitalker%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af) ![AniTalker](https://paooo.com/wp-content/uploads/2026/07/anitalker-framework-1. avif) ## AniTalker的主要功能 * **静态肖像动画化**：AniTalker能够将任何单张人脸肖像转换成动态视频，其中人物能够 进行说话和表情变化。 * **音频同步**：该框架能够将输入的音频与人物的唇动和语音节奏同步，实现自然的对话 效果。 * **面部动态捕捉**：不仅仅是唇动同步，AniTalker还能模拟一系列复杂的面部表情和微妙 的肌肉运动。 * **多样化动画生成**：利用扩散模型，AniTalker能够生成具有随机变化的多样化面部动画， 增加了生成内容的自然性和不可预测性。 * **实时面部动画控制**：用户可以通过控制信号实时指导动画的生成，包括但不限于头部 姿势、面部表情和眼睛运动。 * **语音驱动的动画生成**：框架支持直接使用语音信号来生成动画，无需额外的视频输入。 * **长视频连续生成**：AniTalker能够连续生成长时间的动画视频，适用于长时间的对话 或演讲场景。 ![AniTalker说话视频生成](https://paooo.com/wp-content/uploads/2026/07/anitalker- face-generation.avif) ## AniTalker的官网入口 * 官方项目主页：[https://x-lance.github.io/AniTalker/](https://x-lance.github.io/AniTalker/) * GitHub源码库：[https://github.com/X-LANCE/AniTalker](https://github.com/X-LANCE/AniTalker) * arXiv研究论文：[https://arxiv.org/abs/2405.03121](https://arxiv.org/abs/2405.03121) ## AniTalker的工作原理 ![AniTalker的工作原理](https://paooo.com/wp-content/uploads/2026/07/anitalker-architecture. avif) * **运动表示学习**：AniTalker使用自监督学习方法来训练一个能够捕捉面部动态的通用 运动编码器。这个过程涉及到从视频中选取源图像和目标图像，并通过重建目标图像来学习 运动信息。 * **身份与运动解耦**：为了确保运动表示不包含身份特定的信息，AniTalker采用了度量 学习和互信息最小化技术。度量学习帮助模型区分不同个体的身份信息，而互信息最小化 确保运动编码器专注于捕捉运动而非身份特征。 * **分层聚合层（HAL）**：引入HAL（ Hierarchical Aggregation Layer）来增强运动编码 器对不同尺度运动变化的理解能力。HAL通过平均池化层和加权和层整合来自图像编码器 不同阶段的信息。 * **运动生成**：在训练好运动编码器之后，AniTalker可以基于用户控制的驱动信号生成 运动表示。这包括视频驱动和语音驱动的管道。 - **视频驱动管道**：使用驱动演讲者的视频序列来为源图像生成动画，从而准确复制 驱动姿势和面部表情。 - **语音驱动管道**：与视频驱动不同，语音驱动方法根据语音信号或其他控制信号来 生成视频，与输入的音频同步。 * **扩散模型和方差适配器**：在语音驱动方法中，AniTalker使用扩散模型来生成运动潜在 序列，并使用方差适配器引入属性操作，从而产生多样化和可控的面部动画。 * **渲染模块**：最后，使用图像渲染器根据生成的运动潜在序列逐帧渲染最终的动画视频。 * **训练和优化**：AniTalker的训练过程包括多个损失函数，如重建损失、感知损失、对抗 损失、互信息损失和身份度量学习损失，以优化模型性能。 * **控制属性特征**：AniTalker允许用户控制头部姿态和相机参数，如头部位置和面部大小， 以生成具有特定属性的动画。 ## AniTalker的应用场景 * **虚拟助手和客服**：AniTalker可以生成逼真的虚拟面孔，用于虚拟助手或在线客服， 提供更加自然和亲切的交互体验。 * **电影和视频制作**：在电影后期制作中，AniTalker可以用来生成或编辑演员的面部表情 和动作，尤其是在捕捉原始表演时无法实现的场景。 * **游戏开发**：游戏开发者可以利用AniTalker为游戏角色创建逼真的面部动画，增强游戏 的沉浸感和角色的表现力。 * **视频会议**：在视频会议中，AniTalker可以为参与者生成虚拟面孔，尤其是在需要保护 隐私或增加趣味性的场合。 * **社交媒体**：用户可以利用AniTalker创建个性化的虚拟形象，在社交媒体上进行交流 和分享。 * **新闻播报**：AniTalker可以生成虚拟新闻主播，用于自动化新闻播报，尤其是在需要 多语言播报时。 * **广告和营销**：企业可以利用AniTalker生成吸引人的虚拟角色，用于广告宣传或品牌 代言。 [🏛️ Prompt 语宙研究院](https://paooo.com/author/paooo-research/) · Prompt 语宙研究院（ paooo.com Research）专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示 词工程（Prompt Engineering）与全球高增长 AI 生产力工具实测追踪，致力于为中文开发 者与创作者提供一手、可复现的深度技术洞察。 [📄 Markdown 纯净版](https://paooo.com/aigc-news/27899/?format=md) 💡 这篇内容对您有启发吗？ [📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/) **🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词 咒语库 [🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/) [📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)