# Phantom – 字节跳动推出的主体一致视频生成框架

- Link: https://paooo.com/aigc-news/21747/
- Published: 2026-06-09T02:31:41+08:00
- Author: Prompt 语宙研究院

⚡ [Prompt](https://paooo.com/ai-image-prompts/) 语宙 AI 导读 · 30 秒核心看点

 * 基于文本-图像-视频三元组学习跨模态对齐，专攻主体一致视频生成。
 * 支持单主体与多主体参考，尤其强化人脸、服装等身份特征保留。
 * 可用于虚拟试穿、数字人、广告与教育视频，生成质量接近商业方案。

## Phantom是什么

Phantom是字节跳动智能创作团队推出的用在主体一致[视频生成](https://ai-bot.cn/ai-video-generation-tools/)（
Subject-to-Video, S2V）的框架。基于跨模态对齐技术，结合文本和图像提示，从参考图像
中提取主体元素并生成与文本描述一致的视频内容。Phantom基于现有的[文本到视频](https://ai-bot.cn/ai-text-to-video-tools/)（
T2V）和图像到视频（I2V）架构，重新设计了联合文本-图像注入模型，基于文本-图像-视频
三元组数据学习跨模态对齐。Phantom框架支持单主体和多主体参考，特别在人类生成任务中
强调主体一致性，覆盖现有的身份保留视频生成任务，提供增强优势。

阅读目录

 * [Phantom是什么](https://paooo.com/aigc-news/21747/#phantom%e6%98%af%e4%bb%80%e4%b9%88)
 * [Phantom的主要功能](https://paooo.com/aigc-news/21747/#phantom%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd)
 * [Phantom的技术原理](https://paooo.com/aigc-news/21747/#phantom%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86)
 * [Phantom的项目地址](https://paooo.com/aigc-news/21747/#phantom%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80)
 * [Phantom的应用场景](https://paooo.com/aigc-news/21747/#phantom%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af)

![Phantom](https://paooo.com/wp-content/uploads/2026/06/Phantom-website-2-1.avif)

## Phantom的主要功能

 * **从参考图像中提取主体元素**：识别并提取图像中的主体（如人物、动物、物体等），
   作为生成视频的核心内容。
 * **根据文本提示生成视频**：用户基于文本指令控制视频的内容和风格，实现高度定制化
   的视频生成。
 * **多主体视频生成**：支持同时处理多个主体，生成复杂的交互场景，如多人互动、人与
   宠物互动等。
 * **身份保留（ID-Preserving**）：在生成视频时，保留主体的身份特征（如人脸、服装
   等），特别适用于虚拟试穿、数字人生成等场景。
 * **高质量视频输出**：生成的视频在视觉效果、主体一致性和文本响应性方面表现出色，
   与现有的商业解决方案相当。

## Phantom的技术原理

 * **数据结构设计**：Phantom构建了文本-图像-视频三元组数据结构，用在训练模型理解
   不同模态之间的关系。数据分为In-paired（图像与视频主体一致）和Cross-paired（跨
   视频匹配）两种类型，避免模型简单复制输入图像。
 * **模型架构**：基于现有的文本到视频（T2V）和图像到视频（I2V）架构，重新设计联合
   文本-图像注入模型。模型分为输入头（Input Head）和可训练的DiT模块。输入头负责编码
   视频、文本和参考图像，DiT模块负责跨模态对齐和视频生成。
 * **跨模态对齐**：参考图像基于特定的视觉编码器（如VAE和CLIP）编码后，与视频特征
   和文本特征分别拼接，输入到DiT模块的视觉和文本分支。
 * **身份保留技术**：在处理人脸等身份特征时，基于面部识别模型（如ArcFace）评估生成
   视频与参考图像的相似度，确保主体身份的一致性。
 * **优化与训练**：基于大规模的三元组数据训练，学习如何在生成视频时平衡文本和图像
   的双重提示。模型在预训练阶段继承基础模型的权重，基于跨模态数据进一步微调，实现
   高质量的视频生成。

## Phantom的项目地址

 * **项目官网**：[https://phantom-video.github.io/Phantom/](https://phantom-video.github.io/Phantom/?utm_source=ai-bot.cn)
 * **GitHub仓库**：[https://github.com/Phantom-video/Phantom](https://github.com/Phantom-video/Phantom)
 * **HuggingFace模型库**：[https://huggingface.co/bytedance-research/Phantom](https://huggingface.co/bytedance-research/Phantom)
 * **arXiv技术论文**：[https://arxiv.org/pdf/2502.11079](https://arxiv.org/pdf/2502.11079)

## Phantom的应用场景

 * **虚拟试穿**：生成服装动态展示视频，帮助用户预览效果。
 * **数字人生成**：创建具有特定外貌的虚拟角色，用于虚拟主播等场景。
 * **广告视频制作**：根据图像和文本快速生成产品广告，提升制作效率。
 * **影视动画**：生成角色动画原型，辅助创意验证，降低制作成本。
 * **教育培训**：生成科学实验、历史场景等教学视频，增强互动性。

🧭 文中关联 [AI 工具](https://ai.paooo.com/)官网与参数卡（语宙 AI 导航）

**HuggingFace ↗**

HuggingFace：AI模型开发社区，面向大语言模型场景提供便捷实用的在线功能支持，涵盖大
模型等实用方向。

❓ 常见问题解答（FAQ）

Phantom适合做什么视频生成？

Phantom 主要用于主体一致视频生成（S2V），适合把参考图像中的人物、动物或物体，结合
文本提示生成连贯视频。它尤其适合虚拟试穿、数字人、广告视频和教学演示等需要身份保留
的场景。

Phantom和普通文生视频有什么区别？

普通文生视频更强调画面生成，而 Phantom 额外强化“参考主体一致性”。它会从参考图像中
提取主体特征，并通过文本-图像-视频对齐训练，尽量让生成视频保持同一人物、服装或物体
身份。

Phantom支持多主体视频生成吗？

支持。文章提到 Phantom 可处理单主体和多主体参考，能够生成多人互动、人与宠物互动等
复杂场景。其核心优势是同时兼顾文本指令、主体身份保留和视频内容一致性。

🔬 语宙深潜追问 · 进阶实操拆解

三元组对齐为什么能提升一致性？

因为它把文本、图像和视频放到同一训练目标里，迫使模型同时学习身份特征、时序变化和
语义响应。相比只做文本到视频，这种对齐更能减少“人换脸”“物体漂移”等问题，尤其适合
多主体场景。

虚拟试穿场景怎么避免穿帮？

关键是把主体分割、姿态控制和服饰纹理约束一起做，并在生成后加一致性检测。落地时最好
保留可回退的编辑链路，比如局部重绘、遮罩修复和多轮筛选，而不是一次生成直接上线。

🗳️ 读者观点微投票 · 您的实战立场是？

主体一致视频生成，最难的是身份还是动作？

🕸️ 语宙向量知识图谱 · 语义强关联深度内链

[🐋 所属权威专题：DeepSeek 深度实战与部署 →](https://paooo.com/topics/deepseek/)

 * [美团LongCat开源：音频驱动数字人视频生成模型，超逼真口型同步、长视频稳定生成](https://paooo.com/aigc-news/12705/)
 * [腾讯微信团队发布 Stand-In：仅需1%参数微调，即可打造高保真身份一致的AI视频生成新范式](https://paooo.com/aigc-news/13776/)
 * [Video Alchemist – AI视频生成模型，具备多主体开放集合个性化能力](https://paooo.com/aigc-news/22753/)
 * [字节跳动MAGREF横空出世：单图+文本一键生成多主体视频，AI视频生成迎来新范式](https://paooo.com/aigc-news/14927/)

[🏛️ Prompt 语宙研究院](https://paooo.com/author/paooo-research/) · Prompt 语宙研究院（
paooo.com Research）专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示
词工程（Prompt Engineering）与全球高增长 AI 生产力工具实测追踪，致力于为中文开发
者与创作者提供一手、可复现的深度技术洞察。

[📄 Markdown 纯净版](https://paooo.com/aigc-news/21747/?format=md)

💡 这篇内容对您有启发吗？

[📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/)

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)
