---
title: "Phantom – 字节跳动推出的主体一致视频生成框架"
url: "https://paooo.com/aigc-news/21747/"
author: "Prompt 语宙研究院"
published_at: "2026-06-09T02:31:41+08:00"
updated_at: "2026-06-09T02:31:41+08:00"
categories: "AIGC 资讯"
tags: "AI视频生成, HuggingFace, 大模型微调, 开源大模型"
source: "Prompt 语宙 (https://paooo.com)"
ai_tools_directory: "语宙 AI 导航 (https://ai.paooo.com)"
---

# Phantom – 字节跳动推出的主体一致视频生成框架

> 来源：[Prompt 语宙 (paooo.com)](https://paooo.com/aigc-news/21747/) · 作者：Prompt 语宙研究院 · 发布时间：2026-06-09

## AI 30 秒核心看点 (TL;DR)

- 基于文本-图像-视频三元组学习跨模态对齐，专攻主体一致视频生成。
- 支持单主体与多主体参考，尤其强化人脸、服装等身份特征保留。
- 可用于虚拟试穿、数字人、广告与教育视频，生成质量接近商业方案。

## Phantom是什么

Phantom是字节跳动智能创作团队推出的用在主体一致[视频生成](https://ai-bot.cn/ai-video-generation-tools/)（Subject-to-Video, S2V）的框架。基于跨模态对齐技术，结合文本和图像提示，从参考图像中提取主体元素并生成与文本描述一致的视频内容。Phantom基于现有的[文本到视频](https://ai-bot.cn/ai-text-to-video-tools/)（T2V）和图像到视频（I2V）架构，重新设计了联合文本-图像注入模型，基于文本-图像-视频三元组数据学习跨模态对齐。Phantom框架支持单主体和多主体参考，特别在人类生成任务中强调主体一致性，覆盖现有的身份保留视频生成任务，提供增强优势。

## Phantom的主要功能

- **从参考图像中提取主体元素**：识别并提取图像中的主体（如人物、动物、物体等），作为生成视频的核心内容。

- **根据文本提示生成视频**：用户基于文本指令控制视频的内容和风格，实现高度定制化的视频生成。

- **多主体视频生成**：支持同时处理多个主体，生成复杂的交互场景，如多人互动、人与宠物互动等。

- **身份保留（ID-Preserving**）：在生成视频时，保留主体的身份特征（如人脸、服装等），特别适用于虚拟试穿、数字人生成等场景。

- **高质量视频输出**：生成的视频在视觉效果、主体一致性和文本响应性方面表现出色，与现有的商业解决方案相当。

## Phantom的技术原理

- **数据结构设计**：Phantom构建了文本-图像-视频三元组数据结构，用在训练模型理解不同模态之间的关系。数据分为In-paired（图像与视频主体一致）和Cross-paired（跨视频匹配）两种类型，避免模型简单复制输入图像。

- **模型架构**：基于现有的文本到视频（T2V）和图像到视频（I2V）架构，重新设计联合文本-图像注入模型。模型分为输入头（Input Head）和可训练的DiT模块。输入头负责编码视频、文本和参考图像，DiT模块负责跨模态对齐和视频生成。

- **跨模态对齐**：参考图像基于特定的视觉编码器（如VAE和CLIP）编码后，与视频特征和文本特征分别拼接，输入到DiT模块的视觉和文本分支。

- **身份保留技术**：在处理人脸等身份特征时，基于面部识别模型（如ArcFace）评估生成视频与参考图像的相似度，确保主体身份的一致性。

- **优化与训练**：基于大规模的三元组数据训练，学习如何在生成视频时平衡文本和图像的双重提示。模型在预训练阶段继承基础模型的权重，基于跨模态数据进一步微调，实现高质量的视频生成。

## Phantom的项目地址

- **项目官网**：[https://phantom-video.github.io/Phantom/](https://phantom-video.github.io/Phantom/?utm_source=ai-bot.cn)

- **GitHub仓库**：[https://github.com/Phantom-video/Phantom](https://github.com/Phantom-video/Phantom)

- **HuggingFace模型库**：[https://huggingface.co/bytedance-research/Phantom](https://huggingface.co/bytedance-research/Phantom)

- **arXiv技术论文**：[https://arxiv.org/pdf/2502.11079](https://arxiv.org/pdf/2502.11079)

## Phantom的应用场景

- **虚拟试穿**：生成服装动态展示视频，帮助用户预览效果。

- **数字人生成**：创建具有特定外貌的虚拟角色，用于虚拟主播等场景。

- **广告视频制作**：根据图像和文本快速生成产品广告，提升制作效率。

- **影视动画**：生成角色动画原型，辅助创意验证，降低制作成本。

- **教育培训**：生成科学实验、历史场景等教学视频，增强互动性。

## 常见问题解答 (FAQ)

### Phantom适合做什么视频生成？
Phantom 主要用于主体一致视频生成（S2V），适合把参考图像中的人物、动物或物体，结合文本提示生成连贯视频。它尤其适合虚拟试穿、数字人、广告视频和教学演示等需要身份保留的场景。

### Phantom和普通文生视频有什么区别？
普通文生视频更强调画面生成，而 Phantom 额外强化“参考主体一致性”。它会从参考图像中提取主体特征，并通过文本-图像-视频对齐训练，尽量让生成视频保持同一人物、服装或物体身份。

### Phantom支持多主体视频生成吗？
支持。文章提到 Phantom 可处理单主体和多主体参考，能够生成多人互动、人与宠物互动等复杂场景。其核心优势是同时兼顾文本指令、主体身份保留和视频内容一致性。

---
探索 2,800+ 全球实用 AI 工具与官方直达入口：[语宙 AI 导航 (https://ai.paooo.com/)](https://ai.paooo.com/)
