# Bernini – 字节跳动开源的统一视频生成与编辑框架

- Link: https://paooo.com/aigc-news/18595/
- Published: 2026-06-07T18:03:45+08:00
- Author: Prompt 语宙研究院

⚡ [Prompt](https://paooo.com/ai-image-prompts/) 语宙 AI 导读 · 30 秒核心看点

 * 采用 MLLM 先理解指令再由 DiT 渲染，显著提升复杂视频生成与编辑的语义一致性。
 * 支持文本/图像生成视频、环境/视角/动作编辑，以及主体、材质、风格等多参考引导。
 * 推理代码与权重已开源，适合研究复现与广告、电商、影视预演等场景落地。

## Bernini是什么

Bernini 是字节跳动开源的统一视频生成与编辑框架，采用MLLM 语义规划 + DiT 视觉渲染
的两阶段解耦架构。多模态[大模型](https://paooo.com/ai-study/)理解指令并规划语义草
图，由 Diffusion Transformer 完成高质量视频生成。模型支持文本/图像生成视频、环境/
视角/动作编辑、多参考引导植入等任务，推理代码与权重已全面开源。

阅读目录

 * [Bernini是什么](https://paooo.com/aigc-news/18595/#bernini%e6%98%af%e4%bb%80%e4%b9%88)
 * [Bernini的主要功能](https://paooo.com/aigc-news/18595/#bernini%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd)
 * [Bernini的技术原理](https://paooo.com/aigc-news/18595/#bernini%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86)
 * [如何使用Bernini](https://paooo.com/aigc-news/18595/#%e5%a6%82%e4%bd%95%e4%bd%bf%e7%94%a8bernini)
 * [Bernini的核心优势](https://paooo.com/aigc-news/18595/#bernini%e7%9a%84%e6%a0%b8%e5%bf%83%e4%bc%98%e5%8a%bf)
 * [Bernini的项目地址](https://paooo.com/aigc-news/18595/#bernini%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80)
 * [Bernini的同类竞品对比](https://paooo.com/aigc-news/18595/#bernini%e7%9a%84%e5%90%8c%e7%b1%bb%e7%ab%9e%e5%93%81%e5%af%b9%e6%af%94)
 * [Bernini的应用场景](https://paooo.com/aigc-news/18595/#bernini%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af)

![Bernini](https://paooo.com/wp-content/uploads/2026/06/Bernini-website-1.avif)

## Bernini的主要功能

 * **文本/图像生成视频**：支持从文本提示或参考图像直接生成视频，可处理单图、多元素
   组合图和多角度参考图。
 * **视频编辑**：支持环境编辑、视角编辑、焦点编辑和动作编辑。
 * **参考引导编辑**：通过主体参考图、材质参考图或风格参考图，将指定物体、纹理或风格
   精准融入视频。
 * **图像/视频植入**：将海报或视频填入画面中的屏幕、招牌等区域，跟随镜头移动并保持
   透视和时序稳定。
 * **多元素组合**：将多张互不相关的参考图组合成同一个视频角色，或基于同一场景关键
   帧生成连续平移镜头。

## Bernini的技术原理

 * **两阶段解耦架构**：第一阶段由多模态大语言模型（MLLM）担任 Semantic Planner，
   在 ViT 嵌入空间中预测目标语义表示，负责理解文本指令、源视频和参考素材并规划目标
   内容。第二阶段由 Diffusion Transformer（DiT）担任 Renderer，在 VAE 潜在空间中
   执行流匹配去噪，将语义规划转化为高质量视频帧。编辑任务中还会注入源视频 VAE 特征
   保留非编辑区域细节。
 * **Segment-Aware 3D RoPE（SA-3D RoPE）**：当多个参考图、源视频、目标输出被串联
   为统一序列时，不同片段的 token 可能共享相同时空坐标。通过为每个视觉片段分配 segment
   索引并整合到旋转位置编码中，使模型能区分不同来源的 token，同时保留原始时空建模特
   性。
 * **Chain-of-Thought 推理与三阶段训练**：Planner 在潜在空间中进行思维链推理，增强
   复杂编辑场景下的语义保真度。训练分为三阶段：Planner 预训练、Renderer 预训练、
   Planner 与 Renderer 轻度联合训练，保留预训练优势又保持高效。

## 如何使用Bernini

 * **克隆仓库**：从 GitHub 克隆 Bernini 项目到本地。
 * **安装依赖**：运行 pip 安装 requirements.txt 中的依赖包。
 * **下载模型**：通过 HuggingFace 下载 Bernini-R-Diffusers 权重。
 * **配置环境**：确保使用 Python 3.11.2 和 CUDA 12.4+，推荐 Hopper 架构 GPU。
 * **运行生成**：使用 torchrun 执行多 GPU 推理脚本，指定配置文件和测试用例。
 * **配置提示增强**：设置 [OpenAI](https://paooo.com/tag/openai/) 兼容的 API 端点
   以提升生成质量。

## Bernini的核心优势

 * **先理解再生成**：MLLM 负责语义规划，DiT 负责视觉渲染，解决传统视频模型「听不懂
   人话」的痛点。
 * **统一框架**：单一架构覆盖生成、编辑、参考引导等多种任务，无需切换模型。
 * **多参考输入**：支持文本、图像、视频同时输入，通过 SA-3D RoPE 避免时空混淆。
 * **细节保留**：编辑时注入源视频 VAE 特征，保留非编辑区域细节，避免「一改全改」。
 * **完全开源**：推理代码与权重已开放，降低研究与开发门槛。
 * **强泛化能力**：在训练未明确覆盖的指令（如因果推理、动作变化）上仍表现出色。

## Bernini的项目地址

 * **项目官网**：https://bernini-ai.github.io
 * **GitHub仓库**：https://github.com/bytedance/Bernini
 * **HuggingFace模型库**：https://huggingface.co/ByteDance/Bernini
 * **arXiv技术论文**：https://arxiv.org/pdf/2605.22344

## Bernini的同类竞品对比

  |  对比维度 |  **Bernini** |  [**Runway Gen-4**](https://ai-bot.cn/gen-4-5/) |  
   |  **开发方** |  字节跳动（开源） |  Runway（闭源） |  
 |  **核心架构** |  MLLM Planner + DiT Renderer |  专有视频生成模型 |  
 |  **任务覆盖** |  生成+编辑统一框架 |  生成+编辑 |  
 |  **可控编辑** |  ★★★★★ 强（语义规划+多参考） |  ★★★★☆ 较强 |  
 |  **参考图支持** |  ★★★★★ 多元素/多角度/材质/风格 |  ★★★★☆ 支持 |  
 |  **开源程度** |  ★★★★★ 权重+代码开源 |  ★☆☆☆☆ 闭源 |  
 |  **硬件要求** |  推荐 H100/H800（8卡视频） |  云端 API |  
 |  **视频编辑** |  ★★★★★ 保留非编辑区域细节 |  ★★★★☆ |  
 |  **视觉质量** |  ★★★★☆ 优秀（480p/16fps） |  ★★★★★ 顶尖 |

## Bernini的应用场景

 * **广告创意**：模型能快速生成产品展示视频，支持产品图植入与风格调整。
 * **电商展示**：基于商品多角度参考图生成一致性高的动态展示视频。
 * **影视预演**：通过关键帧生成连续镜头，辅助虚拟漫游与场景构建。
 * **二次创作**：支持风格迁移、天气变换、动作编辑，降低视频再创作门槛。
 * **虚拟拍摄**：将海报或视频精准填入画面中的屏幕或招牌，实现虚实融合。

🧭 文中关联 [AI 工具](https://ai.paooo.com/)官网与参数卡（语宙 AI 导航）

**HuggingFace ↗**

HuggingFace：AI模型开发社区，面向大语言模型场景提供便捷实用的在线功能支持，涵盖大
模型等实用方向。

❓ 常见问题解答（FAQ）

Bernini 适合做哪些视频任务？

Bernini 覆盖统一的视频生成与编辑任务，包括文本/图像生成视频、环境编辑、视角编辑、
焦点编辑、动作编辑，以及主体、材质、风格等参考引导植入，适合多种创作与二次编辑需求。

Bernini 的核心技术和普通视频模型有什么不同？

它采用两阶段解耦架构：先由 MLLM 做语义规划，再由 DiT 负责视觉渲染。这样能先“理解
指令”再“生成画面”，比直接端到端生成更利于复杂编辑和多参考控制。

Bernini 开源后怎么使用？

文章给出的流程是：克隆 GitHub 仓库、安装 requirements、从 HuggingFace 下载权重，
并在 Python 3.11.2、CUDA 12.4+ 环境下用 torchrun 进行多 GPU 推理；还可配置 OpenAI
兼容端点增强效果。

🔬 语宙深潜追问 · 进阶实操拆解

两阶段架构适合哪些视频任务？

适合需要强语义控制的任务，如文生视频、参考图驱动编辑和多元素植入。先由MLLM做结构
化规划，再交给DiT渲染，能减少语义漂移和画面失控。

多GPU推理落地要注意什么？

重点是显存切分、权重加载和帧级并行策略。先固定分辨率与帧长做基准，再逐步打开批处理
和并行度，避免吞吐提升却引入时序抖动。

🗳️ 读者观点微投票 · 您的实战立场是？

视频生成框架该先优化规划还是渲染？

🕸️ 语宙向量知识图谱 · 语义强关联深度内链

[🔓 所属权威专题：开源大模型与端侧推理 →](https://paooo.com/topics/open-source-llm/)

 * [字节跳动开源Lance 3B：仅30亿参数，一个模型同时搞定AI看图、写图、剪视频](https://paooo.com/aigc-news/17497/)
 * [LanDiff – 浙大联合月之暗面推出的文本到视频生成混合框架](https://paooo.com/aigc-news/21176/)
 * [字节跳动Lance开源：3B参数统一模型，一模型搞定图像视频理解生成编辑全链路](https://paooo.com/aigc-news/10488/)
 * [VideoLLaMB – 开源的多模态长视频理解框架](https://paooo.com/aigc-news/26997/)

[🏛️ Prompt 语宙研究院](https://paooo.com/author/paooo-research/) · Prompt 语宙研究院（
paooo.com Research）专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示
词工程（Prompt Engineering）与全球高增长 AI 生产力工具实测追踪，致力于为中文开发
者与创作者提供一手、可复现的深度技术洞察。

[📄 Markdown 纯净版](https://paooo.com/aigc-news/18595/?format=md)

💡 这篇内容对您有启发吗？

[📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/)

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)
