Prompt 语宙Prompt 语宙
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
阅读: Bernini – 字节跳动开源的统一视频生成与编辑框架
Share
通知 阅读更多
Font Resizer字体
Font Resizer字体
Prompt 语宙Prompt 语宙
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
已有帐户? 登陆
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
Bernini – 字节跳动开源的统一视频生成与编辑框架
Prompt 语宙 > AIGC 资讯 > Bernini – 字节跳动开源的统一视频生成与编辑框架
AIGC 资讯

Bernini – 字节跳动开源的统一视频生成与编辑框架

Prompt 语宙研究院
最近更新: 2026年6月7日 下午6:03
3D与空间智能 AI视频生成 HuggingFace OpenAI 开源大模型
SHARE
⚡ Prompt 语宙 AI 导读 · 30 秒核心看点
  • 采用 MLLM 先理解指令再由 DiT 渲染,显著提升复杂视频生成与编辑的语义一致性。
  • 支持文本/图像生成视频、环境/视角/动作编辑,以及主体、材质、风格等多参考引导。
  • 推理代码与权重已开源,适合研究复现与广告、电商、影视预演等场景落地。

Bernini是什么

Bernini 是字节跳动开源的统一视频生成与编辑框架,采用MLLM 语义规划 + DiT 视觉渲染的两阶段解耦架构。多模态大模型理解指令并规划语义草图,由 Diffusion Transformer 完成高质量视频生成。模型支持文本/图像生成视频、环境/视角/动作编辑、多参考引导植入等任务,推理代码与权重已全面开源。

阅读目录
  • Bernini是什么
  • Bernini的主要功能
  • Bernini的技术原理
  • 如何使用Bernini
  • Bernini的核心优势
  • Bernini的项目地址
  • Bernini的同类竞品对比
  • Bernini的应用场景

Bernini

Bernini的主要功能

  • 文本/图像生成视频:支持从文本提示或参考图像直接生成视频,可处理单图、多元素组合图和多角度参考图。
  • 视频编辑:支持环境编辑、视角编辑、焦点编辑和动作编辑。
  • 参考引导编辑:通过主体参考图、材质参考图或风格参考图,将指定物体、纹理或风格精准融入视频。
  • 图像/视频植入:将海报或视频填入画面中的屏幕、招牌等区域,跟随镜头移动并保持透视和时序稳定。
  • 多元素组合:将多张互不相关的参考图组合成同一个视频角色,或基于同一场景关键帧生成连续平移镜头。

Bernini的技术原理

  • 两阶段解耦架构:第一阶段由多模态大语言模型(MLLM)担任 Semantic Planner,在 ViT 嵌入空间中预测目标语义表示,负责理解文本指令、源视频和参考素材并规划目标内容。第二阶段由 Diffusion Transformer(DiT)担任 Renderer,在 VAE 潜在空间中执行流匹配去噪,将语义规划转化为高质量视频帧。编辑任务中还会注入源视频 VAE 特征保留非编辑区域细节。
  • Segment-Aware 3D RoPE(SA-3D RoPE):当多个参考图、源视频、目标输出被串联为统一序列时,不同片段的 token 可能共享相同时空坐标。通过为每个视觉片段分配 segment 索引并整合到旋转位置编码中,使模型能区分不同来源的 token,同时保留原始时空建模特性。
  • Chain-of-Thought 推理与三阶段训练:Planner 在潜在空间中进行思维链推理,增强复杂编辑场景下的语义保真度。训练分为三阶段:Planner 预训练、Renderer 预训练、Planner 与 Renderer 轻度联合训练,保留预训练优势又保持高效。

如何使用Bernini

  • 克隆仓库:从 GitHub 克隆 Bernini 项目到本地。
  • 安装依赖:运行 pip 安装 requirements.txt 中的依赖包。
  • 下载模型:通过 HuggingFace 下载 Bernini-R-Diffusers 权重。
  • 配置环境:确保使用 Python 3.11.2 和 CUDA 12.4+,推荐 Hopper 架构 GPU。
  • 运行生成:使用 torchrun 执行多 GPU 推理脚本,指定配置文件和测试用例。
  • 配置提示增强:设置 OpenAI 兼容的 API 端点以提升生成质量。

Bernini的核心优势

  • 先理解再生成:MLLM 负责语义规划,DiT 负责视觉渲染,解决传统视频模型「听不懂人话」的痛点。
  • 统一框架:单一架构覆盖生成、编辑、参考引导等多种任务,无需切换模型。
  • 多参考输入:支持文本、图像、视频同时输入,通过 SA-3D RoPE 避免时空混淆。
  • 细节保留:编辑时注入源视频 VAE 特征,保留非编辑区域细节,避免「一改全改」。
  • 完全开源:推理代码与权重已开放,降低研究与开发门槛。
  • 强泛化能力:在训练未明确覆盖的指令(如因果推理、动作变化)上仍表现出色。

Bernini的项目地址

  • 项目官网:https://bernini-ai.github.io
  • GitHub仓库:https://github.com/bytedance/Bernini
  • HuggingFace模型库:https://huggingface.co/ByteDance/Bernini
  • arXiv技术论文:https://arxiv.org/pdf/2605.22344

Bernini的同类竞品对比

对比维度 Bernini Runway Gen-4
开发方 字节跳动(开源) Runway(闭源)
核心架构 MLLM Planner + DiT Renderer 专有视频生成模型
任务覆盖 生成+编辑统一框架 生成+编辑
可控编辑 ★★★★★ 强(语义规划+多参考) ★★★★☆ 较强
参考图支持 ★★★★★ 多元素/多角度/材质/风格 ★★★★☆ 支持
开源程度 ★★★★★ 权重+代码开源 ★☆☆☆☆ 闭源
硬件要求 推荐 H100/H800(8卡视频) 云端 API
视频编辑 ★★★★★ 保留非编辑区域细节 ★★★★☆
视觉质量 ★★★★☆ 优秀(480p/16fps) ★★★★★ 顶尖

Bernini的应用场景

  • 广告创意:模型能快速生成产品展示视频,支持产品图植入与风格调整。
  • 电商展示:基于商品多角度参考图生成一致性高的动态展示视频。
  • 影视预演:通过关键帧生成连续镜头,辅助虚拟漫游与场景构建。
  • 二次创作:支持风格迁移、天气变换、动作编辑,降低视频再创作门槛。
  • 虚拟拍摄:将海报或视频精准填入画面中的屏幕或招牌,实现虚实融合。
🧭 文中关联 AI 工具官网与参数卡(语宙 AI 导航)
HuggingFace ↗
HuggingFace:AI模型开发社区,面向大语言模型场景提供便捷实用的在线功能支持,涵盖大模型等实用方向。
❓ 常见问题解答(FAQ)
Bernini 适合做哪些视频任务?

Bernini 覆盖统一的视频生成与编辑任务,包括文本/图像生成视频、环境编辑、视角编辑、焦点编辑、动作编辑,以及主体、材质、风格等参考引导植入,适合多种创作与二次编辑需求。

Bernini 的核心技术和普通视频模型有什么不同?

它采用两阶段解耦架构:先由 MLLM 做语义规划,再由 DiT 负责视觉渲染。这样能先“理解指令”再“生成画面”,比直接端到端生成更利于复杂编辑和多参考控制。

Bernini 开源后怎么使用?

文章给出的流程是:克隆 GitHub 仓库、安装 requirements、从 HuggingFace 下载权重,并在 Python 3.11.2、CUDA 12.4+ 环境下用 torchrun 进行多 GPU 推理;还可配置 OpenAI 兼容端点增强效果。

🔬 语宙深潜追问 · 进阶实操拆解
两阶段架构适合哪些视频任务?

适合需要强语义控制的任务,如文生视频、参考图驱动编辑和多元素植入。先由MLLM做结构化规划,再交给DiT渲染,能减少语义漂移和画面失控。

多GPU推理落地要注意什么?

重点是显存切分、权重加载和帧级并行策略。先固定分辨率与帧长做基准,再逐步打开批处理和并行度,避免吞吐提升却引入时序抖动。

🗳️ 读者观点微投票 · 您的实战立场是?
视频生成框架该先优化规划还是渲染?
🕸️ 语宙向量知识图谱 · 语义强关联深度内链
🔓 所属权威专题:开源大模型与端侧推理 →
  • 字节跳动开源Lance 3B:仅30亿参数,一个模型同时搞定AI看图、写图、剪视频
  • LanDiff – 浙大联合月之暗面推出的文本到视频生成混合框架
  • 字节跳动Lance开源:3B参数统一模型,一模型搞定图像视频理解生成编辑全链路
  • VideoLLaMB – 开源的多模态长视频理解框架
🏛️ Prompt 语宙研究院 · Prompt 语宙研究院(paooo.com Research)专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示词工程(Prompt Engineering)与全球高增长 AI 生产力工具实测追踪,致力于为中文开发者与创作者提供一手、可复现的深度技术洞察。
📄 Markdown 纯净版
💡 这篇内容对您有启发吗?
📡 RSS 订阅✨ 提交 AI 工具 / 合作
🚀 Prompt 语宙 AI 创作者生态:探索 2,800+ 全球实用 AI 工具与高精度生图提示词咒语库
🧭 语宙 AI 导航 (ai.paooo.com)🎨 AI 生图 Prompt 库📚 核心专题导航⚡ AIGC 早报生成器
WorldCupVoice – 开源的 AI 实时体育解说系统
08-11 AIGC 早报
MiroFlow多Agent框架:GAIA测试72.2%通过率,赋能高并发AI应用开发
月活1.42亿引爆企业生产力!QuestMobile 办公Agent最新榜单出炉:腾讯WorkBuddy断层领跑,百度搭子与千问办公三足鼎立深度拆解
LLaDA – 人大高瓴AI联合蚂蚁推出的扩散大语言模型
TAGGED:3D与空间智能AI视频生成HuggingFaceOpenAI开源大模型
分享
Email 复制链接 打印
Share
Prompt 语宙研究院 头像
ByPrompt 语宙研究院
Follow:
Prompt 语宙研究院(paooo.com Research)专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示词工程(Prompt Engineering)与全球高增长 AI 生产力工具实测追踪,致力于为中文开发者与创作者提供一手、可复现的深度技术洞察。
上一篇 Mellum2 – JetBrains 开源的混合专家模型 Mellum2 – JetBrains 开源的混合专家模型
下一篇 ControlFoley – 小米开源的可控视频音效生成模型 ControlFoley – 小米开源的可控视频音效生成模型
Ad image
Ad image

最近更新

NVIDIA Vera Rubin 亮相 MLPerf 评测并在训练与端点测试中领先
单GPU训练性能翻倍且智能体每瓦吞吐暴增10倍!NVIDIA Vera Rubin首战MLPerf大获全胜:DeepSeek-V3千卡扩展效率97%与Agentic端点推理全景深度拆解
AIGC 资讯
美国商务部大楼与半导体出口管制新规
算力超1200万TPP即触发许可且限期90天整改!美国商务部突发全球数据中心新规:封死离岸云端远程租用算力与废止AI扩散规则全景深度拆解
AIGC 资讯
AI 原生 CRM 初创公司 Dreamteam 获 5300 万美元融资,挑战 Salesforce 与 HubSpot
斩获5300万美元对标Salesforce!前Freshworks高管创办AI原生CRM Dreamteam:基于Company Brain虚拟记忆与自动化智能体流水线深度拆解
AI 工具
Optimizely 谈营销智能体落地:企业需将审核从输出转向输入
告别Vibe Coding虚火!Optimizely解密企业级营销智能体落地法则:从“输出审核”走向“输入约束”、专用Harness架构与800落地页规模化实战
最新趋势

相关推荐

[AI生图咒语] 迈向云城的夏日清透人像摄影
AI 生图 Prompt写实人像

[AI生图咒语] 迈向云城的夏日清透人像摄影

Prompt 语宙研究院
AI绘画提示词 Flux Midjourney stable diffusion 开源大模型
AutoBE – AI驱动的后端服务器代码生成工具
AIGC 资讯

AutoBE – AI驱动的后端服务器代码生成工具

Prompt 语宙研究院
AI智能体 AI编程 Cursor 开源大模型
Sketch2Sound – Adobe 联合西北大学推出的AI音频生成技术
AIGC 资讯

Sketch2Sound – Adobe 联合西北大学推出的AI音频生成技术

Prompt 语宙研究院
Adobe AI音频与语音 大模型微调
Mistral AI联手空客宝马:押注‘实体AI’,制造业将迎来效率革命?
AIGC 资讯最新趋势

Mistral AI联手空客宝马:押注‘实体AI’,制造业将迎来效率革命?

Prompt 语宙研究院
Mistral AI 宝马 实体AI 数字孪生 空客
/ Prompt 语宙 /

探索生成式 AI 的无限创作潜能,一站式获取前沿 AIGC 资讯、高阶 Prompt 咒语与全球实用 AI 工具。

核心专栏

  • Remaker AI
  • BGRemaker 抠图Hot
  • AIGC 工具
  • Prompt 咒语生成器
  • 去水印工具

生态与服务

  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作

标签

开源大模型 AI智能体 AI办公效率 AI绘画提示词 OpenAI 大模型微调 Midjourney AI编程 stable diffusion AI视频生成 ChatGPT 3D与空间智能 HuggingFace AI音频与语音 RAG检索增强 Claude Flux AIGC Gemini 通义千问 Anthropic Llama Cursor DeepSeek Prompt AI Agent Kimi 智谱AI 具身智能 YouTube
Prompt 语宙Prompt 语宙
Follow US
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.