Prompt 语宙Prompt 语宙
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
阅读: Open-Sora 2.0 – 潞晨科技开源的AI视频生成模型
Share
通知 阅读更多
Font Resizer字体
Font Resizer字体
Prompt 语宙Prompt 语宙
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
已有帐户? 登陆
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
Open-Sora 2.0 – 潞晨科技开源的AI视频生成模型
Prompt 语宙 > AIGC 资讯 > Open-Sora 2.0 – 潞晨科技开源的AI视频生成模型
AIGC 资讯

Open-Sora 2.0 – 潞晨科技开源的AI视频生成模型

Prompt 语宙研究院
最近更新: 2026年7月22日 下午1:26
AI视频生成 Sora 开源大模型
SHARE
⚡ Prompt 语宙 AI 导读 · 30 秒核心看点
  • 以 20 万美元和 224 张 GPU 训练出 11B 参数视频模型,显著降低高质量视频生成门槛。
  • 基于 3D 自编码器、3D 全注意力与 MMDiT 架构,兼顾时空一致性、效率与推理速度。
  • 在 VBench 和用户偏好测试中表现突出,性能接近 OpenAI Sora,并超越部分开源与商业模型。
conda create -n opensora python=3.9
conda activate opensora

git clone https://github.com/hpcaitech/Open-Sora
cd Open-Sora

pip install -r requirements/requirements-cu121.txt

pip install -v .  # 或使用开发模式:pip install -v -e .

pip install git+https://github.com/hpcaitech/TensorNVMe.git
pip install git+https://github.com/hpcaitech/ColossalAI.git
pip install packaging ninja
pip install flash-attn --no-build-isolation
pip install -v --disable-pip-version-check --no-cache-dir --no-build-isolation --config-settings "--build-option=--cpp_ext" --config-settings "--build-option=--cuda_ext" git+https://github.com/NVIDIA/apex.git

docker build -t opensora .

docker run -ti --gpus all -v .:/workspace/Open-Sora opensora

阅读目录
  • Open-Sora 2.0是什么
  • Open-Sora 2.0的主要功能
  • Open-Sora 2.0的技术原理
  • Open-Sora 2.0的性能表现
  • Open-Sora 2.0的项目地址
  • Open-Sora 2.0的生成效果
  • 如何使用Open-Sora 2.0
  • Open-Sora 2.0的应用场景

Open-Sora 2.0是什么

Open-Sora 2.0 是潞晨科技推出的全新开源SOTA(State-of-the-Art)视频生成模型。Open-Sora 2.0 用 20 万美元(224 张 GPU)成功训练出 11B 参数的商业级模型,相比传统高性能视频生成模型大幅降低了训练成本。模型在 VBench 和用户偏好测试中表现卓越,性能媲美甚至超越 HunyuanVideo 和 30B 参数的 Step-Video 等主流闭源模型。Open-Sora 2.0 基于 3D 自编码器、3D 全注意力机制和 MMDiT 架构,结合高效的并行训练方案和高压缩比自编码器,显著提升训练效率和推理速度。

Open-Sora 2.0

Open-Sora 2.0的主要功能

  • 高质量视频生成:生成 720p 分辨率、24 FPS 的流畅视频,支持多种场景和风格,从自然风光到复杂动态场景都能表现出色。
  • 动作幅度可控:根据用户需求调整视频中人物或物体的动作幅度,实现更细腻、精准的动态表现。
  • 文本到视频(T2V)生成:支持用文本描述直接生成对应的视频内容,满足创意视频制作和内容生成的需求。
  • 图像到视频(I2V)生成:结合开源图像模型,基于图像生成视频,进一步提升生成效果和多样性。

Open-Sora 2.0的技术原理

  • 模型架构:基于三维自编码器高效处理视频数据,捕捉时间维度上的动态信息。引入全注意力机制,提升视频生成的时空一致性。结合多模态扩散(MMDiT)架构,更精准地捕捉文本与视频内容的关联。
  • 高压缩比自编码器:基于 4×32×32 的高压缩比自编码器,显著降低推理成本。
  • 高效训练方法:基于多阶段、多层次的数据筛选机制,确保高质量数据输入,提升训练效率。优先在低分辨率下训练,学习关键动态特征,逐步提升分辨率,大幅降低计算开销。优先训练图生视频任务,用图像特征引导视频生成,加速模型收敛。
  • 并行训练与优化:结合 ColossalAI 和系统级优化,提升计算资源利用率。关键技术优化包括序列并行、ZeroDP、细粒度 Gradient Checkpointing、自动恢复机制、高效数据加载与内存管理等,确保训练效率最大化。
  • 模型初始化与蒸馏:借助开源图生视频模型 FLUX 进行初始化,降低训练成本。基于蒸馏的优化策略提升自编码器特征空间的表达能力,减少训练所需数据量和时间。

Open-Sora 2.0的性能表现

  • 媲美 HunyuanVideo 和 30B Step-Video:Open-Sora 2.0 凭借仅 11B 参数规模,在 VBench 和人工偏好测试中达到与高成本开发的主流闭源大模型(如 HunyuanVideo 和 30B 参数的 Step-Video)相媲美的水平。
  • 用户偏好评测:在视觉表现、文本一致性和动作表现三大关键维度中,Open-Sora 2.0 至少在两个指标上超越开源 SOTA 模型 HunyuanVideo 和商业模型 Runway Gen-3 Alpha,用更少的资源实现更优的性能表现。
  • VBench 指标表现强势:根据视频生成权威榜单 VBench 的评测结果,Open-Sora 2.0 的性能表现极为出色。从Open-Sora 1.2升级到2.0版本后,与行业领先的 OpenAI Sora 闭源模型之间的性能差距从 4.52% 缩减至仅 0.69%,几乎实现完全的性能对齐。Open-Sora 2.0 的评测分数已超越腾讯的 HunyuanVideo,用更低的训练成本达成了更高的性能水平,为开源视频生成领域树立新的里程碑。

Open-Sora 2.0

Open-Sora 2.0的项目地址

  • GitHub仓库:https://github.com/hpcaitech/Open-Sora
  • 技术论文:https://github.com/hpcaitech/Open-Sora-Demo/blob/main/paper/Open_Sora_2

Open-Sora 2.0的生成效果

  • 提示词:A tomato surfing on a piece of lettuce down a waterfall of ranch dressing, with exaggerated surfing moves and creamy wave effects to highlight the 3D animated fun.(一颗番茄在一片生菜上冲浪,顺着牧场酱汁的瀑布而下,夸张的冲浪动作和柔滑的波浪效果凸显了 3D 动画的乐趣。)

Open-Sora 2.0

  • 提示词:A drone camera circles a historic church on a rocky outcrop along the Amalfi Coast, highlighting its stunning architecture, tiered patios, and the dramatic coastal views with waves crashing below and people enjoying the scene in the warm afternoon light.(一架无人机摄像机围绕着阿马尔菲海岸岩石露头上的一座历史悠久的教堂飞行,突显了其令人惊叹的建筑、分层的庭院和壮观的海岸景色,海浪拍打在教堂下方,人们在温暖的午后阳光下欣赏着这美丽的景色。)

Open-Sora 2.0

  • 提示词:A scene from disaster movie.(灾难片中的场景。)

Open-Sora 2.0

  • 提示词:Chinese ancient style, realism. A young woman, dressed in an embroidered red qipao, walks along the ancient streets of a bustling Chinese town. The red lanterns hanging above her sway gently in the evening breeze, and her calm, confident stride contrasts with the lively atmosphere of merchants and performers around her.(中国古风写实。一位身着绣花红旗袍的年轻女子走在繁华的中国小镇的古老街道上。头顶上悬挂的红灯笼在晚风中轻轻摇曳,她从容自信的步伐与周围商贩和艺人的热闹氛围形成鲜明对比。)

Open-Sora 2.0

如何使用Open-Sora 2.0

  • 从源代码安装:
    • 创建虚拟环境(推荐使用 Conda):
    • 克隆仓库:
    • 安装依赖:
      • 根据你的 CUDA 版本(例如 CUDA 12.1),安装基础依赖:
      • 安装项目:
      • 安装加速相关的依赖(可选,但推荐):
  • 使用 Docker 安装:
    • 构建 Docker 镜像:
    • 运行 Docker 容器(确保挂载 GPU 和工作目录):

Open-Sora 2.0的应用场景

  • 频制作:快速生成广告、动画等创意视频,降低制作成本。
  • 影视后期:辅助生成特效镜头和虚拟场景,提升制作效率。
  • 教育领域:生成教育视频,增强教学的趣味性和效果。
  • 游戏开发:用在生成游戏动画和虚拟场景,丰富游戏内容。
  • VR/AR 应用:构建沉浸式虚拟场景,提升用户体验。
❓ 常见问题解答(FAQ)
Open-Sora 2.0 是什么模型?

Open-Sora 2.0 是潞晨科技推出的开源 AI 视频生成模型,定位为 SOTA 级方案。它以较低训练成本完成 11B 参数模型训练,支持文本到视频和图像到视频生成,并强调高分辨率、流畅度与动作可控性。

Open-Sora 2.0 的核心技术是什么?

它主要基于 3D 自编码器、3D 全注意力机制和 MMDiT 架构,并结合高压缩比自编码器与高效并行训练方案。文章还提到其使用多阶段数据筛选、低分辨率优先训练、图生视频优先训练等策略提升效率。

Open-Sora 2.0 的效果真的好吗?

根据文中描述,Open-Sora 2.0 在 VBench 和用户偏好测试中表现优秀,性能可媲美甚至超越 HunyuanVideo、30B Step-Video 等模型。其与 OpenAI Sora 的性能差距也从 4.52% 缩小到 0.69%。

🔬 语宙深潜追问 · 进阶实操拆解
低成本训练11B视频模型的关键是什么?

核心不只是省GPU,而是数据、训练策略和工程效率一起优化。通常要靠高质量视频筛选、分阶段训练、混合精度与高效并行,再配合严格的评测回路。单纯堆算力很难复现这种成本优势。

想复现Open-Sora 2.0,最先补哪块能力?

优先补数据治理和训练稳定性,而不是先追最大参数量。视频模型最容易卡在时序一致性、长视频退化和显存效率上。先做小规模可复现实验,把采样、对齐和评测流程跑通,再逐步扩模型。

🗳️ 读者观点微投票 · 您的实战立场是?
20万美元做出11B视频模型,开源路线真能赢吗?
🕸️ 语宙向量知识图谱 · 语义强关联深度内链
⚡ 所属权威专题:OpenAI GPT 与 Sora 生态 →
  • 揭秘内部:OpenAI 的 Sora 模型如何运作 [译]
  • 视频生成模型:构建虚拟世界的模拟器 [译]
  • OpenAI Sora文本生成视频AI模型
  • Open-Sora – 开源的类Sora架构的视频生成模型和复现方案
🏛️ Prompt 语宙研究院 · Prompt 语宙研究院(paooo.com Research)专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示词工程(Prompt Engineering)与全球高增长 AI 生产力工具实测追踪,致力于为中文开发者与创作者提供一手、可复现的深度技术洞察。
📄 Markdown 纯净版
💡 这篇内容对您有启发吗?
📡 RSS 订阅✨ 提交 AI 工具 / 合作
🚀 Prompt 语宙 AI 创作者生态:探索 2,800+ 全球实用 AI 工具与高精度生图提示词咒语库
🧭 语宙 AI 导航 (ai.paooo.com)🎨 AI 生图 Prompt 库📚 核心专题导航⚡ AIGC 早报生成器
比亚迪人形机器人8月亮相郑州,商业服务场景或率先落地
RynnEC:阿里达摩院多模态具身认知大模型,从视频理解物理世界的突破
美团联合上交大发布OneCAT:纯解码器多模态大模型,开启AI视觉生成与理解新范式
Spotify与环球音乐联手:AI翻唱混音工具上线,正版版权终结Suno野蛮生长
MiniMax M3大模型重磅发布:首创MSA架构,1M上下文全面开源,性能对标GPT-5.5
TAGGED:AI视频生成Sora开源大模型
分享
Email 复制链接 打印
Share
Prompt 语宙研究院 头像
ByPrompt 语宙研究院
Follow:
Prompt 语宙研究院(paooo.com Research)专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示词工程(Prompt Engineering)与全球高增长 AI 生产力工具实测追踪,致力于为中文开发者与创作者提供一手、可复现的深度技术洞察。
上一篇 Umi-OCR – 免费 OCR 文字识别工具,支持截图、批量图片排版解析 Umi-OCR – 免费 OCR 文字识别工具,支持截图、批量图片排版解析
下一篇 X-Dancer – 字节等机构推出音乐驱动的人像舞蹈视频生成框架 X-Dancer – 字节等机构推出音乐驱动的人像舞蹈视频生成框架
Ad image
Ad image

最近更新

NVIDIA Vera Rubin 亮相 MLPerf 评测并在训练与端点测试中领先
单GPU训练性能翻倍且智能体每瓦吞吐暴增10倍!NVIDIA Vera Rubin首战MLPerf大获全胜:DeepSeek-V3千卡扩展效率97%与Agentic端点推理全景深度拆解
AIGC 资讯
美国商务部大楼与半导体出口管制新规
算力超1200万TPP即触发许可且限期90天整改!美国商务部突发全球数据中心新规:封死离岸云端远程租用算力与废止AI扩散规则全景深度拆解
AIGC 资讯
AI 原生 CRM 初创公司 Dreamteam 获 5300 万美元融资,挑战 Salesforce 与 HubSpot
斩获5300万美元对标Salesforce!前Freshworks高管创办AI原生CRM Dreamteam:基于Company Brain虚拟记忆与自动化智能体流水线深度拆解
AI 工具
Optimizely 谈营销智能体落地:企业需将审核从输出转向输入
告别Vibe Coding虚火!Optimizely解密企业级营销智能体落地法则:从“输出审核”走向“输入约束”、专用Harness架构与800落地页规模化实战
最新趋势

相关推荐

Torch-MLU – 寒武纪开源的PyTorch后端插件,支持大模型一键迁移
AIGC 资讯

Torch-MLU – 寒武纪开源的PyTorch后端插件,支持大模型一键迁移

Prompt 语宙研究院
AI编程 AI音频与语音 PyTorch 大模型微调 开源大模型
Klavis AI – 开源MCP集成平台,快速接入生产级MCP服务器
AIGC 资讯

Klavis AI – 开源MCP集成平台,快速接入生产级MCP服务器

Prompt 语宙研究院
AI办公效率 AI智能体 AI编程 开源大模型
卢伟冰剧透发布会彩排:小米17T系列将登场,机器人互动成瞩目亮点
AIGC 资讯

卢伟冰剧透发布会彩排:小米17T系列将登场,机器人互动成瞩目亮点

Prompt 语宙研究院
3D与空间智能 AI办公效率 AI智能体
字节跳动Waver 1.0重磅发布:一体化AI视频生成,支持1080p,性能碾压Sora
AI 工具AIGC 资讯

字节跳动Waver 1.0重磅发布:一体化AI视频生成,支持1080p,性能碾压Sora

Prompt 语宙研究院
AIGC AI视频生成 Sora stable diffusion 可灵AI 字节跳动 视频生成模型
/ Prompt 语宙 /

探索生成式 AI 的无限创作潜能,一站式获取前沿 AIGC 资讯、高阶 Prompt 咒语与全球实用 AI 工具。

核心专栏

  • Remaker AI
  • BGRemaker 抠图Hot
  • AIGC 工具
  • Prompt 咒语生成器
  • 去水印工具

生态与服务

  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作

标签

开源大模型 AI智能体 AI办公效率 AI绘画提示词 OpenAI 大模型微调 Midjourney AI编程 stable diffusion AI视频生成 ChatGPT 3D与空间智能 HuggingFace AI音频与语音 RAG检索增强 Claude Flux AIGC Gemini 通义千问 Anthropic Llama Cursor DeepSeek Prompt AI Agent Kimi 智谱AI 具身智能 YouTube
Prompt 语宙Prompt 语宙
Follow US
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.