Prompt 语宙Prompt 语宙
  • 首页
  • AIGC 资讯
    • AIGC 早报Hot
    • 最新趋势
    • AI 工具
    • 热门资源
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • 强化 AI 学习
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • Remaker AI
    • Free Image Splitter
    • AIGC 工具
    • Prompt 咒语生成器
  • 社区
    • 知识星球
    • 公众号
Search
  • Contact
  • Blog
  • Complaint
  • Advertise
© 2024 Prompt 语宙. HalfPX. All Rights Reserved.
阅读: 探索 Sora:视频制作的魔法 [译]
Share
登陆
通知 阅读更多
Font Resizer字体
Font Resizer字体
Prompt 语宙Prompt 语宙
Search
  • 首页
  • AIGC 资讯
    • AIGC 早报Hot
    • 最新趋势
    • AI 工具
    • 热门资源
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • 强化 AI 学习
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • Remaker AI
    • Free Image Splitter
    • AIGC 工具
    • Prompt 咒语生成器
  • 社区
    • 知识星球
    • 公众号
已有帐户? 登陆
  • Contact
  • Blog
  • Complaint
  • Advertise
© 2023 Prompt 语宙. Paooo.com. All Rights Reserved.
Prompt 语宙 > 强化 AI 学习 > 探索 Sora:视频制作的魔法 [译]
强化 AI 学习

探索 Sora:视频制作的魔法 [译]

宝玉的分享
最近更新: 2025年3月20日 上午9:28
SHARE

Sora 的视频效果之惊艳让人难以置信,我因此深入探究了其背后的技术原理。它采用了两种技术:一是扩散技术(从随机噪声出发,逐步精细化至目标视频),二是 Transformer 架构(负责处理视频帧的连续序列)。让我们一探究竟吧!

以这样一个例子开始:提示词为“一朵花在郊区房屋的窗台上生长的定格动画”。Sora 并不是直接将文本转换成视频帧,而是通过处理时空补丁来实现。

这些时空补丁能够同时捕捉到发生的事件(空间)以及事件发生的时间(时间),就像是微小的视频碎片组成的拼图。

想象一下,如果把视频比作一个巨大的长方体(包含空间和时间的维度),Sora 就是通过将这个长方体切割成许多小块,每一小块都代表了一段特定的空间和时间。

以我们的例子为例:首先,Sora 分析描述,识别出关键元素:

  • 物体(即将绽放的花朵和沐浴在阳光下的窗台)
  • 行为(花朵随着时间的推移而展开)
  • 地点(位于郊区的场景)
  • 甚至是艺术风格(定格动画的特点)。

然后是时空补丁的处理。对于渴望绽放的花朵,阳光照耀的窗台,以及花朵随时间缓慢生长的过程,每一个场景都被转化成一个个补丁,这些补丁随着视频场景的展开而逐渐演变。

这些补丁并非随意的片段。为了能够将它们有条不紊地组合起来,Sora 内置了知识图谱。这些数据库内含了物理世界的信息、物体间如何相互作用,乃至于艺术风格的各种数据。

Sora 能够洞察到:

  • 花朵是如何一瓣一瓣地自然生长的,
  • 它如何随着时间的推移与阳光发生互动,
  • 以及如何保持定格动画特有的逐帧变换效果。

这些独立的画面片段共同构成了一幅充满噪点的画布。

随后,扩散模型技术将这些噪点密集、抽象的画面片段逐步精细化,直到展现出它们最终的样貌。花瓣逐渐形成,阳光变得更加清晰,而定格动画的风格也像是在逐帧绘制中一步步浮现。

在处理这些独立片段的同时,变换器技术分析着不同画面之间随时间变化的相互关系。这样,花朵能够平滑地成长,阳光自然地转换,整个视频中定格动画的风格也得以始终如一地保持。这一切,都是通过逐个像素的精细调整实现的。

它能够处理多种视频相关的任务:

然而,尽管如此,我们还有很长的路要走。目前它还不能精确地模拟许多基本互动的物理特性,比如这里女人挥手时的不自然手势,有人形象地将其描述为“试图在三维空间里表现得像人类的超维度外星人”。

GPT-4 现在是否已经足够划算?[译]
大语言模型应用价值创造与发展的四个阶段 [译]
在 RAG 流程中提高检索效果:融合传统关键词与现代向量搜索的混合式搜索技术 [译]
硅谷女孩采访 Perplexity 创始人 Aravind [译]
Google 真正的“登月项目”(Moonshot) [译]
分享
Email 复制链接 打印
Share
上一篇 新手如何为演讲制作精美的幻灯片 [译]
下一篇 V-JEPA:迈向 Yann LeCun 先进机器智能(AMI)愿景的新里程碑 [译]
发表评价

发表评价 取消回复

您的邮箱地址不会被公开。 必填项已用 * 标注

Please select a rating!

Ad image
- 入群领取知识星球折扣卷, 仅剩99份 -
Ad imageAd image

最近更新

Deep Research 与知识价值:从信息搜索到价值重新定义
强化 AI 学习
什么是多模态大语言模型(MLLM)?[译]
强化 AI 学习
比尔·盖茨:特朗普、马斯克,以及我的神经多样性如何塑造了我 [译]
强化 AI 学习
阿兰·图灵的神秘“Delilah”项目:被遗失的故事 [译]
强化 AI 学习

相关推荐

强化 AI 学习

6 个残酷真相,让你成为更好的人 [译]

宝玉的分享
强化 AI 学习

让我复述一遍你刚才说过的——两阶段确认:一种人性化的沟通方法 [译]

宝玉的分享
强化 AI 学习

谷歌如何简化代码审查流程,实现 97% 开发者满意度 [译]

宝玉的分享
1次查看
第 174 条款变更对年收入和年劳动成本均为 100 万美元的公司产生的影响。
强化 AI 学习

脉动观察:美国的公司会因为税法第 174 条款而减少招聘工程师吗? [译]

宝玉的分享
/ Prompt 语宙 /

Experience the limitless creative possibilities of generative AI and unlock new levels of innovation.

Quick Link

  • Remaker AI
  • BGRemaker 抠图Hot
  • AIGC 工具
  • Prompt 咒语生成器
  • 去水印工具

Support

  • Contact
  • Blog
  • Complaint
  • Advertise

标签

3D AI AIGC AI人像 AI创作小助手 AI工具 AI换脸 AI海报设计 AI生成视频 AI绘画 AI视频 AI设计 app图标 chatgpt DALL-E3 excel GPT meta Midjourney openai Pika prompt runway SDXL stable diffusion UI设计 专业 丛林 乐高 人像 人物 光晕 动物 吉卜力 咒语 图标设计 圣诞 壁纸 女性 奶牛 实验室 宠物 客厅 室内设计 家居 局部重绘 展台 山景 帅哥 建筑 建筑设计 影谱科技 微摄影 怪物 提示词 摄影 教程 新闻 日本排放核污水 早报 星光 枯木 植物 模特 水果 泳池 海报 海报设计 清华大学 温馨的家 游戏 游戏美术 炫光 炫彩 玻璃 白茶花 矢量插画 研究报告 破碎 科幻 穿搭 窗 美食 背景 节日 芭比 花 花卉 茶园一角 草原 荷兰奶源 表情包 赛博朋克 超现实主义 软件 运动 金毛 风景 食物 香水
Prompt 语宙Prompt 语宙
Follow US
© 2009-2023 Prompt 语宙. Paooo.com. All Rights Reserved.
Welcome Back!

Sign in to your account

Username or Email Address
Password

忘记密码