Prompt 语宙Prompt 语宙
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
阅读: 利用 GPT 的视觉能力和 TTS API 来处理视频并添加旁白 [译]
Share
通知 阅读更多
Font Resizer字体
Font Resizer字体
Prompt 语宙Prompt 语宙
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
已有帐户? 登陆
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
利用 GPT 的视觉能力和 TTS API 来处理视频并添加旁白 [译]
Prompt 语宙 > 强化 AI 学习 > 利用 GPT 的视觉能力和 TTS API 来处理视频并添加旁白 [译]
强化 AI 学习

利用 GPT 的视觉能力和 TTS API 来处理视频并添加旁白 [译]

宝玉的分享
最近更新: 2026年7月22日 下午1:28
AI视频生成 AI音频与语音 ChatGPT OpenAI
SHARE
⚡ Prompt 语宙 AI 导读 · 30 秒核心看点
  • 用 OpenCV 将视频拆成 618 帧,再交给 GPT-4 Vision 批量理解画面内容。
  • 同一套视觉输入可同时生成视频简介和旁白脚本,验证了多模态工作流可行。
  • 结合 OpenAI TTS API 的 tts-1 与 onyx 语音,可直接把脚本转成可播放音频。
from IPython.display import display, Image, Audio
import cv2 # We're using OpenCV to read video
import base64
import time
import openai
import os
import requests
video = cv2.VideoCapture("data/bison.mp4")
base64Frames =[]
while video.isOpened():
success, frame = video.read()
ifnot success:
break
_,buffer= cv2.imencode(".jpg", frame)
base64Frames.append(base64.b64encode(buffer).decode("utf-8"))
video.release()
print(len(base64Frames),"frames read.")
618 frames read.
display_handle = display(None, display_id=True)
for img in base64Frames:
display_handle.update(Image(data=base64.b64decode(img.encode("utf-8"))))
time.sleep(0.025)
PROMPT_MESSAGES =[
{
"role":"user",
"content":[
"These are frames from a video that I want to upload. Generate a compelling description that I can upload along with the video.",
*map(lambda x:{"image": x,"resize":768}, base64Frames[0::10]),
],
},
]
params ={
"model":"gpt-4-vision-preview",
"messages": PROMPT_MESSAGES,
"api_key": os.environ["OPENAI_API_KEY"],
"headers":{"Openai-Version":"2020-11-07"},
"max_tokens":200,
}
result = openai.ChatCompletion.create(**params)
print(result.choices[0].message.content)
PROMPT_MESSAGES =[
{
"role":"user",
"content":[
"These are frames of a video. Create a short voiceover script in the style of David Attenborough. Only include the narration.",
*map(lambda x:{"image": x,"resize":768}, base64Frames[0::10]),
],
},
]
params ={
"model":"gpt-4-vision-preview",
"messages": PROMPT_MESSAGES,
"api_key": os.environ["OPENAI_API_KEY"],
"headers":{"Openai-Version":"2020-11-07"},
"max_tokens":500,
}
result = openai.ChatCompletion.create(**params)
print(result.choices[0].message.content)
response = requests.post(
"https://api.openai.com/v1/audio/speech",
headers={
"Authorization":f"Bearer {os.environ['OPENAI_API_KEY']}",
},
json={
"model":"tts-1",
"input": result.choices[0].message.content,
"voice":"onyx",
},
)
audio =b""
for chunk in response.iter_content(chunk_size=1024*1024):
audio += chunk
Audio(audio)

这个笔记本演示了如何利用 GPT 的视觉能力来处理视频内容。GPT-4 无法直接接收视频作为输入,但我们可以通过视觉识别功能以及全新的 128K 上下文窗口,一次性描述视频中的所有静态画面。我们将通过两个实例来演示如何操作:

阅读目录
  • 1. 利用 GPT 的视觉能力描述视频
  • 2. 用 GPT-4 和 TTS API 制作视频旁白
  1. 利用 GPT-4 来描述一个视频的内容
  2. 结合 GPT-4 和 TTS API 为视频创造旁白

1. 利用 GPT 的视觉能力描述视频

我们首先利用 OpenCV 技术从一个展示野牛和狼的自然 视频 中提取画面:

确保我们正确捕获了画面,我们将它们展示出来:

利用 GPT 的视觉能力和 TTS API 来处理视频并添加旁白 [译]

获得视频画面后,我们构建了一个提示并发送请求给 GPT(注意,我们不需要发送每一帧画面给 GPT,它能理解整个视频的情况):

标题:生存本能:野牛与狼在冰原上的史诗般对峙

描述:
在被雪覆盖的平原上,一场原始且扣人心弦的生存戏剧正在上演,这里,强壮的野牛与一群决心捕食的狼群展开对决。视频在冬日的银装素裹中捕捉到了这场惊心动魄的捕食者与猎物之间的互动。在生死存亡的边缘,每一个移动都是大自然舞台上的生与死的较量。观众将看到这些庄严的生物进行永恒的斗争,它们展示出野生世界中的力量、坚韧和不屈的精神。和我们一起,进入自然恢复力的心脏地带,见证动物王国中生命循环的最真实写照。#Wildlife #Nature #Survival #BisonVsWolves

2. 用 GPT-4 和 TTS API 制作视频旁白

我们将尝试用大卫·艾登堡的风格,为一段视频制作旁白。就用视频中同样的画面,引导 GPT 来帮我们撰写一段简短的文本:

在无边无际的冬日白雪中,自然界的生生不息上演着永恒而赤裸的生存戏码。在这片考验生物存亡的严苛舞台上,一群灰狼已经将目光锁定在了牛群中的一头野牛——一场关乎生命和食物的搏斗即将拉开序幕。

这场狼群的围猎行动策划严密,每一只狼都了然于心它的任务。在严寒的空气中,它们的肌肉绷紧,呼吸可见,悄无声息地靠近猎物,伺机找到破绽。而野牛,这个庞然大物,依靠千百万年锻造的本能站稳脚跟,其巨大的身影在刺眼的白雪中投下了一道孤影。

这是一场生与死的交响乐,每一个动作,每一次虚晃,都关乎着生命的重量。狼群交替发起攻势,一边保持体力,一边逐渐削弱猎物。曾经是野牛坚实后盾的牛群,如今已经逃之夭夭,远远散开,这生动地告诉我们,在这野性的领地里,生存的法则永远高于血缘的羁绊。

随着一阵紧张的活动——狼群开始收网。尽管野牛力大无穷,但它已经力不从心,喘息急促,行动迟缓。狼群嗅到了胜利的气息。它们不懈地追击,这正是自然法则残酷而又壮丽的见证。

当这场斗争走向它不可避免的结局时,我们再次认识到这片野生天地的精妙平衡。生与死,斗争与生存——这循环永续,每个故事都在雪地上一笔一划地被书写,只要狼还在这片冰原上巡行,野牛还在这片土地上漫步。

现在我们可以把这段文本交给 TTS API,让它帮我们把这段旁白变成 mp3 音频。

❓ 常见问题解答(FAQ)
GPT-4 能直接输入视频吗?

不能直接输入完整视频。文中做法是先用 OpenCV 抽取视频帧,再把静态画面作为图像输入给 GPT-4 Vision,让模型基于帧序列理解视频内容并生成描述或旁白。

如何给视频自动生成旁白脚本?

先从视频中提取多帧画面,再让 GPT-4 Vision 按指定风格生成短旁白脚本,例如“David Attenborough”风格。模型输出后即可直接送入 TTS API 合成语音。

TTS API 在这个流程里做什么?

TTS API 负责把 GPT 生成的文字旁白转成音频。文中使用的是 OpenAI 的 tts-1 模型和 onyx 语音,通过接口返回音频流,最后可在笔记本中直接播放。

🔬 语宙深潜追问 · 进阶实操拆解
视频抽帧配音流程怎么搭最稳?

先按镜头切分或固定间隔抽帧,再让模型生成分段描述,最后把描述压缩成旁白脚本;TTS 前要统一语速、停顿和术语读法,避免音画节奏错位。

如何避免旁白像机器念稿?

不要直接把视觉描述原样念出来,而是先改写成叙事口吻,加入转场、情绪和节奏控制;同时限制每段字数,给 TTS 留出自然停顿,成片会更像人工剪辑。

🗳️ 读者观点微投票 · 您的实战立场是?
用GPT自动给视频配旁白靠谱吗?
🕸️ 语宙向量知识图谱 · 语义强关联深度内链
🚀 所属权威专题:AI 办公提效与神器评测 →
  • 为你的生活打造 AI 旁白的指南 [译]
  • 如何使用 ChatGPT Api 和 Node.js 对 Youtube 视频内容进行摘要 [译]
  • Pika Labs 超详细入门指南
  • 你好 GPT-4o [译]
🏛️ 宝玉的分享 · 前沿大模型翻译与提示词工程实战分享专栏,聚焦海外一手 AI 技术动态与工程实践。
📄 Markdown 纯净版
💡 这篇内容对您有启发吗?
📡 RSS 订阅✨ 提交 AI 工具 / 合作
🚀 Prompt 语宙 AI 创作者生态:探索 2,800+ 全球实用 AI 工具与高精度生图提示词咒语库
🧭 语宙 AI 导航 (ai.paooo.com)🎨 AI 生图 Prompt 库📚 核心专题导航⚡ AIGC 早报生成器
ChopperBot – AI直播视频剪辑和发布机器人,自动化管理直播内容
SamurAI
LlamaIndex 数据摄入管道 [译]
No Priors 第 61 集 | 采访 OpenAI 的 Sora 团队负责人 Aditya Ramesh、Tim Brooks 和 Bill Peebles [译]
一些有价值的职场建议 [译]
TAGGED:AI视频生成AI音频与语音ChatGPTOpenAI
分享
Email 复制链接 打印
Share
宝玉的分享 头像
By宝玉的分享
Follow:
前沿大模型翻译与提示词工程实战分享专栏,聚焦海外一手 AI 技术动态与工程实践。
上一篇 通过知识蒸馏实现的隐式思维链推理 [译] 通过知识蒸馏实现的隐式思维链推理 [译]
下一篇 提升 RAG 效能:如何挑选最佳的嵌入与重排模型 [译] 提升 RAG 效能:如何挑选最佳的嵌入与重排模型 [译]
Ad image
Ad image

最近更新

WordPress 7.2版本更新与默认随机重定向、Secrets API撤回及MCP核心能力拆解封面图
官方博客竟把关闭过滤器写错了!WordPress 7.2前瞻全拆解:默认/random/暗藏隐私与SEO风险、Secrets API紧急撤回与3项MCP只读能力落地
AI 工具
Anthropic上市募资与算力长约的隐喻:现金光环上升,数据中心暗链延伸,治理水晶承受张力与阻力冲击。
募资超1070亿美元却背负9000亿算力长约!Anthropic史上最大IPO背后的三大隐忧:1040亿年内亏损、地方抵制潮与PBC治理死结
AIGC 资讯
微软Copilot与Claude/ChatGPT价格战隐喻:发光玻璃表格堡垒守住Excel,数据流高效汇聚,企业AI竞争升级
3000万付费仅吃下4.5亿席位不到7%!微软Ignite正面叫板Claude与ChatGPT:月均30美元VS 205美元价格战与Excel保卫战全拆解
AIGC 资讯
联想AI推理时代的端边云全栈算力插画:玻璃拟态服务器核心发光,光流连接云端与边缘节点,呈现营收与订单增长动能。
AI营收暴涨80%且握5300亿服务器订单!联想Q2单季营收首破2000亿、净利狂飙166%:端边云全栈算力如何接住推理时代红利?
AIGC 资讯

相关推荐

Wan-Streamer – 阿里开源的实时全双工多模态基础模型
AIGC 资讯

Wan-Streamer – 阿里开源的实时全双工多模态基础模型

Prompt 语宙研究院
AI音频与语音 ChatGPT OpenAI 大模型微调 通义千问
Xiaomi Auto World Model – 小米推出的辅助驾驶世界模型
AIGC 资讯

Xiaomi Auto World Model – 小米推出的辅助驾驶世界模型

Prompt 语宙研究院
3D与空间智能 AI视频生成 大模型微调
OpenAI新一代主力推理模型GPT-6.1 Sol核心能力与架构控制台
AI 工具

以旗舰1/5价格实现Astra级智能!OpenAI重磅发布新一代主力模型GPT-6.1 Sol:DeepSWE追平旗舰、缓存输入仅0.1美元与8倍速Ultrafast全景实测深度拆解

Prompt 语宙研究院
GPT-6.1 Sol OpenAI OSWorld Ultrafast 智能体编程
X2.0 – Xmax AI 推出的全球首个实时交互视频生成模型
AIGC 资讯

X2.0 – Xmax AI 推出的全球首个实时交互视频生成模型

Prompt 语宙研究院
3D与空间智能 AI智能体 AI视频生成 runway
/ Prompt 语宙 /

探索生成式 AI 的无限创作潜能,一站式获取前沿 AIGC 资讯、高阶 Prompt 咒语与全球实用 AI 工具。

核心专栏

  • 语宙 AI 工具导航
  • EVA 视觉抠图工坊Hot
  • 出海数字营销宝典
  • AI 生图咒语灵感库
  • 24H 硅谷 AI 情报流

生态与服务

  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作

标签

开源大模型 AI智能体 AI办公效率 AI绘画提示词 OpenAI 大模型微调 Midjourney AI编程 stable diffusion AI视频生成 ChatGPT 3D与空间智能 HuggingFace AI音频与语音 RAG检索增强 Claude Flux AIGC Gemini 通义千问 Anthropic Llama Cursor DeepSeek Prompt AI Agent Kimi 智谱AI 具身智能 YouTube
Prompt 语宙Prompt 语宙
Follow US
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.