# 利用 GPT 的视觉能力和 TTS API 来处理视频并添加旁白 [译]

- Link: https://paooo.com/ai-study/7010/
- Published: 2024-01-12T12:15:52+08:00
- Author: 宝玉的分享

⚡ Prompt 语宙 AI 导读 · 30 秒核心看点用 OpenCV 将视频拆成 618 帧，再交给 GPT-4 Vision 批量理解画面内容。同一套视觉输入可同时生成视频简介和旁白脚本，验证了多模态工作流可行。结合 OpenAI TTS API 的 tts-1 与 onyx 语音，可直接把脚本转成可播放音频。 from IPython.display import display, Image, Audio import cv2 # We're using OpenCV to read video import base64 import time import openai import os import requests video = cv2.VideoCapture("data/bison.mp4") base64Frames =[] while video.isOpened(): success, frame = video.read() ifnot success: break _,buffer= cv2.imencode(".jpg", frame) base64Frames.append(base64.b64encode(buffer).decode("utf-8")) video.release() print(len(base64Frames),"frames read.") 618 frames read. display_handle = display(None, display_id=True)for img in base64Frames: display_handle.update(Image(data=base64.b64decode(img.encode("utf-8")))) time.sleep(0.025) PROMPT_MESSAGES =[ { "role":"user", "content":[ "These are frames from a video that I want to upload. Generate a compelling description that I can upload along with the video.", *map(lambda x:{"image": x,"resize":768}, base64Frames[0::10]), ], }, ] params ={ "model":"gpt-4-vision-preview", "messages": PROMPT_MESSAGES, "api_key": os.environ["OPENAI_API_KEY"], "headers":{"Openai-Version":"2020-11-07"}, "max_tokens":200, } result = openai.ChatCompletion.create(**params) print(result.choices[0].message.content) PROMPT_MESSAGES =[ { "role":"user", "content":[ "These are frames of a video. Create a short voiceover script in the style of David Attenborough. Only include the narration.", *map(lambda x:{"image": x,"resize":768}, base64Frames[0::10]), ], }, ] params ={ "model":"gpt-4-vision-preview", "messages": PROMPT_MESSAGES, "api_key": os.environ["OPENAI_API_KEY"], "headers":{"Openai-Version":"2020-11-07"}, "max_tokens":500, } result = openai.ChatCompletion.create(**params) print(result.choices[0].message.content) response = requests.post( "https://api.openai.com/v1/audio/speech", headers={ "Authorization":f"Bearer {os.environ['OPENAI_API_KEY']}", }, json={ "model":"tts-1", "input": result.choices[0].message.content, "voice":"onyx", }, ) audio =b"" for chunk in response.iter_content(chunk_size=1024*1024): audio += chunk Audio(audio) 📋 一键复制 Prompt 咒语 这个笔记本演示了如何利用 GPT 的视觉能力来处理视频内容。GPT-4 无法直接接收视频作为输入，但我们可以通过视觉识别功能以及全新的 128K 上下文窗口，一次性描述视频中的所有静态画面。我们将通过两个实例来演示如何操作：阅读目录1. 利用 GPT 的视觉能力描述视频2. 用 GPT-4 和 TTS API 制作视频旁白 利用 GPT-4 来描述一个视频的内容 结合 GPT-4 和 TTS API 为视频创造旁白 1. 利用 GPT 的视觉能力描述视频 我们首先利用 OpenCV 技术从一个展示野牛和狼的自然 视频 中提取画面： 确保我们正确捕获了画面，我们将它们展示出来： 获得视频画面后，我们构建了一个提示并发送请求给 GPT（注意，我们不需要发送每一帧画面给 GPT，它能理解整个视频的情况）： 标题：生存本能：野牛与狼在冰原上的史诗般对峙 描述： 在被雪覆盖的平原上，一场原始且扣人心弦的生存戏剧正在上演，这里，强壮的野牛与一群决心捕食的狼群展开对决。视频在冬日的银装素裹中捕捉到了这场惊心动魄的捕食者与猎物之间的互动。在生死存亡的边缘，每一个移动都是大自然舞台上的生与死的较量。观众将看到这些庄严的生物进行永恒的斗争，它们展示出野生世界中的力量、坚韧和不屈的精神。和我们一起，进入自然恢复力的心脏地带，见证动物王国中生命循环的最真实写照。#Wildlife #Nature #Survival #BisonVsWolves 2. 用 GPT-4 和 TTS API 制作视频旁白 我们将尝试用大卫·艾登堡的风格，为一段视频制作旁白。就用视频中同样的画面，引导 GPT 来帮我们撰写一段简短的文本： 在无边无际的冬日白雪中，自然界的生生不息上演着永恒而赤裸的生存戏码。在这片考验生物存亡的严苛舞台上，一群灰狼已经将目光锁定在了牛群中的一头野牛——一场关乎生命和食物的搏斗即将拉开序幕。 这场狼群的围猎行动策划严密，每一只狼都了然于心它的任务。在严寒的空气中，它们的肌肉绷紧，呼吸可见，悄无声息地靠近猎物，伺机找到破绽。而野牛，这个庞然大物，依靠千百万年锻造的本能站稳脚跟，其巨大的身影在刺眼的白雪中投下了一道孤影。 这是一场生与死的交响乐，每一个动作，每一次虚晃，都关乎着生命的重量。狼群交替发起攻势，一边保持体力，一边逐渐削弱猎物。曾经是野牛坚实后盾的牛群，如今已经逃之夭夭，远远散开，这生动地告诉我们，在这野性的领地里，生存的法则永远高于血缘的羁绊。 随着一阵紧张的活动——狼群开始收网。尽管野牛力大无穷，但它已经力不从心，喘息急促，行动迟缓。狼群嗅到了胜利的气息。它们不懈地追击，这正是自然法则残酷而又壮丽的见证。 当这场斗争走向它不可避免的结局时，我们再次认识到这片野生天地的精妙平衡。生与死，斗争与生存——这循环永续，每个故事都在雪地上一笔一划地被书写，只要狼还在这片冰原上巡行，野牛还在这片土地上漫步。 现在我们可以把这段文本交给 TTS API，让它帮我们把这段旁白变成 mp3 音频。 ❓ 常见问题解答（FAQ）GPT-4 能直接输入视频吗？不能直接输入完整视频。文中做法是先用 OpenCV 抽取视频帧，再把静态画面作为图像输入给 GPT-4 Vision，让模型基于帧序列理解视频内容并生成描述或旁白。如何给视频自动生成旁白脚本？先从视频中提取多帧画面，再让 GPT-4 Vision 按指定风格生成短旁白脚本，例如“David Attenborough”风格。模型输出后即可直接送入 TTS API 合成语音。TTS API 在这个流程里做什么？TTS API 负责把 GPT 生成的文字旁白转成音频。文中使用的是 OpenAI 的 tts-1 模型和 onyx 语音，通过接口返回音频流，最后可在笔记本中直接播放。🔬 语宙深潜追问 · 进阶实操拆解视频抽帧配音流程怎么搭最稳？先按镜头切分或固定间隔抽帧，再让模型生成分段描述，最后把描述压缩成旁白脚本；TTS 前要统一语速、停顿和术语读法，避免音画节奏错位。如何避免旁白像机器念稿？不要直接把视觉描述原样念出来，而是先改写成叙事口吻，加入转场、情绪和节奏控制；同时限制每段字数，给 TTS 留出自然停顿，成片会更像人工剪辑。🗳️ 读者观点微投票 · 您的实战立场是？用GPT自动给视频配旁白靠谱吗？很适合原型投票能省大量工时投票还不够稳定投票🕸️ 语宙向量知识图谱 · 语义强关联深度内链🚀 所属权威专题：AI 办公提效与神器评测 →为你的生活打造 AI 旁白的指南 [译]如何使用 ChatGPT Api 和 Node.js 对 Youtube 视频内容进行摘要 [译]Pika Labs 超详细入门指南你好 GPT-4o [译] 🏛️ 宝玉的分享 · 前沿大模型翻译与提示词工程实战分享专栏，聚焦海外一手 AI 技术动态与工程实践。📄 Markdown 纯净版 💡 这篇内容对您有启发吗？👍 干货满满🔍 期待更深拆解📡 RSS 订阅✨ 提交 AI 工具 / 合作 🚀 Prompt 语宙 AI 创作者生态：探索 2,800+ 全球实用 AI 工具与高精度生图提示词咒语库🧭 语宙 AI 导航 (ai.paooo.com)🎨 AI 生图 Prompt 库📚 核心专题导航⚡ AIGC 早报生成器
