# StoryTeller – 字节、上海交大、北大共同推出的全自动长视频描述生成一致系统 - Link: https://paooo.com/aigc-news/25380/ - Published: 2026-07-13T16:18:29+08:00 - Author: Prompt 语宙研究院 ⚡ [Prompt](https://paooo.com/ai-image-prompts/) 语宙 AI 导读 · 30 秒核心看点 * 通过视频分割、角色识别与描述生成三模块协同，解决长视频描述不连贯、角色指代混乱 的问题。 * 引入音频视觉角色识别和全局解码，确保同一角色跨片段名称一致，提升叙述稳定性。 * 在MovieQA任务中表现优于现有模型，较Gemini-1.5-pro高9.5%，并配套MovieStory101数据 集。 ## StoryTeller是什么 StoryTeller是字节跳动、上海交通大学和北京大学共同推出的系统，能基于音频视觉角色识别 技术改善长视频描述的质量和一致性。系统结合低级视觉概念和高级剧情信息，生成详细且 连贯的视频描述。StoryTeller由视频分割、音频视觉角色识别和描述生成三个主要模块组成， 能有效处理数分钟长的视频，在MovieQA任务中展现出比现有模型更高的准确率，比最强基线 Gemini-1.5-pro高9.5%的准确率。 阅读目录 * [StoryTeller是什么](https://paooo.com/aigc-news/25380/#storyteller%e6%98%af%e4%bb%80%e4%b9%88) * [StoryTeller的主要功能](https://paooo.com/aigc-news/25380/#storyteller%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd) * [StoryTeller的技术原理](https://paooo.com/aigc-news/25380/#storyteller%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86) * [StoryTeller的项目地址](https://paooo.com/aigc-news/25380/#storyteller%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80) * [StoryTeller的应用场景](https://paooo.com/aigc-news/25380/#storyteller%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af) ![StoryTeller](https://paooo.com/wp-content/uploads/2026/07/StoryTeller-website- 1.avif) ## StoryTeller的主要功能 * **视频分割**：将长视频切割成多个短片段，保持每个片段的独立性和完整性。 * **音频视觉角色识别**：结合音频和视觉信息，识别视频中对话对应的角色。 * **描述生成**：为每个视频片段生成详细的描述，整合成整个长视频的连贯叙述。 * **数据集构建**：创建并使用MovieStory101数据集，提供长视频描述的训练和测试数据。 * **自动评估**：基于MovieQA，用GPT-4自动评估视频描述的准确性和质量。 * **模型训练与微调**：训练多模态大型语言模型，提高角色识别和视频描述的准确性。 * **全局解码**：确保同一角色在不同视频片段中保持一致的识别结果。 ## StoryTeller的技术原理 * **多模态融合**：整合视觉（视频帧）、音频（对话）和文本（字幕和描述）信息，全面 理解视频内容。 * **音频分离和角色ID分配**：用音频嵌入模型对每个对话进行嵌入，基于聚类算法分配全局 ID，将相似的音频嵌入分配相同的ID，表示同一角色。 * **音频视觉角色识别模型**：用大型语言模型（如Tarsier-7B）结合[OpenAI](https://paooo.com/tag/openai/) 的Whisper-large-v2音频编码器，将每个音频ID映射到特定的角色。 * **全局解码算法**：在推理时，确保不同片段中相同角色的全局ID映射到一致的角色名称， 提高角色识别的准确性。 * **视频描述生成**：用识别结果作为输入，基于大型语言模型生成每个片段的详细描述， 并整合成完整的视频描述。 ## StoryTeller的项目地址 * **GitHub仓库**：[https://github.com/hyc2026/StoryTeller](https://github.com/hyc2026/StoryTeller) * **arXiv技术论文**：[https://arxiv.org/pdf/2411.07076](https://arxiv.org/pdf/2411.07076) ## StoryTeller的应用场景 * **电影和视频内容制作**：自动生成电影预告片或电影片段的描述，帮助导演和编剧快速 理解视频内容。辅助视频编辑工作，基于视频描述快速定位视频中的关键片段。 * **视频内容分析**：在视频分析领域，提取视频内容的关键信息，如角色、情节和动作， 进行深入的内容分析。 * **辅助视障人士**：为视障人士提供视频内容的音频描述，更好地理解视频内容和故事情节。 * **教育和培训**：在教育领域，为学生提供视频教材的详细描述，增强学习体验。在职业 培训中，生成视频教程的详细步骤描述，提高培训效率。 * **视频搜索和索引**：提高视频搜索的准确性，基于视频描述快速检索视频中的相关片段。 ❓ 常见问题解答（FAQ） StoryTeller主要解决什么问题？ 它主要解决长视频自动描述中常见的内容不连贯、角色指代不一致和细节缺失问题。系统通过 分割视频、识别说话角色并生成片段描述，再整合为完整叙述。 StoryTeller为什么比普通视频描述模型更准？ 因为它不仅看画面，还结合音频、字幕和文本信息，并通过全局解码保持同一角色在不同片段 中的名称一致，从而提升长视频理解和描述质量。 StoryTeller适合哪些应用场景？ 适合电影内容分析、视频编辑定位、视障辅助音频描述、教育培训讲解以及视频搜索索引等 场景，尤其适合需要长视频结构化理解的任务。 🔬 语宙深潜追问 · 进阶实操拆解 长视频描述为何容易前后打架？ 因为长视频包含多段场景、角色和事件，模型若只看局部片段就容易遗漏全局状态。解决思路 是先做分段理解，再用全局记忆或角色跟踪统一约束生成，减少时间线和指代冲突。 这类系统怎么评估才靠谱？ 不能只看 BLEU 之类文本指标，更要看事实一致性、角色指代正确率和事件顺序。最好结合 人工评审与任务型问答测试，验证模型是否真的理解了长视频，而不只是生成流畅句子。 🗳️ 读者观点微投票 · 您的实战立场是？ 长视频自动描述，最难的是内容理解还是一致性？ 🕸️ 语宙向量知识图谱 · 语义强关联深度内链 [🐋 所属权威专题：DeepSeek 深度实战与部署 →](https://paooo.com/topics/deepseek/) * [MovieDreamer – 专为长视频研发的AI视频生成框架](https://paooo.com/aigc-news/27411/) * [StoryDiffusion – 生成一致性图像和视频序列的开源AI框架](https://paooo.com/aigc-news/26444/) * [MultiTalk：美团等联合推出AI视频生成框架，音频驱动多人对话，口型精准同步](https://paooo.com/aigc-news/14839/) * [VideoLingo – 全自动AI视频翻译工具，一键搞定双语字幕和配音](https://paooo.com/aigc-news/26481/) [🏛️ Prompt 语宙研究院](https://paooo.com/author/paooo-research/) · Prompt 语宙研究院（ paooo.com Research）专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示 词工程（Prompt Engineering）与全球高增长 AI 生产力工具实测追踪，致力于为中文开发 者与创作者提供一手、可复现的深度技术洞察。 [📄 Markdown 纯净版](https://paooo.com/aigc-news/25380/?format=md) 💡 这篇内容对您有启发吗？ [📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/) **🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词 咒语库 [🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/) [📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)