# StreamBridge – 苹果联合复旦推出的端侧视频大语言模型框架

- Link: https://paooo.com/aigc-news/18975/
- Published: 2026-06-09T04:12:22+08:00
- Author: Prompt 语宙研究院

⚡ [Prompt](https://paooo.com/ai-image-prompts/) 语宙 AI 导读 · 30 秒核心看点

 * 苹果联合复旦提出 StreamBridge，面向直播流视频理解，强化长上下文多轮交互与主动
   响应能力。
 * 框架采用记忆缓冲区、轮次衰减压缩和轻量激活模型，兼顾实时性与历史视觉信息保留。
 * 配套 Stream-IT 数据集约 60 万样本，实测在多款主流离线模型上均带来明显增益。

## StreamBridge是什么

StreamBridge 是苹果公司与复旦大学联合推出的端侧视频大语言模型（Video-LLMs）框架，
能帮助 AI 实时理解直播流视频。框架基于内存缓冲区和轮次衰减压缩策略支持长上下文交互，
引入轻量级激活模型实现主动响应功能。研究团队推出包含约 60 万个样本的 Stream-IT 数据
集，提升流式视频理解能力。在主流离线模型如 LLaVA-OV-7B、Qwen2-VL-7B 和 Oryx-1.5-
7B 上的测试显示，StreamBridge 显著提升模型在多轮实时理解和主动响应方面的能力，在
流式视频理解领域展现出强大潜力。

阅读目录

 * [StreamBridge是什么](https://paooo.com/aigc-news/18975/#streambridge%e6%98%af%e4%bb%80%e4%b9%88)
 * [StreamBridge的主要功能](https://paooo.com/aigc-news/18975/#streambridge%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd)
 * [StreamBridge的技术原理](https://paooo.com/aigc-news/18975/#streambridge%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86)
 * [StreamBridge的项目地址](https://paooo.com/aigc-news/18975/#streambridge%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80)
 * [StreamBridge的应用场景](https://paooo.com/aigc-news/18975/#streambridge%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af)

![StreamBridge](https://paooo.com/wp-content/uploads/2026/06/StreamBridge-website-
1.avif)

## StreamBridge的主要功能

 * **多轮实时理解**：支持长上下文的多轮交互，在处理最新视频片段时保留历史视觉和对话
   上下文。
 * **主动响应**：模型能像人类一样主动监控视频流，在无明确指令的情况下及时输出反馈。
 * **灵活集成**：支持无缝集成到现有的视频大语言模型中，无需对基础模型进行大规模修改。
 * **数据支持**：提供大规模的流式视频理解数据集Stream-IT，包含约60万个样本，支持
   多样化的指令格式，用在训练和优化模型。

## StreamBridge的技术原理

 * **记忆缓冲区**：存储和检索视频帧的嵌入信息，支持多轮交互。每个新视频帧被独立编码
   追加到缓冲区中。当接收到用户查询时，缓冲区中的内容被扁平化为一个单一的输入嵌入
   序列，送入语言模型进行响应生成。
 * **轮次衰减压缩策略**：在每次响应生成之前，如果输入嵌入的长度超过预定义的最大长度，
   模型从最早的对话轮次开始，逐帧合并视觉标记，直到总长度低于最大长度。合并操作基于
   平均池化实现，确保最近的视觉上下文被保留。
 * **轻量级激活模型**：激活模型是独立的轻量级多模态大语言模型（MLLM），与主视频大
   语言模型并行运行。激活模型接收当前帧（及用户查询和可选的前几帧）作为输入，输出
   一个二进制信号，指示主模型是否生成响应。激活模型用一个得分头进行二分类（是否响应），
   在训练时引入一个可学习的激活标记<ACT>，监督激活时机。
 * **Stream-IT数据集**：基于从大规模视频字幕语料库中筛选语义相关的短片段，生成多
   轮问答序列，模拟真实的实时用户交互。数据集包含约60万个样本，支持多种任务格式，
   如密集视频字幕、顺序步骤识别、基于视频的问题回答等。

## StreamBridge的项目地址

 * **arXiv技术论文**：[https://arxiv.org/pdf/2505.05467](https://arxiv.org/pdf/2505.05467)

## StreamBridge的应用场景

 * **实时视频交互**：提升视频会议、在线教育等场景的实时互动体验。
 * **自动驾驶辅助**：实时处理路况视频，辅助自动驾驶决策。
 * **智能监控**：实时分析监控视频，快速发现异常行为。
 * **机器人视觉**：助力机器人实时理解环境，实现自然交互。
 * **内容创**作：辅助视频创作和编辑，提供实时内容分析。

❓ 常见问题解答（FAQ）

StreamBridge 适合解决什么视频理解问题？

它主要解决直播流、会议、监控等连续视频场景中的实时理解问题，支持多轮交互、保留历史
上下文，并能在没有明确指令时主动触发响应，提升流式视频分析能力。

StreamBridge 的核心技术是什么？

核心包括记忆缓冲区、轮次衰减压缩策略和轻量级激活模型。前者负责存储与检索视觉嵌入，
后两者用于控制长上下文长度并判断何时需要主模型输出响应。

Stream-IT 数据集有什么作用？

Stream-IT 约含 60 万个样本，用于模拟真实实时交互，覆盖密集字幕、顺序步骤识别、视频
问答等任务，帮助提升流式视频理解与主动响应训练效果。

🔬 语宙深潜追问 · 进阶实操拆解

直播流视频理解最难解决什么？

最难的是长上下文记忆和实时性同时成立。直播内容不断变化，模型既要记住前文，又不能
因缓存膨胀而延迟飙升，所以需要记忆压缩、关键帧筛选和事件级摘要协同工作。

端侧部署视频模型时该怎么控资源？

优先做分层推理：轻量模型常驻做触发与筛选，重模型只在关键片段介入；同时压缩缓存、
限制上下文长度，并针对设备算力做量化和帧率自适应，才能兼顾流畅与准确。

🗳️ 读者观点微投票 · 您的实战立场是？

端侧视频[大模型](https://paooo.com/ai-study/)，真能替代云端直播理解吗？

🕸️ 语宙向量知识图谱 · 语义强关联深度内链

[🔓 所属权威专题：开源大模型与端侧推理 →](https://paooo.com/topics/open-source-llm/)

 * [VideoLLaMB – 开源的多模态长视频理解框架](https://paooo.com/aigc-news/26997/)
 * [字节跳动开源Lance 3B：仅30亿参数，一个模型同时搞定AI看图、写图、剪视频](https://paooo.com/aigc-news/17497/)
 * [MOSS-VL-Realtime – OpenMOSS 开源的视觉语言模型](https://paooo.com/aigc-news/30733/)
 * [苹果推出SlowFast-LLaVA-1.5：轻量化长视频理解模型，1B-7B参数赋能移动AI应用](https://paooo.com/aigc-news/14019/)

[🏛️ Prompt 语宙研究院](https://paooo.com/author/paooo-research/) · Prompt 语宙研究院（
paooo.com Research）专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示
词工程（Prompt Engineering）与全球高增长 AI 生产力工具实测追踪，致力于为中文开发
者与创作者提供一手、可复现的深度技术洞察。

[📄 Markdown 纯净版](https://paooo.com/aigc-news/18975/?format=md)

💡 这篇内容对您有启发吗？

[📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/)

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)
