Prompt 语宙Prompt 语宙
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
阅读: StreamBridge – 苹果联合复旦推出的端侧视频大语言模型框架
Share
通知 阅读更多
Font Resizer字体
Font Resizer字体
Prompt 语宙Prompt 语宙
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
已有帐户? 登陆
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
StreamBridge – 苹果联合复旦推出的端侧视频大语言模型框架
Prompt 语宙 > AIGC 资讯 > StreamBridge – 苹果联合复旦推出的端侧视频大语言模型框架
AIGC 资讯

StreamBridge – 苹果联合复旦推出的端侧视频大语言模型框架

Prompt 语宙研究院
最近更新: 2026年6月7日 下午8:03
AI智能体 AI视频生成 Llama OpenAI Sora 开源大模型
SHARE
⚡ Prompt 语宙 AI 导读 · 30 秒核心看点
  • 苹果联合复旦提出 StreamBridge,面向直播流视频理解,强化长上下文多轮交互与主动响应能力。
  • 框架采用记忆缓冲区、轮次衰减压缩和轻量激活模型,兼顾实时性与历史视觉信息保留。
  • 配套 Stream-IT 数据集约 60 万样本,实测在多款主流离线模型上均带来明显增益。

StreamBridge是什么

StreamBridge 是苹果公司与复旦大学联合推出的端侧视频大语言模型(Video-LLMs)框架,能帮助 AI 实时理解直播流视频。框架基于内存缓冲区和轮次衰减压缩策略支持长上下文交互,引入轻量级激活模型实现主动响应功能。研究团队推出包含约 60 万个样本的 Stream-IT 数据集,提升流式视频理解能力。在主流离线模型如 LLaVA-OV-7B、Qwen2-VL-7B 和 Oryx-1.5-7B 上的测试显示,StreamBridge 显著提升模型在多轮实时理解和主动响应方面的能力,在流式视频理解领域展现出强大潜力。

阅读目录
  • StreamBridge是什么
  • StreamBridge的主要功能
  • StreamBridge的技术原理
  • StreamBridge的项目地址
  • StreamBridge的应用场景

StreamBridge

StreamBridge的主要功能

  • 多轮实时理解:支持长上下文的多轮交互,在处理最新视频片段时保留历史视觉和对话上下文。
  • 主动响应:模型能像人类一样主动监控视频流,在无明确指令的情况下及时输出反馈。
  • 灵活集成:支持无缝集成到现有的视频大语言模型中,无需对基础模型进行大规模修改。
  • 数据支持:提供大规模的流式视频理解数据集Stream-IT,包含约60万个样本,支持多样化的指令格式,用在训练和优化模型。

StreamBridge的技术原理

  • 记忆缓冲区:存储和检索视频帧的嵌入信息,支持多轮交互。每个新视频帧被独立编码追加到缓冲区中。当接收到用户查询时,缓冲区中的内容被扁平化为一个单一的输入嵌入序列,送入语言模型进行响应生成。
  • 轮次衰减压缩策略:在每次响应生成之前,如果输入嵌入的长度超过预定义的最大长度,模型从最早的对话轮次开始,逐帧合并视觉标记,直到总长度低于最大长度。合并操作基于平均池化实现,确保最近的视觉上下文被保留。
  • 轻量级激活模型:激活模型是独立的轻量级多模态大语言模型(MLLM),与主视频大语言模型并行运行。激活模型接收当前帧(及用户查询和可选的前几帧)作为输入,输出一个二进制信号,指示主模型是否生成响应。激活模型用一个得分头进行二分类(是否响应),在训练时引入一个可学习的激活标记<ACT>,监督激活时机。
  • Stream-IT数据集:基于从大规模视频字幕语料库中筛选语义相关的短片段,生成多轮问答序列,模拟真实的实时用户交互。数据集包含约60万个样本,支持多种任务格式,如密集视频字幕、顺序步骤识别、基于视频的问题回答等。

StreamBridge的项目地址

  • arXiv技术论文:https://arxiv.org/pdf/2505.05467

StreamBridge的应用场景

  • 实时视频交互:提升视频会议、在线教育等场景的实时互动体验。
  • 自动驾驶辅助:实时处理路况视频,辅助自动驾驶决策。
  • 智能监控:实时分析监控视频,快速发现异常行为。
  • 机器人视觉:助力机器人实时理解环境,实现自然交互。
  • 内容创作:辅助视频创作和编辑,提供实时内容分析。
❓ 常见问题解答(FAQ)
StreamBridge 适合解决什么视频理解问题?

它主要解决直播流、会议、监控等连续视频场景中的实时理解问题,支持多轮交互、保留历史上下文,并能在没有明确指令时主动触发响应,提升流式视频分析能力。

StreamBridge 的核心技术是什么?

核心包括记忆缓冲区、轮次衰减压缩策略和轻量级激活模型。前者负责存储与检索视觉嵌入,后两者用于控制长上下文长度并判断何时需要主模型输出响应。

Stream-IT 数据集有什么作用?

Stream-IT 约含 60 万个样本,用于模拟真实实时交互,覆盖密集字幕、顺序步骤识别、视频问答等任务,帮助提升流式视频理解与主动响应训练效果。

🔬 语宙深潜追问 · 进阶实操拆解
直播流视频理解最难解决什么?

最难的是长上下文记忆和实时性同时成立。直播内容不断变化,模型既要记住前文,又不能因缓存膨胀而延迟飙升,所以需要记忆压缩、关键帧筛选和事件级摘要协同工作。

端侧部署视频模型时该怎么控资源?

优先做分层推理:轻量模型常驻做触发与筛选,重模型只在关键片段介入;同时压缩缓存、限制上下文长度,并针对设备算力做量化和帧率自适应,才能兼顾流畅与准确。

🗳️ 读者观点微投票 · 您的实战立场是?
端侧视频大模型,真能替代云端直播理解吗?
🕸️ 语宙向量知识图谱 · 语义强关联深度内链
🔓 所属权威专题:开源大模型与端侧推理 →
  • VideoLLaMB – 开源的多模态长视频理解框架
  • 字节跳动开源Lance 3B:仅30亿参数,一个模型同时搞定AI看图、写图、剪视频
  • MOSS-VL-Realtime – OpenMOSS 开源的视觉语言模型
  • 苹果推出SlowFast-LLaVA-1.5:轻量化长视频理解模型,1B-7B参数赋能移动AI应用
🏛️ Prompt 语宙研究院 · Prompt 语宙研究院(paooo.com Research)专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示词工程(Prompt Engineering)与全球高增长 AI 生产力工具实测追踪,致力于为中文开发者与创作者提供一手、可复现的深度技术洞察。
📄 Markdown 纯净版
💡 这篇内容对您有启发吗?
📡 RSS 订阅✨ 提交 AI 工具 / 合作
🚀 Prompt 语宙 AI 创作者生态:探索 2,800+ 全球实用 AI 工具与高精度生图提示词咒语库
🧭 语宙 AI 导航 (ai.paooo.com)🎨 AI 生图 Prompt 库📚 核心专题导航⚡ AIGC 早报生成器
Claude语音模式即将升级:支持切换Opus和Sonnet更强模型,告别Haiku独撑局面
LiblibAI哩布哩布AI
我是如何成为机器学习的实践者 [译]
阶跃星辰开源 Step 3.7 Flash:196B参数MoE架构,400 Tokens/s极速推理,专为智能体生产落地优化
xAI被曝曾利用Claude输出数据训练编码模型,因Anthropic撤销权限转入地下提取
TAGGED:AI智能体AI视频生成LlamaOpenAISora开源大模型
分享
Email 复制链接 打印
Share
Prompt 语宙研究院 头像
ByPrompt 语宙研究院
Follow:
Prompt 语宙研究院(paooo.com Research)专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示词工程(Prompt Engineering)与全球高增长 AI 生产力工具实测追踪,致力于为中文开发者与创作者提供一手、可复现的深度技术洞察。
上一篇 DeepEP – DeepSeek 开源的专家并行通信库,专为 MoE 训练和推理设计 DeepEP – DeepSeek 开源的专家并行通信库,专为 MoE 训练和推理设计
下一篇 MiniRAG – 港大推出高效部署小语言模型的新型 RAG 系统 MiniRAG – 港大推出高效部署小语言模型的新型 RAG 系统
Ad image
Ad image

最近更新

Rest of World 调查揭示 AI 大模型数据产业链现状:高学历专家与全球劳动力正在被平台纳入按件计费的零工模式
美国心脏科医生时薪180美元、东南亚仅7.5美元?揭秘大模型“专家零工化”暗面:Scale AI与Mercor的算力人力套利
AIGC 资讯
Forrester 发布“信任与保障组织(TAO)”研究报告概念图:AI 重塑企业安全团队架构与 CISO 治理权责边界
37%企业AI项目未投产先折戟!Forrester呼吁CISO重构安全架构:打造TAO“信任与保障组织”,弥合权责与能力双缺口
最新趋势
Latent Space 对话 Black Forest Labs 核心创始人 Andreas Blattmann 与 Dustin Podell:从 FLUX 到视觉智能与世界动作模型
视觉智能为什么不能只靠静态图片?对话Black Forest Labs创始人:FLUX 3音画联合训练、扩散与自回归之争及世界动作模型全拆解
强化 AI 学习
Google 官方详解网站迁移至 CDN 如何避免爬虫流量激增打崩源站与误封 Googlebot 导致搜索掉收录
刚切上CDN源站反被爬虫打崩?Google官方拆解迁移翻车悖论:冷缓存雪崩、验证码误杀与预热止血指南
AI 工具

相关推荐

Manga Image Translator – 开源漫画图片文字翻译工具,多语言翻译无缝嵌入原图
AIGC 资讯

Manga Image Translator – 开源漫画图片文字翻译工具,多语言翻译无缝嵌入原图

Prompt 语宙研究院
AI办公效率 AI绘画提示词 开源大模型
Object Remover
AI 工具

Object Remover

remaker
AI办公效率 AI绘画提示词 OpenAI
Netflix5.87亿美元收购本·阿弗莱克AI电影制作公司InterPositive
AIGC 资讯

Netflix5.87亿美元收购本·阿弗莱克AI电影制作公司InterPositive

Prompt 语宙研究院
AI办公效率 AI智能体 AI视频生成
智谱AI开放平台 – 智谱AI推出的大模型开发平台
AIGC 资讯

智谱AI开放平台 – 智谱AI推出的大模型开发平台

Prompt 语宙研究院
AI智能体 AI视频生成 RAG检索增强 大模型微调 智谱AI
/ Prompt 语宙 /

探索生成式 AI 的无限创作潜能,一站式获取前沿 AIGC 资讯、高阶 Prompt 咒语与全球实用 AI 工具。

核心专栏

  • 语宙 AI 工具导航
  • EVA 视觉抠图工坊Hot
  • 出海数字营销宝典
  • AI 生图咒语灵感库
  • 24H 硅谷 AI 情报流

生态与服务

  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作

标签

开源大模型 AI智能体 AI办公效率 AI绘画提示词 OpenAI 大模型微调 Midjourney AI编程 stable diffusion AI视频生成 ChatGPT 3D与空间智能 HuggingFace AI音频与语音 RAG检索增强 Claude Flux AIGC Gemini 通义千问 Anthropic Llama Cursor DeepSeek Prompt AI Agent Kimi 智谱AI 具身智能 YouTube
Prompt 语宙Prompt 语宙
Follow US
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.