# Sa2VA – 字节跳动等机构开源的多模态大语言模型

- Link: https://paooo.com/aigc-news/22001/
- Published: 2026-06-09T05:33:28+08:00
- Author: Prompt 语宙研究院

⚡ [Prompt](https://paooo.com/ai-image-prompts/) 语宙 AI 导读 · 30 秒核心看点

 * Sa2VA把SAM2的分割能力与LLaVA的语言理解融合，面向图像和视频统一建模。
 * 通过[SEG]时空提示与统一任务表示，模型可完成指代分割、视觉对话和提示理解。
 * 引入72k+ Ref-SAV数据集后，复杂视频场景下的长文本指代分割能力更强。

## Sa2VA是什么

Sa2VA是字节跳动联合加州大学默塞德分校、武汉大学和北京大学共同推出的多模态大语言模型，
是SAM2和LLaVA结合而成，能实现对图像和视频的密集、细粒度理解。Sa2VA基于统一的任务
表示，将图像或视频指代分割、视觉对话、视觉提示理解等任务整合到一个框架中，用LLM生成
的空间-时间提示指导SAM2生成精确分割掩码。Sa2VA采用解耦设计，保留SAM2的感知能力和
LLaVA的语言理解能力，引入Ref-SAV数据集，用在提升复杂视频场景下的指代分割性能。

阅读目录

 * [Sa2VA是什么](https://paooo.com/aigc-news/22001/#sa2va%e6%98%af%e4%bb%80%e4%b9%88)
 * [Sa2VA的主要功能](https://paooo.com/aigc-news/22001/#sa2va%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd)
 * [Sa2VA的技术原理](https://paooo.com/aigc-news/22001/#sa2va%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86)
 * [Sa2VA的项目地址](https://paooo.com/aigc-news/22001/#sa2va%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80)
 * [Sa2VA的应用场景](https://paooo.com/aigc-news/22001/#sa2va%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af)

![Sa2VA](https://paooo.com/wp-content/uploads/2026/06/Sa2VA-website-1.avif)

## Sa2VA的主要功能

 * **图像和视频指代分割**：根据自然语言描述精确分割图像或视频中的目标对象。
 * **图像和视频对话**：支持与用户进行基于图像或视频的对话，回答与视觉内容相关的问题。
 * **视觉提示理解**：支持处理视觉提示（如图像中的框、点等），并结合语言描述生成对应
   的分割掩码或回答。
 * **基于指令的视频编辑**：根据用户指令对视频内容进行编辑，
 * **密集的视觉理解**：Sa2VA能理解图像和视频的整体内容，还能对像素级的视觉细节进行
   分析和操作，支持复杂场景下的细粒度任务，如长文本描述的视频对象分割。
 * **零样本推理**：支持在未见过的视频上进行推理，根据语言描述直接生成分割掩码或回答
   问题，无需额外训练。

## Sa2VA的技术原理

 * **模型架构**：结合SAM2和 LLaVA。SAM2负责视频的时空分割，LLaVA提供语言理解和生成
   能力。两者基于特殊的 [SEG] 令牌连接，LLaVA的输出作为SAM2的输入，指导其生成分割
   掩码。
 * **统一任务表示**：将多种任务（如指代分割、视觉对话、视觉提示理解等）统一为单次
   指令调整过程。所有输入（图像、视频、文本）被编码为视觉令牌，输入到LLM中，输出
   文本或分割掩码。
 * **解耦设计**：基于解耦设计，冻结SAM2的解码器和记忆模块，保留其感知和跟踪能力。
 * **Ref-SAV数据集**：引入Ref-SAV数据集，包含超过72k个复杂视频场景中的对象表达。
   数据集基于自动标注管道生成，包含长文本描述和复杂场景，提升模型在复杂环境下的性能。
 * **时空提示**：基于LLaVA生成的 [SEG] 令牌作为SAM2的时空提示，指导生成精确的分割
   掩码。
 * **联合训练**：在多个数据集上进行联合训练，包括图像QA、视频QA、图像分割和视频分割
   数据。

## Sa2VA的项目地址

 * **项目官网**：[https://lxtgh.github.io/project/sa2va/](https://lxtgh.github.io/project/sa2va/?utm_source=ai-bot.cn)
 * **GitHub仓库**：[https://github.com/magic-research/Sa2VA](https://github.com/magic-research/Sa2VA)
 * **HuggingFace模型库**：[https://huggingface.co/ByteDance/Sa2VA](https://huggingface.co/ByteDance/Sa2VA-4B)
 * **arXiv技术论文**：[https://arxiv.org/pdf/2501.04001](https://arxiv.org/pdf/2501.04001)

## Sa2VA的应用场景

 * **视频编辑**：根据语言指令快速移除或替换视频中的对象，提升创作效率。
 * **智能监控**：基于语言描述实时识别和跟踪监控画面中的目标，助力安防监控。
 * **机器人交互**：理解指令并操作，如“拿起红色杯子”，增强机器人与环境的互动。
 * **内容创作**：为图像或视频生成描述和问答，辅助教育或创意写作。
 * **自动驾驶**：识别和分割道路场景中的行人、车辆等，辅助驾驶决策。

🧭 文中关联 [AI 工具](https://ai.paooo.com/)官网与参数卡（语宙 AI 导航）

**HuggingFace ↗**

HuggingFace：AI模型开发社区，面向大语言模型场景提供便捷实用的在线功能支持，涵盖大
模型等实用方向。

❓ 常见问题解答（FAQ）

Sa2VA适合做什么任务？

Sa2VA主要用于图像和视频指代分割、视觉对话、视觉提示理解，以及基于指令的视频编辑。
它能根据自然语言描述定位目标，并输出分割掩码或回答视觉相关问题，适合需要细粒度视觉
理解的场景。

Sa2VA和SAM2有什么关系？

Sa2VA是在SAM2基础上结合LLaVA构建的多模态模型。SAM2负责时空分割与跟踪，LLaVA负责语言
理解与生成，两者通过[SEG]令牌衔接，使文本指令能够直接指导分割结果生成。

Sa2VA支持零样本推理吗？

支持。文章提到Sa2VA可在未见过的视频上直接根据语言描述生成分割掩码或回答问题，无需
额外训练。这使它在新场景、复杂视频和长文本描述任务中更具实用性。

🔬 语宙深潜追问 · 进阶实操拆解

统一任务表示怎么设计才不冲突？

把分割、指代和对话统一成“文本条件下的区域预测”接口，再用任务标记区分输出格式；训练
时要控制不同任务的采样比例，避免语言能力和定位能力互相抢梯度。

视频指代分割如何提升长时序稳定性？

关键是引入时序记忆和目标重识别机制，结合关键帧监督、遮挡恢复和跨帧一致性损失；工程
上还要做跟踪失败回退，避免模型在长视频里越分越偏。

🗳️ 读者观点微投票 · 您的实战立场是？

多模态[大模型](https://paooo.com/ai-study/)做分割，零样本真够用吗？

🕸️ 语宙向量知识图谱 · 语义强关联深度内链

[🔓 所属权威专题：开源大模型与端侧推理 →](https://paooo.com/topics/open-source-llm/)

 * [SAM 2 – Meta推出的AI对象分割模型](https://paooo.com/aigc-news/27638/)
 * [人大高瓴与蚂蚁联合发布LLaDA-V：纯扩散架构多模态大模型刷新SOTA！](https://paooo.com/aigc-news/16995/)
 * [Video-LLaVA2 – ChatLaw推出的开源多模态智能理解系统](https://paooo.com/aigc-news/27159/)
 * [字节抖音联合新加坡国立大学开源SAIL-VL2：MoE架构视觉语言模型革新多模态AI](https://paooo.com/aigc-news/13486/)

[🏛️ Prompt 语宙研究院](https://paooo.com/author/paooo-research/) · Prompt 语宙研究院（
paooo.com Research）专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示
词工程（Prompt Engineering）与全球高增长 AI 生产力工具实测追踪，致力于为中文开发
者与创作者提供一手、可复现的深度技术洞察。

[📄 Markdown 纯净版](https://paooo.com/aigc-news/22001/?format=md)

💡 这篇内容对您有启发吗？

[📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/)

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)
