# Tarsier2 – 字节跳动推出的视觉理解大模型

- Link: https://paooo.com/aigc-news/22568/
- Published: 2026-06-09T05:49:14+08:00
- Author: Prompt 语宙研究院

⚡ [Prompt](https://paooo.com/ai-image-prompts/) 语宙 AI 导读 · 30 秒核心看点

 * 预训练数据从1100万扩展到4000万视频文本对，显著提升视频理解覆盖面与泛化能力。
 * 通过细粒度时间对齐SFT和DPO训练，Tarsier2在视频描述准确性与幻觉抑制上更强。
 * DREAM-1K上F1领先GPT-4o 2.8%，并在15个公共基准取得新的最佳结果。

## Tarsier2是什么

Tarsier2是字节跳动推出的先进的大规模视觉语言模型（LVLM），生成详细且准确的视频描述，
在多种视频理解任务中表现出色。模型通过三个关键升级实现性能提升，将预训练数据从1100
万扩展到4000万视频文本对，丰富了数据量和多样性；在监督微调阶段执行精细的时间对齐；
基于模型采样自动构建偏好数据，应用直接偏好优化（DPO）训练。 在DREAM-1K基准测试中，
Tarsier2-7B的F1分数比GPT-4o高出2.8%，比Gemini-1.5-Pro高出5.8%。在15个公共基准测试
中取得了新的最佳结果，涵盖视频问答、视频定位、幻觉测试和具身问答等任务。

阅读目录

 * [Tarsier2是什么](https://paooo.com/aigc-news/22568/#tarsier2%e6%98%af%e4%bb%80%e4%b9%88)
 * [Tarsier2的主要功能](https://paooo.com/aigc-news/22568/#tarsier2%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd)
 * [Tarsier2的技术原理](https://paooo.com/aigc-news/22568/#tarsier2%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86)
 * [Tarsier2的项目地址](https://paooo.com/aigc-news/22568/#tarsier2%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80)
 * [Tarsier2的应用场景](https://paooo.com/aigc-news/22568/#tarsier2%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af)

![Tarsier2](https://paooo.com/wp-content/uploads/2026/06/Tarsier2-website-1.avif)

## Tarsier2的主要功能

 * **详细视频描述**：Tarsier2能生成高质量的视频描述，覆盖视频中的各种细节，包括动作、
   场景和情节。
 * **视频问答**：能回答关于视频的具体问题，展现出强大的时空理解和推理能力。
 * **视频定位**：Tarsier2可以检测并定位视频中特定事件的发生时间，支持多视频段的定位。
 * **幻觉测试**：通过优化训练策略，Tarsier2显著减少了模型生成虚假信息的可能性。
 * **多语言支持**：支持多种语言的视频描述生成，进一步拓展了其应用场景。

## Tarsier2的技术原理

 * **大规模预训练数据**：Tarsier2将预训练数据从1100万扩展到4000万视频-文本对，提升
   了数据的规模和多样性。数据包括来自互联网的短视频、电影或电视剧的解说视频，通过
   多模态LLM自动生成的视频描述和问答对。
 * **细粒度时间对齐的监督微调（SFT）**：在监督微调阶段，Tarsier2引入了15万条细粒度
   标注的视频描述数据，每条描述都对应具体的时间戳。时间对齐的训练方式显著提高了模型
   在视频描述任务中的准确性和细节捕捉能力，同时减少了生成幻觉。
 * **直接偏好优化（DPO）**：Tarsier2通过模型采样自动构建偏好数据，应用直接偏好优
   化（DPO）进行训练。基于模型生成的正负样本对，进一步优化模型的生成质量，确保生成
   的视频描述更符合人类的偏好。

## Tarsier2的项目地址

 * **GitHub仓库**：[https://github.com/bytedance/tarsier](https://github.com/bytedance/tarsier)
 * **arXiv技术论文**：[https://arxiv.org/pdf/2501.07888](https://arxiv.org/pdf/2501.07888)

## Tarsier2的应用场景

 * **视频描述**：Tarsier2 能生成高质量的详细视频描述，涵盖视频中的各种细节，包括
   动作、场景和情节。
 * **幻觉测试**：Tarsier2 在减少生成幻觉方面表现出色。通过直接偏好优化（DPO）和细
   粒度时间对齐的训练，Tarsier2 显著降低了生成虚假信息的可能性。
 * **多语言支持**：Tarsier2 支持多语言的视频描述生成，能满足不同语言环境下的需求。
 * **具身问答**：Tarsier2 在具身问答（Embodied QA）任务中也表现出色，能结合视觉和
   语言信息，为具身[智能体](https://paooo.com/trends/)提供准确的指导。

❓ 常见问题解答（FAQ）

Tarsier2主要解决什么视频理解问题？

Tarsier2主要用于详细视频描述、视频问答、视频定位和幻觉抑制，也支持多语言视频描述
生成。它擅长从视频中提取动作、场景、情节等细节，并回答与时空信息相关的问题。

Tarsier2为什么比传统视频模型更准？

核心原因是三项升级：将预训练数据扩展到4000万视频文本对；在监督微调中加入15万条细
粒度时间对齐标注；再用基于模型采样构建的偏好数据做DPO训练，从而提升准确性并减少幻觉。

Tarsier2在基准测试中的表现如何？

在DREAM-1K基准上，Tarsier2-7B的F1分数比GPT-4o高2.8%，比Gemini-1.5-Pro高5.8%。此外，
它在15个公共基准测试中取得了新的最佳结果，覆盖视频问答、定位、幻觉测试和具身问答
等任务。

🔬 语宙深潜追问 · 进阶实操拆解

Tarsier2 训练数据为何这么关键？

视频理解最怕时间对齐不准和标注噪声高。4000 万视频文本对预训练能补足时序知识，细粒度
SFT 和 DPO 则强化定位、问答与幻觉抑制，最终让模型更懂“何时发生了什么”。

如何把 Tarsier2 接入业务流程？

可先用于视频检索、内容审核、直播切片和教学视频问答等环节。落地时建议把长视频切段、
保留时间戳证据，并对关键结论做二次校验，避免单次生成直接进入生产。

🗳️ 读者观点微投票 · 您的实战立场是？

Tarsier2 的视频理解真能替代通用多模态吗？

🕸️ 语宙向量知识图谱 · 语义强关联深度内链

[🐋 所属权威专题：DeepSeek 深度实战与部署 →](https://paooo.com/topics/deepseek/)

 * [字节跳动Game-TARS发布：5000亿数据预训练通用游戏智能体，性能超越GPT-5与Gemini-2.5-Pro](https://paooo.com/aigc-news/13135/)
 * [PaliGemma 2 – 谷歌DeepMind推出的全新视觉语言模型](https://paooo.com/aigc-news/25041/)
 * [PaliGemma 2 mix – 谷歌DeepMind推出的升级版视觉语言模型](https://paooo.com/aigc-news/21725/)
 * [Step-Video-T2V – 阶跃星辰开源的文本到视频模型](https://paooo.com/aigc-news/21927/)

[🏛️ Prompt 语宙研究院](https://paooo.com/author/paooo-research/) · Prompt 语宙研究院（
paooo.com Research）专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示
词工程（Prompt Engineering）与全球高增长 AI 生产力工具实测追踪，致力于为中文开发
者与创作者提供一手、可复现的深度技术洞察。

[📄 Markdown 纯净版](https://paooo.com/aigc-news/22568/?format=md)

💡 这篇内容对您有启发吗？

[📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/)

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)
