# Long-VITA – 腾讯优图联合南大、厦大开源的多模态模型

- Link: https://paooo.com/aigc-news/21967/
- Published: 2026-06-09T00:03:28+08:00
- Author: Prompt 语宙研究院

⚡ [Prompt](https://paooo.com/ai-image-prompts/) 语宙 AI 导读 · 30 秒核心看点

 * 支持超100万 tokens 输入，兼顾长文本、长视频与高分辨率图像处理。
 * 采用分阶段训练与动态分块编码器，既扩展上下文又保持短文本任务表现。
 * 结合上下文并行分布式推理，缓解长序列内存瓶颈，适合大规模部署。

## Long-VITA是什么

Long-VITA 是腾讯优图实验室、南京大学、厦门大学开源的多模态模型，能处理超过100万tokens
的长文本输入，在短文本任务中表现出色。Long-VITA基于分阶段训练，逐步扩展视觉和语言
的上下文理解能力，支持图像、视频和文本的多模态输入。Long-VITA 用动态分块编码器处理
高分辨率图像，基于上下文并行分布式推理实现对无限长度输入的支持。Long-VITA 用开源
数据集进行训练，包括漫画摘要、电影剧情等长文本数据，在多个多模态基准测试中达到新的
SOTA性能。

阅读目录

 * [Long-VITA是什么](https://paooo.com/aigc-news/21967/#longvita%e6%98%af%e4%bb%80%e4%b9%88)
 * [Long-VITA的主要功能](https://paooo.com/aigc-news/21967/#longvita%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd)
 * [Long-VITA的技术原理](https://paooo.com/aigc-news/21967/#longvita%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86)
 * [Long-VITA的项目地址](https://paooo.com/aigc-news/21967/#longvita%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80)
 * [Long-VITA的应用场景](https://paooo.com/aigc-news/21967/#longvita%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af)

![Long-VITA](https://paooo.com/wp-content/uploads/2026/06/Long-VITA-website-1-1.
avif)

## Long-VITA的主要功能

 * **长文本处理能力**：能处理超过100万tokens的输入，支持长文本、长视频和高分辨率
   图像的多模态任务。
 * **多模态理解**：支持图像、视频和文本的输入，适用于视频理解、高分辨率图像分析、
   长文本生成等任务。
 * **上下文扩展能力**：基于分阶段训练，逐步扩展模型的上下文窗口，且保持对短文本任务
   的高性能。
 * **开源数据训练**：用开源数据集进行训练，无需内部数据，降低开发门槛。
 * **可扩展性**：支持上下文并行分布式推理，能处理无限长度的输入，适用于大规模部署。

## Long-VITA的技术原理

 * **分阶段训练**：
    - **视觉-语言对齐**：冻结语言模型和视觉编码器，仅训练投影器，建立视觉和语言特征
      的初始连接。
    - **通用知识学习**：用图像-文本数据进行多任务学习，提升模型的通用知识理解能力。
    - **长序列微调**：逐步扩展上下文长度（从128K到1M），加入长文本和视频理解数据，
      优化模型对长内容的理解能力。
 * **上下文并行分布式推理**：基于张量并行和上下文并行技术，支持对无限长度输入的推理，
   解决长文本处理中的内存瓶颈。
 * **动态分块编码器**：用动态分块策略高效处理高分辨率图像，支持不同宽高比的输入。
 * **掩码语言建模头**：在推理阶段，基于掩码输出logits，显著降低内存占用，支持大规模
   长文本生成。

## Long-VITA的项目地址

 * **GitHub仓库**：[https://github.com/VITA-MLLM/Long-VITA](https://github.com/VITA-MLLM/Long-VITA)
 * **HuggingFace模型库**：[https://huggingface.co/VITA-MLLM](https://huggingface.co/VITA-MLLM)
 * **arXiv技术论文**：[https://arxiv.org/pdf/2502.05177v1](https://arxiv.org/pdf/2502.05177v1)

## Long-VITA的应用场景

 * **视频内容生成**：自动生成视频摘要、字幕或回答视频相关问题。
 * **图像分析**：辅助艺术创作、医学影像诊断或卫星图像分析。
 * **长文本处理**：生成小说、学术报告或文档摘要。
 * **智能对话**：在客服、教育或智能家居中，通过文字、图片和视频与用户交互。
 * **实时会议辅助**：提供实时翻译、字幕和会议记录生成。

🧭 文中关联 [AI 工具](https://ai.paooo.com/)官网与参数卡（语宙 AI 导航）

**HuggingFace ↗**

HuggingFace：AI模型开发社区，面向大语言模型场景提供便捷实用的在线功能支持，涵盖大
模型等实用方向。

❓ 常见问题解答（FAQ）

Long-VITA支持多长的上下文输入？

根据文章介绍，Long-VITA 可处理超过 100 万 tokens 的长文本输入，并通过分阶段训练把
上下文长度从 128K 逐步扩展到 1M，适合超长文档、长视频和多模态任务。

Long-VITA适合哪些应用场景？

它适合视频摘要与问答、高分辨率图像分析、长文本生成、智能对话和实时会议辅助等场景，
尤其适合需要同时理解图像、视频和文本的任务。

Long-VITA的核心技术亮点是什么？

核心亮点包括分阶段训练、动态分块编码器、上下文并行分布式推理，以及掩码语言建模头。
这些设计帮助它在长上下文处理上更高效，同时降低推理内存占用。

🔬 语宙深潜追问 · 进阶实操拆解

超长上下文最容易踩哪些工程坑？

主要是显存、吞吐和注意力退化三类问题。实际部署要做分块检索、关键帧抽取和上下文压缩，
别把所有内容一次性硬塞进模型，否则成本高、响应慢、效果还可能下降。

长文本加视频理解如何做任务拆分？

先把任务拆成检索、定位、推理和生成四步：先找相关片段，再对齐时间轴和图像证据，最后
生成结论。这样比端到端盲答更稳，也更便于调试和评估。

🗳️ 读者观点微投票 · 您的实战立场是？

百万级长上下文多模态，真有必要吗？

🕸️ 语宙向量知识图谱 · 语义强关联深度内链

[🐋 所属权威专题：DeepSeek 深度实战与部署 →](https://paooo.com/topics/deepseek/)

 * [VITA – 腾讯推出的开源多模态AI模型](https://paooo.com/aigc-news/27426/)
 * [LongVILA – 面向长视频理解的视觉语言AI模型](https://paooo.com/aigc-news/27141/)
 * [MiniCPM-V – 面壁智能推出的开源多模态大模型](https://paooo.com/aigc-news/27580/)
 * [InternVL – OpenGVLab 推出的多模态大模型](https://paooo.com/aigc-news/20918/)

[🏛️ Prompt 语宙研究院](https://paooo.com/author/paooo-research/) · Prompt 语宙研究院（
paooo.com Research）专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示
词工程（Prompt Engineering）与全球高增长 AI 生产力工具实测追踪，致力于为中文开发
者与创作者提供一手、可复现的深度技术洞察。

[📄 Markdown 纯净版](https://paooo.com/aigc-news/21967/?format=md)

💡 这篇内容对您有启发吗？

[📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/)

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)
