---
title: "Long-VITA – 腾讯优图联合南大、厦大开源的多模态模型"
url: "https://paooo.com/aigc-news/21967/"
author: "Prompt 语宙研究院"
published_at: "2026-06-09T00:03:28+08:00"
updated_at: "2026-06-09T00:03:28+08:00"
categories: "AIGC 资讯"
tags: "AI视频生成, HuggingFace, 多模态模型, 大模型微调, 开源大模型"
source: "Prompt 语宙 (https://paooo.com)"
ai_tools_directory: "语宙 AI 导航 (https://ai.paooo.com)"
---

# Long-VITA – 腾讯优图联合南大、厦大开源的多模态模型

> 来源：[Prompt 语宙 (paooo.com)](https://paooo.com/aigc-news/21967/) · 作者：Prompt 语宙研究院 · 发布时间：2026-06-09

## AI 30 秒核心看点 (TL;DR)

- 支持超100万 tokens 输入，兼顾长文本、长视频与高分辨率图像处理。
- 采用分阶段训练与动态分块编码器，既扩展上下文又保持短文本任务表现。
- 结合上下文并行分布式推理，缓解长序列内存瓶颈，适合大规模部署。

## Long-VITA是什么

Long-VITA 是腾讯优图实验室、南京大学、厦门大学开源的多模态模型，能处理超过100万tokens的长文本输入，在短文本任务中表现出色。Long-VITA基于分阶段训练，逐步扩展视觉和语言的上下文理解能力，支持图像、视频和文本的多模态输入。Long-VITA 用动态分块编码器处理高分辨率图像，基于上下文并行分布式推理实现对无限长度输入的支持。Long-VITA 用开源数据集进行训练，包括漫画摘要、电影剧情等长文本数据，在多个多模态基准测试中达到新的SOTA性能。

## Long-VITA的主要功能

- **长文本处理能力**：能处理超过100万tokens的输入，支持长文本、长视频和高分辨率图像的多模态任务。

- **多模态理解**：支持图像、视频和文本的输入，适用于视频理解、高分辨率图像分析、长文本生成等任务。

- **上下文扩展能力**：基于分阶段训练，逐步扩展模型的上下文窗口，且保持对短文本任务的高性能。

- **开源数据训练**：用开源数据集进行训练，无需内部数据，降低开发门槛。

- **可扩展性**：支持上下文并行分布式推理，能处理无限长度的输入，适用于大规模部署。

## Long-VITA的技术原理

- **分阶段训练**：

**视觉-语言对齐**：冻结语言模型和视觉编码器，仅训练投影器，建立视觉和语言特征的初始连接。

- **通用知识学习**：用图像-文本数据进行多任务学习，提升模型的通用知识理解能力。

- **长序列微调**：逐步扩展上下文长度（从128K到1M），加入长文本和视频理解数据，优化模型对长内容的理解能力。

- **上下文并行分布式推理**：基于张量并行和上下文并行技术，支持对无限长度输入的推理，解决长文本处理中的内存瓶颈。

- **动态分块编码器**：用动态分块策略高效处理高分辨率图像，支持不同宽高比的输入。

- **掩码语言建模头**：在推理阶段，基于掩码输出logits，显著降低内存占用，支持大规模长文本生成。

## Long-VITA的项目地址

- **GitHub仓库**：[https://github.com/VITA-MLLM/Long-VITA](https://github.com/VITA-MLLM/Long-VITA)

- **HuggingFace模型库**：[https://huggingface.co/VITA-MLLM](https://huggingface.co/VITA-MLLM)

- **arXiv技术论文**：[https://arxiv.org/pdf/2502.05177v1](https://arxiv.org/pdf/2502.05177v1)

## Long-VITA的应用场景

- **视频内容生成**：自动生成视频摘要、字幕或回答视频相关问题。

- **图像分析**：辅助艺术创作、医学影像诊断或卫星图像分析。

- **长文本处理**：生成小说、学术报告或文档摘要。

- **智能对话**：在客服、教育或智能家居中，通过文字、图片和视频与用户交互。

- **实时会议辅助**：提供实时翻译、字幕和会议记录生成。

## 常见问题解答 (FAQ)

### Long-VITA支持多长的上下文输入？
根据文章介绍，Long-VITA 可处理超过 100 万 tokens 的长文本输入，并通过分阶段训练把上下文长度从 128K 逐步扩展到 1M，适合超长文档、长视频和多模态任务。

### Long-VITA适合哪些应用场景？
它适合视频摘要与问答、高分辨率图像分析、长文本生成、智能对话和实时会议辅助等场景，尤其适合需要同时理解图像、视频和文本的任务。

### Long-VITA的核心技术亮点是什么？
核心亮点包括分阶段训练、动态分块编码器、上下文并行分布式推理，以及掩码语言建模头。这些设计帮助它在长上下文处理上更高效，同时降低推理内存占用。

---
探索 2,800+ 全球实用 AI 工具与官方直达入口：[语宙 AI 导航 (https://ai.paooo.com/)](https://ai.paooo.com/)
