# LiveCC – 字节联合新加坡国立大学开源的实时视频解说模型

- Link: https://paooo.com/aigc-news/20151/
- Published: 2026-06-08T17:14:42+08:00
- Author: 站外新闻

## LiveCC是什么

LiveCC 是新加坡国立大学Show Lab 团队联合字节跳动推出的实时视频解说模型，基于自动
语音识别（ASR）字幕进行大规模训练。LiveCC像专业解说员一样快速分析视频内容，同步生成
自然流畅的语音或文字解说。LiveCC 推出 Live-CC-5M 数据集用在预训练，和 Live-WhisperX-
526K 数据集用在高质量的监督微调。LiveCC 设计了 LiveSports-3K 基准测试，用在评估模型
的实时视频评论能力。实验表明，LiveCC 在实时视频评论和视频问答任务上表现出色，展现
出低延迟和高质量的生成能力。

阅读目录

 * [LiveCC是什么](https://paooo.com/aigc-news/20151/#livecc%e6%98%af%e4%bb%80%e4%b9%88)
 * [LiveCC的主要功能](https://paooo.com/aigc-news/20151/#livecc%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd)
 * [LiveCC的技术原理](https://paooo.com/aigc-news/20151/#livecc%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86)
 * [LiveCC的项目地址](https://paooo.com/aigc-news/20151/#livecc%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80)
 * [LiveCC的应用场景](https://paooo.com/aigc-news/20151/#livecc%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af)

![LiveCC](https://paooo.com/wp-content/uploads/2026/06/LiveCC-website-1.avif)

## LiveCC的主要功能

 * **实时视频评论**：根据视频内容生成连续的、与人类类似的实时评论，适用于体育赛事、
   新闻播报、教学视频等多种场景。
 * **视频问答**：回答与视频内容相关的问题，帮助用户更好地理解视频中的事件和细节。
 * **低延迟处理**：用极低的延迟（每帧小于0.5秒）处理视频流，支持实时应用。
 * **多场景适应**：适用于多种视频类型，包括体育、新闻、教育、娱乐等。

## LiveCC的技术原理

 * **流式训练方法**：将自动语音识别（ASR）的单词与视频帧按照时间戳密集交错，让模型
   学习到时间对齐的视觉-语言关系。模拟人类观看视频时的实时感知过程，让模型生成与
   视频内容紧密相关的评论。
 * **大规模数据集**：从YouTube视频中提取的ASR字幕构建两个数据集：Live-CC-5M（用在
   预训练）和Live-WhisperX-526K（用在高质量监督微调）。数据集为模型提供丰富的训练
   素材。
 * **模型架构**：基于[Qwen2-VL](https://ai-bot.cn/qwen2-vl/)模型架构，结合视觉编码
   器和语言模型，处理视频帧和文本信息。模型基于自回归的方式预测文本令牌，将视频令牌
   作为非预测输入。
 * **实时推理**：在推理阶段，LiveCC模型逐帧处理输入视频，生成实时评论。为提高效率，
   模型缓存之前的提示、视觉帧和生成的文本，加速语言解码。
 * **评估方法**：基于LiveSports-3K基准测试评估模型的实时评论能力，用LLM-as-a-judge
   框架比较不同模型生成的评论质量。

## LiveCC的项目地址

 * **项目官网**：[https://showlab.github.io/livecc/](https://showlab.github.io/livecc/?utm_source=ai-bot.cn)
 * **GitHub仓库**：[https://github.com/showlab/livecc](https://github.com/showlab/livecc)
 * **HuggingFace模型库**：[https://huggingface.co/collections/chenjoya/livecc](https://huggingface.co/collections/chenjoya/livecc-67e29b3df1b6b5c6d5d682f4)
 * **arXiv技术论文**：[https://arxiv.org/pdf/2504.16030](https://arxiv.org/pdf/2504.16030)
 * **在线体验Demo**：[https://huggingface.co/spaces/chenjoya/LiveCC](https://huggingface.co/spaces/chenjoya/LiveCC)

## LiveCC的应用场景

 * **体育赛事**：提供实时评论和赛事分析，增强观众体验。
 * **新闻报道**：辅助实时新闻解读，提升报道的深度和专业性。
 * **教育领域**：为教学视频生成讲解，辅助技能培训。
 * **娱乐媒体**：为影视内容提供实时剧情解读，增加互动性。
 * **智能助手**：结合视频内容提供实时信息，提升交互体验。

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,000+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[⚡ AIGC 早报生成器](https://paooo.com/mtool/)