# VidTok – 微软开源的视频分词器，支持连续和离散分词化

- Link: https://paooo.com/aigc-news/24580/
- Published: 2026-07-08T12:18:29+08:00
- Author: 站外新闻

## VidTok是什么

VidTok（Video Tokenizer）是微软开源的先进的视频分词器，通过高效的算法将视频内容转换
成一系列“视频词”。支持连续和离散分词化，具有灵活的压缩率和多样化的隐空间，适用于
不同的应用场景。VidTok采用混合模型架构设计，结合了卷积层和上/下采样模块，以减少计算
复杂度同时保持高质量重建。引入了有限标量量化技术，解决了传统向量量化中的训练不稳定
性和码本崩溃问题。

阅读目录

 * [VidTok是什么](https://paooo.com/aigc-news/24580/#vidtok%e6%98%af%e4%bb%80%e4%b9%88)
 * [VidTok的主要功能](https://paooo.com/aigc-news/24580/#vidtok%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd)
 * [VidTok的技术原理](https://paooo.com/aigc-news/24580/#vidtok%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86)
 * [VidTok的项目地址](https://paooo.com/aigc-news/24580/#vidtok%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80)
 * [VidTok的应用场景](https://paooo.com/aigc-news/24580/#vidtok%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af)

![VidTok – 微软开源的视频分词器，支持连续和离散分词化 - 配图](https://paooo.com/
wp-content/uploads/2026/07/VidTok-website-1.avif)

## VidTok的主要功能

 * **视频分词化**：VidTok能将原始的高维视频数据（如图像和视频帧）转换为更为紧凑的
   视觉Token。
 * **高效压缩**：VidTok在不同的压缩率设定下工作，能有效地压缩视频数据，同时保持视频
   质量。
 * **连续和离散分词化**：VidTok支持连续型和离散型两种分词化方法，适应不同的模型和
   应用需求。
 * **因果和非因果模型支持**：VidTok支持因果型和非因果型模型，因果模型只依赖历史帧
   进行Tokenization，非因果模型则可以基于历史帧和未来帧信息。
 * **多样化的隐空间支持**：VidTok支持不同大小的隐空间，适应不同的视频压缩率和模型
   复杂度。
 * **高性能重建**：VidTok在多个视频质量评估指标上表现出色，包括PSNR、SSIM、FVD和
   LPIPS，提供了高质量的视频重建。

## VidTok的技术原理

 * **高效的混合模型架构设计**： VidTok采用了经典的3D编码器-解码器结构，并创新性地
   结合了3D、2D和1D卷积，有效地解耦空间和时间采样。
 * **先进的量化技术**： VidTok引入了有限标量量化（FSQ）技术，是一种无需显式学习码
   本的量化方法，显著提高了模型的训练稳定性和重建性能。
 * **增强的训练策略**： VidTok采用分阶段训练策略，首先在低分辨率视频上对完整模型
   进行预训练，然后仅在高分辨率视频上微调解码器。

## VidTok的项目地址

 * **Github仓库**：[https://github.com/microsoft/vidtok](https://github.com/microsoft/vidtok)
 * **HuggingFace模型库**：[https://huggingface.co/microsoft/VidTok](https://huggingface.co/microsoft/VidTok)
 * **arXiv技术论文**：[https://arxiv.org/pdf/2412.13061](https://arxiv.org/pdf/2412.13061)

## VidTok的应用场景

 * **视频生成**：VidTok可以用于视频生成模型，如Sora、Genie等，模型基于Tokenizer将
   原始的高维视频数据转换为紧凑的视觉Token，再以这些Token为目标训练生成模型。
 * **视频内容高效建模**：视频生成和基于视频的世界模型是人工智能领域的热门研究方向，
   VidTok通过对视频内容的高效建模，提供了一个高效的中间媒介，用于模型理解世界。
 * **视频数据压缩和表示**：由于视频像素级表示信息高度冗余，VidTok通过高效压缩和表示
   视频数据，降低了模型训练和推理时的计算需求。

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,000+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[⚡ AIGC 早报生成器](https://paooo.com/mtool/)