# UniTok – 字节联合港大、华中科技推出的统一视觉分词器

- Link: https://paooo.com/aigc-news/19999/
- Published: 2026-06-08T16:29:37+08:00
- Author: Prompt 语宙研究院

⚡ [Prompt](https://paooo.com/ai-image-prompts/) 语宙 AI 导读 · 30 秒核心看点

 * 多码本量化把视觉特征拆成多个子块，显著扩展离散 token 表示能力。
 * 在 ImageNet 零样本分类达 78.6%，rFID 仅 0.38，兼顾理解与重建质量。
 * 可作为 MLLM 视觉输入模块，支持视觉问答、图像生成等统一处理。

## UniTok是什么

UniTok 是字节跳动联合香港大学和华中科技大学推出的统一视觉分词器，能同时支持视觉生成
和理解任务。基于多码本量化技术，将视觉特征分割成多个小块，每块用独立的子码本进行
量化，极大地扩展离散分词的表示能力，解决传统分词器在细节捕捉和语义理解之间的矛盾。
UniTok 在 ImageNet 上的零样本分类准确率达到 78.6%，重建质量（rFID）仅为 0.38，显著
优于现有分词器。基于 UniTok 构建的多模态大语言模型（MLLM）在视觉问答和图像生成任务
中均表现出色，展现了在多模态任务中的强大潜力。

阅读目录

 * [UniTok是什么](https://paooo.com/aigc-news/19999/#unitok%e6%98%af%e4%bb%80%e4%b9%88)
 * [UniTok的主要功能](https://paooo.com/aigc-news/19999/#unitok%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd)
 * [UniTok的技术原理](https://paooo.com/aigc-news/19999/#unitok%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86)
 * [UniTok的项目地址](https://paooo.com/aigc-news/19999/#unitok%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80)
 * [UniTok的应用场景](https://paooo.com/aigc-news/19999/#unitok%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af)

![UniTok](https://paooo.com/wp-content/uploads/2026/06/UniTok-website-1.avif)

## UniTok的主要功能

 * **统一视觉表示**：将图像编码为离散的视觉 token，token能用在图像生成任务（如文生
   图），也能用在视觉理解任务（如视觉问答）。
 * **高质量图像重建**：在保持图像细节的同时进行高效的图像重建。
 * **语义对齐**：结合对比学习和重建损失，确保生成的视觉 token 与文本描述对齐，提升
   视觉理解能力。
 * **支持多模态大语言模型（MLLM）**：作为多模态大语言模型的视觉输入模块，支持模型
   在多模态任务中的统一处理和生成。

## UniTok的技术原理

 * **多码本量化**：UniTok 将视觉 token 分割成多个小块，每个小块用独立的子码本进行
   量化。例如，将 64 维的视觉特征向量分割成 8 个 8 维的小块，每个小块基于 4096 个
   码字的子码本进行量化。用这种方式，UniTok 的理论词汇量可以指数级增长，极大地扩展
   离散 token 的表示能力。
 * **注意力分解**：用多头注意力模块替代传统的线性投影层进行 token 分解，更好地保留
   原始 token 中的语义信息，提升分解后特征的表达能力。UniTok 用因果注意力（causal
   attention）确保与自回归生成任务的兼容性。
 * **统一的训练目标**：基于 VQVAE 的重建损失确保图像的细节被准确重建。损失包括像
   素级重建误差、感知损失、判别器损失和向量量化损失。UniTok 引入类似 CLIP 的对比
   损失，确保生成的视觉 token 与文本描述对齐，提升视觉理解能力。最终的总损失是重建
   损失和对比损失的加权和，基于这种方式，UniTok 能同时优化生成和理解任务。
 * **多模态大语言模型（MLLM）的集成**：将生成的视觉 token 基于一个 MLP 投影层映射
   到多模态大语言模型的 token 空间，实现视觉和语言的统一处理。为简化 MLLM 的输入，
   UniTok 将多个子码本生成的 token 合并为一个视觉 token 输入到 MLLM 中。在需要预测
   视觉 token 时，MLLM 自回归地预测下一个位置对应的多个子码本 token，实现高效的视觉
   生成。

## UniTok的项目地址

 * **项目官网**：[https://foundationvision.github.io/UniTok/](https://foundationvision.github.io/UniTok/?utm_source=ai-bot.cn)
 * **GitHub仓库**：[https://github.com/FoundationVision/UniTok](https://github.com/FoundationVision/UniTok)
 * **HuggingFace模型库**：[https://huggingface.co/FoundationVision/unitok_tokenizer](https://huggingface.co/FoundationVision/unitok_tokenizer)
 * **arXiv技术论文**：[https://arxiv.org/pdf/2502.20321](https://arxiv.org/pdf/2502.20321)

## UniTok的应用场景

 * **多模态模型的视觉输入**：作为多模态大语言模型的视觉模块，帮助模型同时处理图文
   信息，提升综合性能。
 * **高质量图像生成**：根据文本描述生成细节丰富的图像，适用于创意设计、广告制作等
   领域。
 * **视觉问答与理解**：辅助模型理解图像内容，回答视觉相关问题，用在教育、医疗影像
   分析等。
 * **多模态内容创作**：快速生成图文内容，用在新闻报道、社交媒体等，提高创作效率。
 * **跨模态检索与推荐**：根据文本或图像进行检索和推荐，提升电商平台、多媒体平台的
   用户体验。

🧭 文中关联 [AI 工具](https://ai.paooo.com/)官网与参数卡（语宙 AI 导航）

**HuggingFace ↗**

HuggingFace：AI模型开发社区，面向大语言模型场景提供便捷实用的在线功能支持，涵盖大
模型等实用方向。

❓ 常见问题解答（FAQ）

UniTok是什么？

UniTok 是字节跳动联合香港大学和华中科技大学推出的统一视觉分词器，可将图像编码为离散
视觉 token，同时服务于图像生成和视觉理解任务，适合作为多模态大语言模型的视觉输入
模块。

UniTok为什么比传统分词器更强？

它采用多码本量化，把视觉特征拆成多个小块分别量化，理论词汇量可指数级增长；同时结合
重建损失与对比损失，更好兼顾细节重建、语义对齐和理解能力。

UniTok能用在哪些多模态场景？

可用于视觉问答、图像生成、多模态内容创作、跨模态检索与推荐等场景，也能作为 MLLM 
的统一视觉模块，帮助模型更高效地处理图文信息。

🔬 语宙深潜追问 · 进阶实操拆解

多码本量化为什么能提升表现？

多码本量化能把视觉信息拆成更细粒度、可组合的token表示，既保留结构细节，也提升离散
表示的可学习性。配合对比学习后，模型更容易把图像语义和生成目标对齐，从而兼顾理解
与生成。

这种tokenizer适合哪些下游场景？

适合需要统一视觉表示的多模态任务，比如零样本分类、图像生成、编辑和检索。若要落地，
建议先在固定分辨率和标准数据集上验证，再扩展到高分辨率与复杂场景，避免token开销失控。

🗳️ 读者观点微投票 · 您的实战立场是？

统一视觉分词器，真能同时兼顾生成和理解吗？

🕸️ 语宙向量知识图谱 · 语义强关联深度内链

[🔓 所属权威专题：开源大模型与端侧推理 →](https://paooo.com/topics/open-source-llm/)

 * [UniToken – 复旦联合美团等机构推出的统一视觉编码框架](https://paooo.com/aigc-news/20118/)
 * [GigaTok – 港大联合字节推出用于自回归图像生成的视觉分词器](https://paooo.com/aigc-news/20268/)
 * [UniFluid – 谷歌联合麻省理工推出的多模态图像生成与理解框架](https://paooo.com/aigc-news/20943/)
 * [突破视觉理解极限！港理工联合腾讯发布UniPixel，像素级多模态大模型重新定义AI看懂世界](https://paooo.com/aigc-news/13437/)

[🏛️ Prompt 语宙研究院](https://paooo.com/author/paooo-research/) · Prompt 语宙研究院（
paooo.com Research）专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示
词工程（Prompt Engineering）与全球高增长 AI 生产力工具实测追踪，致力于为中文开发
者与创作者提供一手、可复现的深度技术洞察。

[📄 Markdown 纯净版](https://paooo.com/aigc-news/19999/?format=md)

💡 这篇内容对您有启发吗？

[📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/)

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)
