# GigaTok – 港大联合字节推出用于自回归图像生成的视觉分词器

- Link: https://paooo.com/aigc-news/20268/
- Published: 2026-06-08T11:32:52+08:00
- Author: Prompt 语宙研究院

⚡ [Prompt](https://paooo.com/ai-image-prompts/) 语宙 AI 导读 · 30 秒核心看点

 * 30 亿参数视觉分词器 GigaTok 通过语义正则化，缓解扩展后重建质量与生成质量的冲突。
 * 采用 1D 分词器架构、优先扩展解码器，并引入熵损失，提升大规模训练稳定性与可扩展
   性。
 * 在自回归图像生成与表示学习任务中表现突出，线性探测准确率等下游效果获得提升。

## GigaTok是什么

GigaTok 是用于自回归[图像生成](https://ai-bot.cn/best-ai-painting-tools/)的视觉分词
器，参数量达 30 亿。通过语义正则化技术，将分词器特征与预训练视觉编码器（如 DINOv2）
的语义特征对齐，有效约束潜在空间复杂度，解决了视觉分词器在扩展时重建质量与生成质量
之间的矛盾。GigaTok 采用了一维分词器架构以提高可扩展性，优先扩展解码器以高效分配
计算资源，引入熵损失来稳定大规模模型的训练。

阅读目录

 * [GigaTok是什么](https://paooo.com/aigc-news/20268/#gigatok%e6%98%af%e4%bb%80%e4%b9%88)
 * [GigaTok的主要功能](https://paooo.com/aigc-news/20268/#gigatok%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd)
 * [GigaTok的技术原理](https://paooo.com/aigc-news/20268/#gigatok%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86)
 * [GigaTok的项目地址](https://paooo.com/aigc-news/20268/#gigatok%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80)
 * [GigaTok的应用场景](https://paooo.com/aigc-news/20268/#gigatok%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af)

![GigaTok](https://paooo.com/wp-content/uploads/2026/06/GigaTok-website-1.avif)

## GigaTok的主要功能

 * **高质量图像重建**：GigaTok 成功地将视觉分词器扩展到 30 亿参数规模，显著提升了
   图像重建质量。通过语义正则化技术，将分词器特征与预训练视觉编码器（如 DINOv2）
   的语义特征对齐，在扩展过程中防止潜在空间复杂度过高。
 * **提升下游生成性能**：GigaTok 在下游自回归生成任务中表现出色，解决了传统方法中
   重建质量与生成质量之间的矛盾。通过语义正则化和优化扩展策略，GigaTok 在生成任务
   中实现了更高的质量和更好的泛化能力。
 * **优化表示学习**：GigaTok 通过扩展视觉分词器规模并结合语义正则化，显著提升了下游
   自回归模型的表示学习质量。实验表明，使用 GigaTok 训练的模型在线性探测准确率方面
   取得了显著提升。
 * **创新的扩展策略**：GigaTok 提出了一维分词器架构，相比传统的二维分词器具有更好
   的可扩展性。优先扩展解码器，引入熵损失来稳定大规模模型的训练。

## GigaTok的技术原理

 * **混合架构设计**：GigaTok 采用结合 CNN 和 Transformer 的混合架构，实现高效的特征
   提取和潜在空间编码。编码器部分通过 CNN 块逐步下采样图像，然后通过 Transformer
   层和向量量化器生成离散的潜在编码。解码器则通过 Transformer 层和 CNN 解码器将潜在
   编码重建为图像。支持一维（1D）和二维（2D）分词器，其中 1D 分词器在扩展性上表现
   更优。
 * **语义正则化**：为解决分词器扩展时潜在空间复杂度过高的问题，GigaTok 引入了语义
   正则化技术。通过将分词器的特征与预训练视觉编码器（如 DINOv2）的语义一致特征对
   齐，约束潜在空间的复杂度。具体而言，通过对比学习框架，强制分词器的中间特征与预
   训练模型的语义空间对齐，在扩展模型规模时保持生成质量。
 * **非对称扩展策略**：GigaTok 在扩展编码器和解码器时，优先扩展解码器。能更高效地
   分配计算资源，同时避免因编码器过度复杂而导致的潜在空间失控。
 * **熵损失**：GigaTok 引入熵损失来稳定大规模分词器的训练。熵损失通过鼓励更高的码
   本使用率，确保模型在训练过程中保持稳定，避免因复杂度增加而导致的训练崩溃。

## GigaTok的项目地址

 * **项目官网**：[https://silentview.github.io/GigaTok/](https://silentview.github.io/GigaTok/?utm_source=ai-bot.cn)
 * **Github仓库**：[https://github.com/SilentView/GigaTok](https://github.com/SilentView/GigaTok)
 * **arXiv技术论文**：[https://arxiv.org/pdf/2504.08736](https://arxiv.org/pdf/2504.08736)

## GigaTok的应用场景

 * **图像生成与合成**：GigaTok 在自回归图像生成方面表现出色，能生成高质量的图像。
   可以用于艺术创作、游戏开发、虚拟现实等领域，帮助用户快速生成符合需求的图像内容。
 * **图像编辑与增强**：GigaTok 可以用于图像编辑任务，例如将前景物体无缝融入背景图像
   中。
 * **数据增强与预训练**：GigaTok 通过高效的图像分词和重建能力，可以为机器学习模型
   提供高质量的预训练数据。
 * **多模态学习**：GigaTok 的语义正则化技术使其能与文本生成模型结合，实现文本到图像
   的生成。多模态能力可以应用于智能创作、虚拟助手等领域。
 * **医学图像处理**：GigaTok 的高保真图像重建能力可以应用于医学图像生成和处理，例如
   生成高质量的医学影像用于诊断或研究。

❓ 常见问题解答（FAQ）

GigaTok 解决了什么问题？

它主要解决视觉分词器扩展时“重建质量”和“生成质量”难以兼顾的问题。通过语义正则化对
齐预训练视觉编码器的语义特征，并配合扩展策略，尽量在更[大模型](https://paooo.com/ai-study/)
规模下保持生成效果与表示能力。

GigaTok 为什么强调 1D 分词器？

文章指出 1D 分词器相比传统 2D 分词器更具可扩展性。GigaTok 采用 1D 架构，是为了在
扩大模型规模时更高效地组织计算资源，并提升大规模视觉分词器的训练与扩展效率。

GigaTok 可以用在哪些场景？

可用于自回归图像生成、图像编辑与增强、数据增强与预训练、多模态文本到图像生成，以及
医学图像处理等场景，核心优势是高保真重建和较强的下游生成能力。

🔬 语宙深潜追问 · 进阶实操拆解

视觉分词器的瓶颈在哪？

瓶颈通常在语义压缩与细节保真之间的平衡。分词太粗会丢语义，太细又会拖慢生成并增加
训练难度，所以要靠语义正则化和解码器扩展来同时保质量与效率。

自回归路线适合哪些产品？

更适合需要严格序列控制、可编辑性和多步生成的场景，比如设计草图、局部迭代和结构化
图像生成。若追求极致速度或超高写实度，扩散模型仍更有优势。

🗳️ 读者观点微投票 · 您的实战立场是？

自回归图像生成还值得押注吗？

🕸️ 语宙向量知识图谱 · 语义强关联深度内链

[🐋 所属权威专题：DeepSeek 深度实战与部署 →](https://paooo.com/topics/deepseek/)

 * [UniTok – 字节联合港大、华中科技推出的统一视觉分词器](https://paooo.com/aigc-news/19999/)
 * [VidTok – 微软开源的视频分词器，支持连续和离散分词化](https://paooo.com/aigc-news/24580/)
 * [AIMv2 – 苹果开源的多模态自回归预训练视觉模型](https://paooo.com/aigc-news/21468/)
 * [Tarsier2 – 字节跳动推出的视觉理解大模型](https://paooo.com/aigc-news/22568/)

[🏛️ Prompt 语宙研究院](https://paooo.com/author/paooo-research/) · Prompt 语宙研究院（
paooo.com Research）专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示
词工程（Prompt Engineering）与全球高增长 AI 生产力工具实测追踪，致力于为中文开发
者与创作者提供一手、可复现的深度技术洞察。

[📄 Markdown 纯净版](https://paooo.com/aigc-news/20268/?format=md)

💡 这篇内容对您有启发吗？

[📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/)

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)
