---
title: "GigaTok – 港大联合字节推出用于自回归图像生成的视觉分词器"
url: "https://paooo.com/aigc-news/20268/"
author: "Prompt 语宙研究院"
published_at: "2026-06-08T11:32:52+08:00"
updated_at: "2026-06-08T11:32:52+08:00"
categories: "AIGC 资讯"
tags: "AI智能体, AI绘画提示词, 开源大模型"
source: "Prompt 语宙 (https://paooo.com)"
ai_tools_directory: "语宙 AI 导航 (https://ai.paooo.com)"
---

# GigaTok – 港大联合字节推出用于自回归图像生成的视觉分词器

> 来源：[Prompt 语宙 (paooo.com)](https://paooo.com/aigc-news/20268/) · 作者：Prompt 语宙研究院 · 发布时间：2026-06-08

## AI 30 秒核心看点 (TL;DR)

- 30 亿参数视觉分词器 GigaTok 通过语义正则化，缓解扩展后重建质量与生成质量的冲突。
- 采用 1D 分词器架构、优先扩展解码器，并引入熵损失，提升大规模训练稳定性与可扩展性。
- 在自回归图像生成与表示学习任务中表现突出，线性探测准确率等下游效果获得提升。

## GigaTok是什么

GigaTok 是用于自回归[图像生成](https://ai-bot.cn/best-ai-painting-tools/)的视觉分词器，参数量达 30 亿。通过语义正则化技术，将分词器特征与预训练视觉编码器（如 DINOv2）的语义特征对齐，有效约束潜在空间复杂度，解决了视觉分词器在扩展时重建质量与生成质量之间的矛盾。GigaTok 采用了一维分词器架构以提高可扩展性，优先扩展解码器以高效分配计算资源，引入熵损失来稳定大规模模型的训练。

## GigaTok的主要功能

- **高质量图像重建**：GigaTok 成功地将视觉分词器扩展到 30 亿参数规模，显著提升了图像重建质量。通过语义正则化技术，将分词器特征与预训练视觉编码器（如 DINOv2）的语义特征对齐，在扩展过程中防止潜在空间复杂度过高。

- **提升下游生成性能**：GigaTok 在下游自回归生成任务中表现出色，解决了传统方法中重建质量与生成质量之间的矛盾。通过语义正则化和优化扩展策略，GigaTok 在生成任务中实现了更高的质量和更好的泛化能力。

- **优化表示学习**：GigaTok 通过扩展视觉分词器规模并结合语义正则化，显著提升了下游自回归模型的表示学习质量。实验表明，使用 GigaTok 训练的模型在线性探测准确率方面取得了显著提升。

- **创新的扩展策略**：GigaTok 提出了一维分词器架构，相比传统的二维分词器具有更好的可扩展性。优先扩展解码器，引入熵损失来稳定大规模模型的训练。

## GigaTok的技术原理

- **混合架构设计**：GigaTok 采用结合 CNN 和 Transformer 的混合架构，实现高效的特征提取和潜在空间编码。编码器部分通过 CNN 块逐步下采样图像，然后通过 Transformer 层和向量量化器生成离散的潜在编码。解码器则通过 Transformer 层和 CNN 解码器将潜在编码重建为图像。支持一维（1D）和二维（2D）分词器，其中 1D 分词器在扩展性上表现更优。

- **语义正则化**：为解决分词器扩展时潜在空间复杂度过高的问题，GigaTok 引入了语义正则化技术。通过将分词器的特征与预训练视觉编码器（如 DINOv2）的语义一致特征对齐，约束潜在空间的复杂度。具体而言，通过对比学习框架，强制分词器的中间特征与预训练模型的语义空间对齐，在扩展模型规模时保持生成质量。

- **非对称扩展策略**：GigaTok 在扩展编码器和解码器时，优先扩展解码器。能更高效地分配计算资源，同时避免因编码器过度复杂而导致的潜在空间失控。

- **熵损失**：GigaTok 引入熵损失来稳定大规模分词器的训练。熵损失通过鼓励更高的码本使用率，确保模型在训练过程中保持稳定，避免因复杂度增加而导致的训练崩溃。

## GigaTok的项目地址

- **项目官网**：[https://silentview.github.io/GigaTok/](https://silentview.github.io/GigaTok/?utm_source=ai-bot.cn)

- **Github仓库**：[https://github.com/SilentView/GigaTok](https://github.com/SilentView/GigaTok)

- **arXiv技术论文**：[https://arxiv.org/pdf/2504.08736](https://arxiv.org/pdf/2504.08736)

## GigaTok的应用场景

- **图像生成与合成**：GigaTok 在自回归图像生成方面表现出色，能生成高质量的图像。可以用于艺术创作、游戏开发、虚拟现实等领域，帮助用户快速生成符合需求的图像内容。

- **图像编辑与增强**：GigaTok 可以用于图像编辑任务，例如将前景物体无缝融入背景图像中。

- **数据增强与预训练**：GigaTok 通过高效的图像分词和重建能力，可以为机器学习模型提供高质量的预训练数据。

- **多模态学习**：GigaTok 的语义正则化技术使其能与文本生成模型结合，实现文本到图像的生成。多模态能力可以应用于智能创作、虚拟助手等领域。

- **医学图像处理**：GigaTok 的高保真图像重建能力可以应用于医学图像生成和处理，例如生成高质量的医学影像用于诊断或研究。

## 常见问题解答 (FAQ)

### GigaTok 解决了什么问题？
它主要解决视觉分词器扩展时“重建质量”和“生成质量”难以兼顾的问题。通过语义正则化对齐预训练视觉编码器的语义特征，并配合扩展策略，尽量在更大模型规模下保持生成效果与表示能力。

### GigaTok 为什么强调 1D 分词器？
文章指出 1D 分词器相比传统 2D 分词器更具可扩展性。GigaTok 采用 1D 架构，是为了在扩大模型规模时更高效地组织计算资源，并提升大规模视觉分词器的训练与扩展效率。

### GigaTok 可以用在哪些场景？
可用于自回归图像生成、图像编辑与增强、数据增强与预训练、多模态文本到图像生成，以及医学图像处理等场景，核心优势是高保真重建和较强的下游生成能力。

---
探索 2,800+ 全球实用 AI 工具与官方直达入口：[语宙 AI 导航 (https://ai.paooo.com/)](https://ai.paooo.com/)
