Prompt 语宙Prompt 语宙
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
阅读: GigaTok – 港大联合字节推出用于自回归图像生成的视觉分词器
Share
通知 阅读更多
Font Resizer字体
Font Resizer字体
Prompt 语宙Prompt 语宙
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
已有帐户? 登陆
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
GigaTok – 港大联合字节推出用于自回归图像生成的视觉分词器
Prompt 语宙 > AIGC 资讯 > GigaTok – 港大联合字节推出用于自回归图像生成的视觉分词器
AIGC 资讯

GigaTok – 港大联合字节推出用于自回归图像生成的视觉分词器

Prompt 语宙研究院
最近更新: 2026年6月8日 上午11:32
AI智能体 AI绘画提示词 开源大模型
SHARE
⚡ Prompt 语宙 AI 导读 · 30 秒核心看点
  • 30 亿参数视觉分词器 GigaTok 通过语义正则化,缓解扩展后重建质量与生成质量的冲突。
  • 采用 1D 分词器架构、优先扩展解码器,并引入熵损失,提升大规模训练稳定性与可扩展性。
  • 在自回归图像生成与表示学习任务中表现突出,线性探测准确率等下游效果获得提升。

GigaTok是什么

GigaTok 是用于自回归图像生成的视觉分词器,参数量达 30 亿。通过语义正则化技术,将分词器特征与预训练视觉编码器(如 DINOv2)的语义特征对齐,有效约束潜在空间复杂度,解决了视觉分词器在扩展时重建质量与生成质量之间的矛盾。GigaTok 采用了一维分词器架构以提高可扩展性,优先扩展解码器以高效分配计算资源,引入熵损失来稳定大规模模型的训练。

阅读目录
  • GigaTok是什么
  • GigaTok的主要功能
  • GigaTok的技术原理
  • GigaTok的项目地址
  • GigaTok的应用场景

GigaTok

GigaTok的主要功能

  • 高质量图像重建:GigaTok 成功地将视觉分词器扩展到 30 亿参数规模,显著提升了图像重建质量。通过语义正则化技术,将分词器特征与预训练视觉编码器(如 DINOv2)的语义特征对齐,在扩展过程中防止潜在空间复杂度过高。
  • 提升下游生成性能:GigaTok 在下游自回归生成任务中表现出色,解决了传统方法中重建质量与生成质量之间的矛盾。通过语义正则化和优化扩展策略,GigaTok 在生成任务中实现了更高的质量和更好的泛化能力。
  • 优化表示学习:GigaTok 通过扩展视觉分词器规模并结合语义正则化,显著提升了下游自回归模型的表示学习质量。实验表明,使用 GigaTok 训练的模型在线性探测准确率方面取得了显著提升。
  • 创新的扩展策略:GigaTok 提出了一维分词器架构,相比传统的二维分词器具有更好的可扩展性。优先扩展解码器,引入熵损失来稳定大规模模型的训练。

GigaTok的技术原理

  • 混合架构设计:GigaTok 采用结合 CNN 和 Transformer 的混合架构,实现高效的特征提取和潜在空间编码。编码器部分通过 CNN 块逐步下采样图像,然后通过 Transformer 层和向量量化器生成离散的潜在编码。解码器则通过 Transformer 层和 CNN 解码器将潜在编码重建为图像。支持一维(1D)和二维(2D)分词器,其中 1D 分词器在扩展性上表现更优。
  • 语义正则化:为解决分词器扩展时潜在空间复杂度过高的问题,GigaTok 引入了语义正则化技术。通过将分词器的特征与预训练视觉编码器(如 DINOv2)的语义一致特征对齐,约束潜在空间的复杂度。具体而言,通过对比学习框架,强制分词器的中间特征与预训练模型的语义空间对齐,在扩展模型规模时保持生成质量。
  • 非对称扩展策略:GigaTok 在扩展编码器和解码器时,优先扩展解码器。能更高效地分配计算资源,同时避免因编码器过度复杂而导致的潜在空间失控。
  • 熵损失:GigaTok 引入熵损失来稳定大规模分词器的训练。熵损失通过鼓励更高的码本使用率,确保模型在训练过程中保持稳定,避免因复杂度增加而导致的训练崩溃。

GigaTok的项目地址

  • 项目官网:https://silentview.github.io/GigaTok/
  • Github仓库:https://github.com/SilentView/GigaTok
  • arXiv技术论文:https://arxiv.org/pdf/2504.08736

GigaTok的应用场景

  • 图像生成与合成:GigaTok 在自回归图像生成方面表现出色,能生成高质量的图像。可以用于艺术创作、游戏开发、虚拟现实等领域,帮助用户快速生成符合需求的图像内容。
  • 图像编辑与增强:GigaTok 可以用于图像编辑任务,例如将前景物体无缝融入背景图像中。
  • 数据增强与预训练:GigaTok 通过高效的图像分词和重建能力,可以为机器学习模型提供高质量的预训练数据。
  • 多模态学习:GigaTok 的语义正则化技术使其能与文本生成模型结合,实现文本到图像的生成。多模态能力可以应用于智能创作、虚拟助手等领域。
  • 医学图像处理:GigaTok 的高保真图像重建能力可以应用于医学图像生成和处理,例如生成高质量的医学影像用于诊断或研究。
❓ 常见问题解答(FAQ)
GigaTok 解决了什么问题?

它主要解决视觉分词器扩展时“重建质量”和“生成质量”难以兼顾的问题。通过语义正则化对齐预训练视觉编码器的语义特征,并配合扩展策略,尽量在更大模型规模下保持生成效果与表示能力。

GigaTok 为什么强调 1D 分词器?

文章指出 1D 分词器相比传统 2D 分词器更具可扩展性。GigaTok 采用 1D 架构,是为了在扩大模型规模时更高效地组织计算资源,并提升大规模视觉分词器的训练与扩展效率。

GigaTok 可以用在哪些场景?

可用于自回归图像生成、图像编辑与增强、数据增强与预训练、多模态文本到图像生成,以及医学图像处理等场景,核心优势是高保真重建和较强的下游生成能力。

🔬 语宙深潜追问 · 进阶实操拆解
视觉分词器的瓶颈在哪?

瓶颈通常在语义压缩与细节保真之间的平衡。分词太粗会丢语义,太细又会拖慢生成并增加训练难度,所以要靠语义正则化和解码器扩展来同时保质量与效率。

自回归路线适合哪些产品?

更适合需要严格序列控制、可编辑性和多步生成的场景,比如设计草图、局部迭代和结构化图像生成。若追求极致速度或超高写实度,扩散模型仍更有优势。

🗳️ 读者观点微投票 · 您的实战立场是?
自回归图像生成还值得押注吗?
🕸️ 语宙向量知识图谱 · 语义强关联深度内链
🐋 所属权威专题:DeepSeek 深度实战与部署 →
  • UniTok – 字节联合港大、华中科技推出的统一视觉分词器
  • VidTok – 微软开源的视频分词器,支持连续和离散分词化
  • AIMv2 – 苹果开源的多模态自回归预训练视觉模型
  • Tarsier2 – 字节跳动推出的视觉理解大模型
🏛️ Prompt 语宙研究院 · Prompt 语宙研究院(paooo.com Research)专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示词工程(Prompt Engineering)与全球高增长 AI 生产力工具实测追踪,致力于为中文开发者与创作者提供一手、可复现的深度技术洞察。
📄 Markdown 纯净版
💡 这篇内容对您有启发吗?
📡 RSS 订阅✨ 提交 AI 工具 / 合作
🚀 Prompt 语宙 AI 创作者生态:探索 2,800+ 全球实用 AI 工具与高精度生图提示词咒语库
🧭 语宙 AI 导航 (ai.paooo.com)🎨 AI 生图 Prompt 库📚 核心专题导航⚡ AIGC 早报生成器
CogView-3-Flash – 智谱推出的首个免费AI图像生成模型
字节跳动×浙大重磅开源ImmerseGen:文本一键生成沉浸式3D世界,VR/游戏开发范式革新
清华TurboDiffusion:单卡RTX 5090实现视频生成提速200倍,184秒变1.9秒
AgenticSeek:开源本地AI Agent深度解析|Manus平替,自主执行任务全指南
Open Notebook – 开源 AI 笔记工具,自动将多格式笔记转换成博客
TAGGED:AI智能体AI绘画提示词开源大模型
分享
Email 复制链接 打印
Share
Prompt 语宙研究院 头像
ByPrompt 语宙研究院
Follow:
Prompt 语宙研究院(paooo.com Research)专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示词工程(Prompt Engineering)与全球高增长 AI 生产力工具实测追踪,致力于为中文开发者与创作者提供一手、可复现的深度技术洞察。
上一篇 FlashMLA – DeepSeek 开源的高效 MLA 解码内核,专为Hopper 架构 GPU 设计 FlashMLA – DeepSeek 开源的高效 MLA 解码内核,专为Hopper 架构 GPU 设计
下一篇 Qihoo-T2X – 360 AI 研究院和中山大学开源的高效多模态生成模型 Qihoo-T2X – 360 AI 研究院和中山大学开源的高效多模态生成模型
Ad image
Ad image

最近更新

NVIDIA Vera Rubin 亮相 MLPerf 评测并在训练与端点测试中领先
单GPU训练性能翻倍且智能体每瓦吞吐暴增10倍!NVIDIA Vera Rubin首战MLPerf大获全胜:DeepSeek-V3千卡扩展效率97%与Agentic端点推理全景深度拆解
AIGC 资讯
美国商务部大楼与半导体出口管制新规
算力超1200万TPP即触发许可且限期90天整改!美国商务部突发全球数据中心新规:封死离岸云端远程租用算力与废止AI扩散规则全景深度拆解
AIGC 资讯
AI 原生 CRM 初创公司 Dreamteam 获 5300 万美元融资,挑战 Salesforce 与 HubSpot
斩获5300万美元对标Salesforce!前Freshworks高管创办AI原生CRM Dreamteam:基于Company Brain虚拟记忆与自动化智能体流水线深度拆解
AI 工具
Optimizely 谈营销智能体落地:企业需将审核从输出转向输入
告别Vibe Coding虚火!Optimizely解密企业级营销智能体落地法则:从“输出审核”走向“输入约束”、专用Harness架构与800落地页规模化实战
最新趋势

相关推荐

HunyuanCustom – 腾讯混元开源的多模态定制视频生成框架
AIGC 资讯

HunyuanCustom – 腾讯混元开源的多模态定制视频生成框架

Prompt 语宙研究院
AI视频生成 AI音频与语音 HuggingFace 开源大模型 腾讯混元
印度‘数据矿工’狂揽820万美元:Human Archive如何用第一人称视频‘喂养’未来机器人
AIGC 资讯最新趋势

印度‘数据矿工’狂揽820万美元:Human Archive如何用第一人称视频‘喂养’未来机器人

Prompt 语宙研究院
Human Archive 众包数据采集 机器人训练数据 物理AI 第一人称视角
[AI生图咒语] 例50 – 建筑空间场景图
1
AI 生图 Prompt建筑与室内

[AI生图咒语] 例50 – 建筑空间场景图

Prompt 语宙研究院
3D与空间智能 AI绘画提示词 Flux Midjourney
Embed3 – Cohere推出的多模态AI搜索模型,支持动态更新机制
AIGC 资讯

Embed3 – Cohere推出的多模态AI搜索模型,支持动态更新机制

Prompt 语宙研究院
AI办公效率 RAG检索增强 开源大模型
/ Prompt 语宙 /

探索生成式 AI 的无限创作潜能,一站式获取前沿 AIGC 资讯、高阶 Prompt 咒语与全球实用 AI 工具。

核心专栏

  • Remaker AI
  • BGRemaker 抠图Hot
  • AIGC 工具
  • Prompt 咒语生成器
  • 去水印工具

生态与服务

  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作

标签

开源大模型 AI智能体 AI办公效率 AI绘画提示词 OpenAI 大模型微调 Midjourney AI编程 stable diffusion AI视频生成 ChatGPT 3D与空间智能 HuggingFace AI音频与语音 RAG检索增强 Claude Flux AIGC Gemini 通义千问 Anthropic Llama Cursor DeepSeek Prompt AI Agent Kimi 智谱AI 具身智能 YouTube
Prompt 语宙Prompt 语宙
Follow US
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.