Prompt 语宙Prompt 语宙
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
阅读: UniTok – 字节联合港大、华中科技推出的统一视觉分词器
Share
通知 阅读更多
Font Resizer字体
Font Resizer字体
Prompt 语宙Prompt 语宙
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
已有帐户? 登陆
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
UniTok – 字节联合港大、华中科技推出的统一视觉分词器
Prompt 语宙 > AIGC 资讯 > UniTok – 字节联合港大、华中科技推出的统一视觉分词器
AIGC 资讯

UniTok – 字节联合港大、华中科技推出的统一视觉分词器

Prompt 语宙研究院
最近更新: 2026年6月8日 下午4:29
AI智能体 AI绘画提示词 HuggingFace 多模态大模型 开源大模型
SHARE
⚡ Prompt 语宙 AI 导读 · 30 秒核心看点
  • 多码本量化把视觉特征拆成多个子块,显著扩展离散 token 表示能力。
  • 在 ImageNet 零样本分类达 78.6%,rFID 仅 0.38,兼顾理解与重建质量。
  • 可作为 MLLM 视觉输入模块,支持视觉问答、图像生成等统一处理。

UniTok是什么

UniTok 是字节跳动联合香港大学和华中科技大学推出的统一视觉分词器,能同时支持视觉生成和理解任务。基于多码本量化技术,将视觉特征分割成多个小块,每块用独立的子码本进行量化,极大地扩展离散分词的表示能力,解决传统分词器在细节捕捉和语义理解之间的矛盾。UniTok 在 ImageNet 上的零样本分类准确率达到 78.6%,重建质量(rFID)仅为 0.38,显著优于现有分词器。基于 UniTok 构建的多模态大语言模型(MLLM)在视觉问答和图像生成任务中均表现出色,展现了在多模态任务中的强大潜力。

阅读目录
  • UniTok是什么
  • UniTok的主要功能
  • UniTok的技术原理
  • UniTok的项目地址
  • UniTok的应用场景

UniTok

UniTok的主要功能

  • 统一视觉表示:将图像编码为离散的视觉 token,token能用在图像生成任务(如文生图),也能用在视觉理解任务(如视觉问答)。
  • 高质量图像重建:在保持图像细节的同时进行高效的图像重建。
  • 语义对齐:结合对比学习和重建损失,确保生成的视觉 token 与文本描述对齐,提升视觉理解能力。
  • 支持多模态大语言模型(MLLM):作为多模态大语言模型的视觉输入模块,支持模型在多模态任务中的统一处理和生成。

UniTok的技术原理

  • 多码本量化:UniTok 将视觉 token 分割成多个小块,每个小块用独立的子码本进行量化。例如,将 64 维的视觉特征向量分割成 8 个 8 维的小块,每个小块基于 4096 个码字的子码本进行量化。用这种方式,UniTok 的理论词汇量可以指数级增长,极大地扩展离散 token 的表示能力。
  • 注意力分解:用多头注意力模块替代传统的线性投影层进行 token 分解,更好地保留原始 token 中的语义信息,提升分解后特征的表达能力。UniTok 用因果注意力(causal attention)确保与自回归生成任务的兼容性。
  • 统一的训练目标:基于 VQVAE 的重建损失确保图像的细节被准确重建。损失包括像素级重建误差、感知损失、判别器损失和向量量化损失。UniTok 引入类似 CLIP 的对比损失,确保生成的视觉 token 与文本描述对齐,提升视觉理解能力。最终的总损失是重建损失和对比损失的加权和,基于这种方式,UniTok 能同时优化生成和理解任务。
  • 多模态大语言模型(MLLM)的集成:将生成的视觉 token 基于一个 MLP 投影层映射到多模态大语言模型的 token 空间,实现视觉和语言的统一处理。为简化 MLLM 的输入,UniTok 将多个子码本生成的 token 合并为一个视觉 token 输入到 MLLM 中。在需要预测视觉 token 时,MLLM 自回归地预测下一个位置对应的多个子码本 token,实现高效的视觉生成。

UniTok的项目地址

  • 项目官网:https://foundationvision.github.io/UniTok/
  • GitHub仓库:https://github.com/FoundationVision/UniTok
  • HuggingFace模型库:https://huggingface.co/FoundationVision/unitok_tokenizer
  • arXiv技术论文:https://arxiv.org/pdf/2502.20321

UniTok的应用场景

  • 多模态模型的视觉输入:作为多模态大语言模型的视觉模块,帮助模型同时处理图文信息,提升综合性能。
  • 高质量图像生成:根据文本描述生成细节丰富的图像,适用于创意设计、广告制作等领域。
  • 视觉问答与理解:辅助模型理解图像内容,回答视觉相关问题,用在教育、医疗影像分析等。
  • 多模态内容创作:快速生成图文内容,用在新闻报道、社交媒体等,提高创作效率。
  • 跨模态检索与推荐:根据文本或图像进行检索和推荐,提升电商平台、多媒体平台的用户体验。
🧭 文中关联 AI 工具官网与参数卡(语宙 AI 导航)
HuggingFace ↗
HuggingFace:AI模型开发社区,面向大语言模型场景提供便捷实用的在线功能支持,涵盖大模型等实用方向。
❓ 常见问题解答(FAQ)
UniTok是什么?

UniTok 是字节跳动联合香港大学和华中科技大学推出的统一视觉分词器,可将图像编码为离散视觉 token,同时服务于图像生成和视觉理解任务,适合作为多模态大语言模型的视觉输入模块。

UniTok为什么比传统分词器更强?

它采用多码本量化,把视觉特征拆成多个小块分别量化,理论词汇量可指数级增长;同时结合重建损失与对比损失,更好兼顾细节重建、语义对齐和理解能力。

UniTok能用在哪些多模态场景?

可用于视觉问答、图像生成、多模态内容创作、跨模态检索与推荐等场景,也能作为 MLLM 的统一视觉模块,帮助模型更高效地处理图文信息。

🔬 语宙深潜追问 · 进阶实操拆解
多码本量化为什么能提升表现?

多码本量化能把视觉信息拆成更细粒度、可组合的token表示,既保留结构细节,也提升离散表示的可学习性。配合对比学习后,模型更容易把图像语义和生成目标对齐,从而兼顾理解与生成。

这种tokenizer适合哪些下游场景?

适合需要统一视觉表示的多模态任务,比如零样本分类、图像生成、编辑和检索。若要落地,建议先在固定分辨率和标准数据集上验证,再扩展到高分辨率与复杂场景,避免token开销失控。

🗳️ 读者观点微投票 · 您的实战立场是?
统一视觉分词器,真能同时兼顾生成和理解吗?
🕸️ 语宙向量知识图谱 · 语义强关联深度内链
🔓 所属权威专题:开源大模型与端侧推理 →
  • UniToken – 复旦联合美团等机构推出的统一视觉编码框架
  • GigaTok – 港大联合字节推出用于自回归图像生成的视觉分词器
  • UniFluid – 谷歌联合麻省理工推出的多模态图像生成与理解框架
  • 突破视觉理解极限!港理工联合腾讯发布UniPixel,像素级多模态大模型重新定义AI看懂世界
🏛️ Prompt 语宙研究院 · Prompt 语宙研究院(paooo.com Research)专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示词工程(Prompt Engineering)与全球高增长 AI 生产力工具实测追踪,致力于为中文开发者与创作者提供一手、可复现的深度技术洞察。
📄 Markdown 纯净版
💡 这篇内容对您有启发吗?
📡 RSS 订阅✨ 提交 AI 工具 / 合作
🚀 Prompt 语宙 AI 创作者生态:探索 2,800+ 全球实用 AI 工具与高精度生图提示词咒语库
🧭 语宙 AI 导航 (ai.paooo.com)🎨 AI 生图 Prompt 库📚 核心专题导航⚡ AIGC 早报生成器
NextGenAI – OpenAI 推出的教育联盟,联合15家顶尖大学和机构
ArenaRL:通义&高德开源对比式强化学习,破解开放域AI智能体判别崩溃难题
[AI生图咒语] 毛毡手工风 Apple 设计 UI 横幅
Suna – Kortix推出的全球首款通用型 AI Agent 开源项目
[AI生图咒语] 例363 – 磁场铁粉 Logo 物理成像
TAGGED:AI智能体AI绘画提示词HuggingFace多模态大模型开源大模型
分享
Email 复制链接 打印
Share
Prompt 语宙研究院 头像
ByPrompt 语宙研究院
Follow:
Prompt 语宙研究院(paooo.com Research)专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示词工程(Prompt Engineering)与全球高增长 AI 生产力工具实测追踪,致力于为中文开发者与创作者提供一手、可复现的深度技术洞察。
上一篇 TaoAvatar – 阿里推出的实时高清3D全身对话数字人技术 TaoAvatar – 阿里推出的实时高清3D全身对话数字人技术
下一篇 LanDiff – 浙大联合月之暗面推出的文本到视频生成混合框架 LanDiff – 浙大联合月之暗面推出的文本到视频生成混合框架
Ad image
Ad image

最近更新

WordPress 7.2版本更新与默认随机重定向、Secrets API撤回及MCP核心能力拆解封面图
官方博客竟把关闭过滤器写错了!WordPress 7.2前瞻全拆解:默认/random/暗藏隐私与SEO风险、Secrets API紧急撤回与3项MCP只读能力落地
AI 工具
Anthropic上市募资与算力长约的隐喻:现金光环上升,数据中心暗链延伸,治理水晶承受张力与阻力冲击。
募资超1070亿美元却背负9000亿算力长约!Anthropic史上最大IPO背后的三大隐忧:1040亿年内亏损、地方抵制潮与PBC治理死结
AIGC 资讯
微软Copilot与Claude/ChatGPT价格战隐喻:发光玻璃表格堡垒守住Excel,数据流高效汇聚,企业AI竞争升级
3000万付费仅吃下4.5亿席位不到7%!微软Ignite正面叫板Claude与ChatGPT:月均30美元VS 205美元价格战与Excel保卫战全拆解
AIGC 资讯
联想AI推理时代的端边云全栈算力插画:玻璃拟态服务器核心发光,光流连接云端与边缘节点,呈现营收与订单增长动能。
AI营收暴涨80%且握5300亿服务器订单!联想Q2单季营收首破2000亿、净利狂飙166%:端边云全栈算力如何接住推理时代红利?
AIGC 资讯

相关推荐

Baichuan-Omni-1.5 – 百川智能开源的全模态理解模型
AIGC 资讯

Baichuan-Omni-1.5 – 百川智能开源的全模态理解模型

Prompt 语宙研究院
AI音频与语音 HuggingFace 大模型微调 开源大模型 百川智能
AISixteen
AI 工具

AISixteen

remaker
AI办公效率 AI绘画提示词 stable diffusion 开源大模型
Skywork o1 – 昆仑万维推出的天工大模型4.0 o1版
AIGC 资讯

Skywork o1 – 昆仑万维推出的天工大模型4.0 o1版

Prompt 语宙研究院
Llama Llama 3 OpenAI 开源大模型
接上篇, Midjourney 流光艺术 Prompts 提示词分享
展台场景

接上篇, Midjourney 流光艺术 Prompts 提示词分享

OZ
AI绘画提示词 Midjourney Prompt 光效
/ Prompt 语宙 /

探索生成式 AI 的无限创作潜能,一站式获取前沿 AIGC 资讯、高阶 Prompt 咒语与全球实用 AI 工具。

核心专栏

  • 语宙 AI 工具导航
  • EVA 视觉抠图工坊Hot
  • 出海数字营销宝典
  • AI 生图咒语灵感库
  • 24H 硅谷 AI 情报流

生态与服务

  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作

标签

开源大模型 AI智能体 AI办公效率 AI绘画提示词 OpenAI 大模型微调 Midjourney AI编程 stable diffusion AI视频生成 ChatGPT 3D与空间智能 HuggingFace AI音频与语音 RAG检索增强 Claude Flux AIGC Gemini 通义千问 Anthropic Llama Cursor DeepSeek Prompt AI Agent Kimi 智谱AI 具身智能 YouTube
Prompt 语宙Prompt 语宙
Follow US
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.