# Liquid – 华中科技、字节、港大联合推出的统一多模态生成框架

- Link: https://paooo.com/aigc-news/21306/
- Published: 2026-06-08T11:19:50+08:00
- Author: Prompt 语宙研究院

⚡ [Prompt](https://paooo.com/ai-image-prompts/) 语宙 AI 导读 · 30 秒核心看点

 * 用统一token空间把图像与文本纳入同一LLM框架，实现生成与理解一体化。
 * 基于VQGAN离散视觉token，减少外部视觉模块依赖，训练成本显著下降。
 * 在视觉生成、VQA和图像描述等任务上表现突出，并验证了多模态尺度规律。

## Liquid是什么

Liquid是华中科技大学、字节跳动和香港大学联合推出的极简统一多模态生成框架。基于VQGAN
将图像编码为离散的视觉token，与文本token共享同一词汇空间，让大型语言模型（LLM）无
需修改结构实现视觉生成与理解。Liquid摒弃传统外部视觉模块，用LLM的语义理解能力进行
多模态任务，显著降低训练成本（相比从头训练节省100倍），在视觉生成和理解任务中表现
出色，超越部分扩散模型。Liquid揭示了多模态任务的尺度规律，证明随着模型规模增大，
视觉与语言任务的冲突逐渐消失，且两者能相互促进。

阅读目录

 * [Liquid是什么](https://paooo.com/aigc-news/21306/#liquid%e6%98%af%e4%bb%80%e4%b9%88)
 * [Liquid的主要功能](https://paooo.com/aigc-news/21306/#liquid%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd)
 * [Liquid的技术原理](https://paooo.com/aigc-news/21306/#liquid%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86)
 * [Liquid的项目地址](https://paooo.com/aigc-news/21306/#liquid%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80)
 * [Liquid的应用场景](https://paooo.com/aigc-news/21306/#liquid%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af)

![Liquid](https://paooo.com/wp-content/uploads/2026/06/Liquid-website-1.avif)

## Liquid的主要功能

 * **视觉生成**：根据文本描述生成高质量的图像，支持多种分辨率和风格。
 * **视觉理解**：处理图像相关的任务，如视觉问答（VQA）和图像描述生成。
 * **多模态融合**：将视觉和语言任务无缝结合，支持同时处理文本生成、图像生成和视觉
   理解任务。
 * **高效扩展**：基于现有的大型语言模型（LLM），用少量数据和低成本训练，快速扩展
   多模态能力。
 * **语言能力保留**：在增加视觉生成能力的同时，保持强大的语言生成和理解能力，适用
   于多模态混合任务。

## Liquid的技术原理

 * **图像分词器（Image Tokenizer**）：VQGAN（Vector Quantized Generative Adversarial
   Network）将图像编码为离散的视觉token。视觉token与文本token共享同一词汇表空间，
   让图像和文本用统一的方式处理。
 * **统一的特征空间**：视觉token和文本token在同一个特征空间中学习，基于“下一token
   预测”任务进行训练。支持模型在视觉和语言任务之间无缝切换和优化。
 * **基于LLM的生成**：Liquid扩展现有的大型语言模型（LLM），基于强大的语义理解能力
   进行视觉生成和理解。在LLM中添加视觉token的嵌入，处理视觉任务，无需额外的视觉模
   块（如CLIP或扩散模型）。
 * **多模态数据训练**：用混合数据（文本数据、图文对数据）进行预训练，模型同时学习
   语言和视觉任务。基于调整数据比例，优化模型在不同任务上的表现。
 * **双向促进机制**：视觉生成和视觉理解任务共享统一的token空间，优化目标一致，两者
   能相互促进。增加视觉生成或理解任务的数据，提升模型在另一任务上的表现。

## Liquid的项目地址

 * **项目官网**：[https://foundationvision.github.io/Liquid/](https://foundationvision.github.io/Liquid/?utm_source=ai-bot.cn)
 * **GitHub仓库**：[https://github.com/FoundationVision/Liquid](https://github.com/FoundationVision/Liquid)
 * **HuggingFace模型库**：[https://huggingface.co/Junfeng5/Liquid](https://huggingface.co/Junfeng5/Liquid_V1_7B)
 * **arXiv技术论文**：[https://arxiv.org/pdf/2412.04332](https://arxiv.org/pdf/2412.04332)
 * **在线体验Demo**：[https://huggingface.co/spaces/Junfeng5/Liquid_demo](https://huggingface.co/spaces/Junfeng5/Liquid_demo)

## Liquid的应用场景

 * **创意设计**：根据文字描述生成高质量图像，辅助艺术创作、广告设计和游戏美术。
 * **内容创作**：自动生成与文本相关的图片，用于社交媒体、博客和新闻报道。
 * **视觉问答**：理解图像内容并回答相关问题，用于教育、客服和智能助手。
 * **多模态对话**：结合图像和文字进行智能交互，提升对话系统的自然性和实用性。
 * **VR/AR应用**：生成虚拟场景和物体，增强沉浸感和交互体验。

🧭 文中关联 [AI 工具](https://ai.paooo.com/)官网与参数卡（语宙 AI 导航）

**HuggingFace ↗**

HuggingFace：AI模型开发社区，面向大语言模型场景提供便捷实用的在线功能支持，涵盖大
模型等实用方向。

❓ 常见问题解答（FAQ）

Liquid框架适合做什么多模态任务？

Liquid适合文本生成、图像生成、视觉问答和图像描述等统一多模态任务。它把视觉token和
文本token放进同一词汇空间，便于LLM直接处理图文混合输入输出，适合需要兼顾生成与理解
的场景。

Liquid为什么说训练成本更低？

因为它基于现有LLM扩展，不需要从头训练完整多模态系统，也不依赖复杂外部视觉模块。文章
提到，相比从头训练可节省约100倍成本，同时还能保持较强的语言能力。

Liquid和扩散模型相比有什么优势？

Liquid强调统一token建模与LLM语义能力，能在视觉生成和理解之间共享优化目标。文章指出，
它在部分视觉生成与理解任务上表现出色，甚至超越部分扩散模型，同时更利于多任务融合。

🔬 语宙深潜追问 · 进阶实操拆解

共享词汇空间最大的工程收益是什么？

最大收益是减少跨模态接口和结构改造，让文本、图像 token 在同一体系里训练和推理。这样
更容易复用 LLM 能力，也能显著降低从头训练和维护多套模型的成本。

落地时最容易踩哪些坑？

最常见问题是视觉 token 质量不稳、长序列训练成本高，以及生成与理解目标互相干扰。实
操上要先限定任务范围，分阶段验证 tokenizer、对齐策略和推理效率。

🗳️ 读者观点微投票 · 您的实战立场是？

统一多模态框架，先做理解还是生成？

🕸️ 语宙向量知识图谱 · 语义强关联深度内链

[🐋 所属权威专题：DeepSeek 深度实战与部署 →](https://paooo.com/topics/deepseek/)

 * [UniFluid – 谷歌联合麻省理工推出的多模态图像生成与理解框架](https://paooo.com/aigc-news/20943/)
 * [MetaMorph – 统一多模态理解与生成大模型，基于VPiT 预测多模态 token](https://paooo.com/aigc-news/24718/)
 * [LatentLM – 微软联合清华推出的多模态生成模型](https://paooo.com/aigc-news/24818/)
 * [LanDiff – 浙大联合月之暗面推出的文本到视频生成混合框架](https://paooo.com/aigc-news/21176/)

[🏛️ Prompt 语宙研究院](https://paooo.com/author/paooo-research/) · Prompt 语宙研究院（
paooo.com Research）专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示
词工程（Prompt Engineering）与全球高增长 AI 生产力工具实测追踪，致力于为中文开发
者与创作者提供一手、可复现的深度技术洞察。

[📄 Markdown 纯净版](https://paooo.com/aigc-news/21306/?format=md)

💡 这篇内容对您有启发吗？

[📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/)

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)
