DiffusionGemma – 谷歌开源的实验性文本扩散模型

DiffusionGemma是什么

DiffusionGemma是 Google DeepMind推出的实验性开源文本扩散模型。模型基于 Gemma 4 架构与 Gemini Diffusion 研究成果构建，采用 26B MoE 设计，通过并行去噪 256-token 文本块，在单张 NVIDIA H100 上实现 1000+ tokens/秒的生成速度，较传统自回归模型提升约 4 倍。模型支持双向注意力与实时自我纠错，量化后仅需 18GB VRAM 可在消费级 GPU 本地运行。

DiffusionGemma的主要功能

• 并行文本生成：每次前向传播同时去噪 256 个 token，实现整块文本的并行生成而非逐词输出。
• 双向上下文推理：生成过程中每个 token 均可关注同一块内所有其他 token，支持代码填充、内联编辑等非线性文本任务。
• 实时自我纠错：当某个 token 置信度下降时，采样器可将其重新噪声化并在后续步骤中替换修正。
• 多模态输入处理：支持文本、图像、视频交错输入，生成文本输出，上下文窗口达 256K token。
• 长序列块级生成：通过块自回归扩散机制，将已去噪的 256-token 块提交至 KV 缓存后继续生成下一块，兼顾并行速度与序列稳定性。

DiffusionGemma的技术原理

• Uniform State Diffusion（均匀状态扩散）：DiffusionGemma 的核心机制借鉴图像扩散模型思路：从一块由随机占位符填充的 256-token 画布开始，通过多次去噪迭代逐步锁定高置信度 token，用已锁定 token 作为上下文线索来解析相邻位置，最终使整个序列收敛为连贯文本。每次前向传播约固化 15–20 个 token，通过并行处理大幅提升吞吐量。
• 硬件瓶颈转移：传统自回归模型在单用户本地推理时受限于内存带宽，GPU 计算单元大量闲置。DiffusionGemma 将瓶颈从内存带宽转移至计算侧：通过为张量核心提供大规模的并行去噪工作负载，使 GPU 在本地推理场景下保持高利用率，在单张 H100 上达到 1000+ tokens/秒，在 RTX 5090 上达到 700+ tokens/秒。
• 混合注意力架构：推理过程交替使用两种注意力模式：Prefill 阶段采用因果注意力处理输入提示并写入 KV 缓存；Denoising 阶段则切换为双向注意力，支持画布中的每个 token 同时关注所有其他 token。架构使模型能处理约束密集型任务。

如何使用DiffusionGemma

• vLLM 本地部署：用 vLLM 的 OpenAI 兼容服务器启动模型，配置扩散采样器和 256-token 画布参数后可对外提供推理服务。
• Hugging Face 下载权重：访问 Hugging Face 仓库获取以 Apache 2.0 协议开源的模型权重文件。
• 主流推理框架运行：模型原生支持 Hugging Face Transformers、SGLang 和 MLX 等框架直接加载推理。
• Hackable Diffusion 微调：用 Google 开源的 JAX 研究工具箱及官方训练配方，针对特定任务进行快速实验和微调。

DiffusionGemma的核心优势

• 极致本地推理速度：在单用户本地场景下较同规格自回归模型快约 4 倍，H100 实测 1000+ tokens/秒，显著降低交互式开发工具的延迟。
• 消费级硬件可运行：量化后仅需 18GB VRAM，支持 RTX 4090/5090 等消费级显卡及 DGX Spark 桌面工作站，无需服务器级集群。
• 开源生态零日支持：首发即兼容 vLLM、Hugging Face Transformers、MLX、Unsloth 等主流工具链，降低接入成本。
• 非线性文本任务专长：双向注意力使其在代码填充、结构化输出、氨基酸序列、数学图等需要全局约束的任务上表现优于传统自回归模型。