# DiffusionGemma – 谷歌开源的实验性文本扩散模型 - Link: https://paooo.com/aigc-news/24378/ - Published: 2026-07-07T14:06:44+08:00 - Author: 站外新闻 ## DiffusionGemma是什么 DiffusionGemma是 Google DeepMind推出的实验性开源文本扩散模型。模型基于[ Gemma 4](https://ai-bot.cn/gemma-4/) 架构与 Gemini Diffusion 研究成果构建，采用 26B MoE 设计，通过并行去噪 256-token 文本块，在单张 NVIDIA H100 上实现 1000+ tokens/秒的生成速度，较传统自回归模型提升 约 4 倍。模型支持双向注意力与实时自我纠错，量化后仅需 18GB VRAM 可在消费级 GPU 本地 运行。 阅读目录 * [DiffusionGemma是什么](https://paooo.com/aigc-news/24378/#diffusiongemma%e6%98%af%e4%bb%80%e4%b9%88) * [DiffusionGemma的主要功能](https://paooo.com/aigc-news/24378/#diffusiongemma%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd) * [DiffusionGemma的技术原理](https://paooo.com/aigc-news/24378/#diffusiongemma%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86) * [如何使用DiffusionGemma](https://paooo.com/aigc-news/24378/#%e5%a6%82%e4%bd%95%e4%bd%bf%e7%94%a8diffusiongemma) * [DiffusionGemma的核心优势](https://paooo.com/aigc-news/24378/#diffusiongemma%e7%9a%84%e6%a0%b8%e5%bf%83%e4%bc%98%e5%8a%bf) * [DiffusionGemma的项目地址](https://paooo.com/aigc-news/24378/#diffusiongemma%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80) * [DiffusionGemma的同类竞品对比](https://paooo.com/aigc-news/24378/#diffusiongemma%e7%9a%84%e5%90%8c%e7%b1%bb%e7%ab%9e%e5%93%81%e5%af%b9%e6%af%94) * [DiffusionGemma的应用场景](https://paooo.com/aigc-news/24378/#diffusiongemma%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af) ![DiffusionGemma](https://paooo.com/wp-content/uploads/2026/07/DiffusionGemma-website- 1.avif) ## DiffusionGemma的主要功能 * **并行文本生成**：每次前向传播同时去噪 256 个 token，实现整块文本的并行生成而 非逐词输出。 * **双向上下文推理**：生成过程中每个 token 均可关注同一块内所有其他 token，支持 代码填充、内联编辑等非线性文本任务。 * **实时自我纠错**：当某个 token 置信度下降时，采样器可将其重新噪声化并在后续步骤 中替换修正。 * **多模态输入处理**：支持文本、图像、视频交错输入，生成文本输出，上下文窗口达 256K token。 * **长序列块级生成**：通过块自回归扩散机制，将已去噪的 256-token 块提交至 KV 缓 存后继续生成下一块，兼顾并行速度与序列稳定性。 ## DiffusionGemma的技术原理 * **Uniform State Diffusion（均匀状态扩散）**：DiffusionGemma 的核心机制借鉴图像 扩散模型思路：从一块由随机占位符填充的 256-token 画布开始，通过多次去噪迭代逐步 锁定高置信度 token，用已锁定 token 作为上下文线索来解析相邻位置，最终使整个序列 收敛为连贯文本。每次前向传播约固化 15–20 个 token，通过并行处理大幅提升吞吐量。 * **硬件瓶颈转移**：传统自回归模型在单用户本地推理时受限于内存带宽，GPU 计算单元 大量闲置。DiffusionGemma 将瓶颈从内存带宽转移至计算侧：通过为张量核心提供大规模 的并行去噪工作负载，使 GPU 在本地推理场景下保持高利用率，在单张 H100 上达到 1000 + tokens/秒，在 RTX 5090 上达到 700+ tokens/秒。 * **混合注意力架构**：推理过程交替使用两种注意力模式：Prefill 阶段采用因果注意力 处理输入提示并写入 KV 缓存；Denoising 阶段则切换为双向注意力，支持画布中的每个 token 同时关注所有其他 token。架构使模型能处理约束密集型任务。 ## 如何使用DiffusionGemma * **vLLM 本地部署**：用 vLLM 的 OpenAI 兼容服务器启动模型，配置扩散采样器和 256- token 画布参数后可对外提供推理服务。 * **Hugging Face 下载权重**：访问 Hugging Face 仓库获取以 Apache 2.0 协议开源的 模型权重文件。 * **主流推理框架运行**：模型原生支持 Hugging Face Transformers、SGLang 和 MLX 等 框架直接加载推理。 * **Hackable Diffusion 微调**：用 Google 开源的 JAX 研究工具箱及官方训练配方，针对 特定任务进行快速实验和微调。 ## DiffusionGemma的核心优势 * **极致本地推理速度**：在单用户本地场景下较同规格自回归模型快约 4 倍，H100 实测 1000+ tokens/秒，显著降低交互式开发工具的延迟。 * **消费级硬件可运行**：量化后仅需 18GB VRAM，支持 RTX 4090/5090 等消费级显卡及 DGX Spark 桌面工作站，无需服务器级集群。 * **开源生态零日支持**：首发即兼容 vLLM、Hugging Face Transformers、MLX、Unsloth 等主流工具链，降低接入成本。 * **非线性文本任务专长**：双向注意力使其在代码填充、结构化输出、氨基酸序列、数学 图等需要全局约束的任务上表现优于传统自回归模型。 ## DiffusionGemma的项目地址 * **项目官网**：https://developers.googleblog.com/diffusiongemma-the-developer- guide/ * **HuggingFace模型库**：https://huggingface.co/google/diffusiongemma-26B-A4B-it ## DiffusionGemma的同类竞品对比 | 维度 | DiffusionGemma | 标准 Gemma 4（自回归） | | **生成方式** | 离散文本扩散，256-token 并行去噪 | 自回归，逐词从左到右生成 | | **推理瓶颈** | 计算受限（Compute-bound） | 内存带宽受限（Memory-bound） | | **注意力机制** | 双向注意力（可看后文） | 因果注意力（只能看前文） | | **自我纠错** | 支持，低置信度 token 可重噪声化修正 | 不支持，token 一旦生成立即固化 | | **单用户本地速度** | H100: 1000+ tokens/秒；RTX 5090: 700+ tokens/秒 | 同硬件下约慢 3–4 倍 | | **输出质量** | 低于 Gemma 4，不适合追求最高质量的生产场景 | 更高，Google 推荐用于生产级应用 | | **最佳场景** | 本地低并发、交互式、速度敏感型工作流 | 高并发云端服务、质量敏感型任务 | | **模型规格** | 26B MoE（激活 3.8B） | 同系列 MoE 架构 | ## DiffusionGemma的应用场景 * **实时代码辅助**：在 IDE 中提供低延迟的内联补全、代码块填充与 Markdown 格式化， 满足开发者工具对即时反馈的需求。 * **交互式文本编辑**：在已有段落中插入内容或改写局部文本，利用双向注意力确保修改 点与前后文保持全局一致。 * **约束密集型生成**：处理数独求解、数学图构建、氨基酸序列设计等需要多变量同时满足 严格约束的任务。 * **结构化数据填充**：并行生成表格、配置文件或模板化文档，利用整块去噪能力一次性 确定多个关联字段。 * **本地隐私敏感工作流**：在消费级 GPU 上离线运行，满足对数据不出本地有严格要求 的文档分析与敏感文本处理。