# Nemotron-Labs-Diffusion – 英伟达开源的三模式语言模型 - Link: https://paooo.com/aigc-news/26754/ - Published: 2026-07-08T17:56:41+08:00 - Author: 站外新闻 ## Nemotron-Labs-Diffusion是什么 Nemotron-Labs-Diffusion 是 NVIDIA 推出的三模式语言模型，在单一架构内统一自回归、 扩散和自我推测解码。通过联合 AR-扩散目标训练，模型可在不同并发场景下切换模式维持 高吞吐量。该系列包含 3B、8B、14B 参数的基础、指令和视觉语言模型，在准确率和速度上 均超越现有开源 AR 和扩散语言模型。 阅读目录 * [Nemotron-Labs-Diffusion是什么](https://paooo.com/aigc-news/26754/#nemotronlabsdiffusion%e6%98%af%e4%bb%80%e4%b9%88) * [Nemotron-Labs-Diffusion的主要功能](https://paooo.com/aigc-news/26754/#nemotronlabsdiffusion%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd) * [Nemotron-Labs-Diffusion的技术原理](https://paooo.com/aigc-news/26754/#nemotronlabsdiffusion%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86) * [如何使用Nemotron-Labs-Diffusion](https://paooo.com/aigc-news/26754/#%e5%a6%82%e4%bd%95%e4%bd%bf%e7%94%a8nemotronlabsdiffusion) * [Nemotron-Labs-Diffusion的核心优势](https://paooo.com/aigc-news/26754/#nemotronlabsdiffusion%e7%9a%84%e6%a0%b8%e5%bf%83%e4%bc%98%e5%8a%bf) * [Nemotron-Labs-Diffusion的项目地址](https://paooo.com/aigc-news/26754/#nemotronlabsdiffusion%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80) * [Nemotron-Labs-Diffusion的同类竞品对比](https://paooo.com/aigc-news/26754/#nemotronlabsdiffusion%e7%9a%84%e5%90%8c%e7%b1%bb%e7%ab%9e%e5%93%81%e5%af%b9%e6%af%94) * [Nemotron-Labs-Diffusion的应用场景](https://paooo.com/aigc-news/26754/#nemotronlabsdiffusion%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af) ![Nemotron-Labs-Diffusion](https://paooo.com/wp-content/uploads/2026/07/Nemotron- Labs-Diffusion-website-1.avif) ## Nemotron-Labs-Diffusion的主要功能 * **三模式解码切换**：支持 AR、扩散、自我推测三种解码模式，通过改变注意力模式可在 单一模型内无缝切换。 * **块级扩散并行生成**：采用块级扩散公式，将序列分块后在块内双向并行解码，单次前 向生成多个 token。 * **自我推测草稿验证**：扩散并行生成多 token 草稿，AR 在同一模型内验证，共享 KV 缓存且无需辅助预测头。 * **视觉语言理解**：提供视觉语言模型变体，支持图像理解与图文推理，扩展多模态应用 边界。 * **高效推理部署**：支持 FP8 低精度格式，结合 SGLang 框架在 GB200 GPU 上实现高吞吐量 服务。 ## Nemotron-Labs-Diffusion的技术原理 * **联合 AR-扩散目标训练**：模型同时优化自回归 next-token 损失和块级扩散去噪损失， 加权组合（α=0.3）平衡两者。AR 目标为扩散提供从左到右的语言先验，防止扩散训练浪费 容量在任意 token 排列上；扩散目标则增强模型的前瞻规划能力。 * **两阶段训练策略**：第一阶段仅用 AR 目标预训练，建立强大的左到右语言归纳偏置； 第二阶段开启联合训练，使扩散梯度补充，实现两种目标的和谐融合。 * **结构化注意力模式**：训练时采用双流输入，噪声流中 token 在块内双向注意力、跨 块因果注意力，并关注干净流中的已生成前缀；干净流则保持严格因果掩码，使 AR 目标 与扩散目标可在同一前向-反向传播中联合计算。 * **全局损失平均**：针对扩散目标中不同样本噪声 token 数量变化导致的梯度方差问题， 采用全局 token 级损失平均，按批次中所有 token 平等加权，避免少数高权重噪声样本 disproportionately 影响批次梯度。 * **最优采样与 LoRA 增强**：扩散模式配合基于采样轨迹优化的采样器提升并行度；自我 推测模式可附加 LoRA 草稿适配器增强草稿质量，提高接受率和实际设备效率。 ![挖挖GitHub](https://paooo.com/wp-content/uploads/2026/07/wawagithub-66.avif) 微信关注回复“**开源**”，加入**AI开源项目交流群** ## 如何使用Nemotron-Labs-Diffusion * **安装依赖**：执行 `pip install "transformers>=5.0" torch peft` 等命令，准备 Python 与 GPU 环境。 * **获取模型**：从 HuggingFace 拉取 `nvidia/Nemotron-Labs-Diffusion-8B` 等模型权 重及对应分词器。 * **选择模式**：根据并发水平选择 AR 模式（高并发）、扩散模式（最大并行）或自我推测 模式（低延迟）。 * **运行脚本**：使用 `chat_ar.py`、`chat_dlm.py` 或 `chat_linear_spec.py` 等官方 脚本进行单轮或多轮对话推理。 * **服务部署**：基于 SGLang 框架启动推理服务，配置 Linear Self-Speculation 与 FP8 精度，接入生产环境。 ## Nemotron-Labs-Diffusion的核心优势 * **三模式统一架构**：单一模型同时掌握 AR 语言先验与扩散并行规划能力，无需维护多 套模型与管线。 * **吞吐量显著提升**：8B 模型单次前向解码 token 数达 Qwen3-8B 的 6 倍，GB200 上 SPEED-Bench 吞吐量提升 4 倍。 * **自我推测优于 MTP**：自我推测模式的接受率和实际设备效率均优于多 token 预测（ MTP）方法。 * **双目标和谐训练**：全局损失平均与两阶段策略有效平衡双目标梯度，避免模式间的容量 竞争。 * **场景自适应切换**：通过切换注意力模式即可适配云侧高并发与端侧低并发场景，无需 架构改造。 ## Nemotron-Labs-Diffusion的项目地址 * **HuggingFace模型库**：https://huggingface.co/collections/nvidia/nemotron-labs- diffusion * **arXiv技术论文**：https://arxiv.org/pdf/2607.05722 ## Nemotron-Labs-Diffusion的同类竞品对比 * **实时对话助手**：低并发场景下用自我推测模式，实现低延迟交互式 AI 对话，提升用户 体验。 * **云推理服务**：AR 模式适配高并发批量请求，充分用 GPU 计算密度，降低云端部署成本。 * **代码与数学推理**：扩散模式增强前瞻规划，适合需要多步逻辑推导的编程辅助和数学 求解任务。 * **端侧本地推理**：8B 模型可在个人设备运行，三模式切换适配不同负载，保障数据隐私。 * **视觉语言应用**：视觉语言模型变体支持图像理解与图文问答，适用于智能文档分析与 多模态交互。 ## Nemotron-Labs-Diffusion的应用场景 * **实时对话助手**：低并发场景下使用自我推测模式，实现低延迟交互式 AI 对话，提升 用户体验。 * **云推理服务**：AR 模式适配高并发批量请求，充分利用 GPU 计算密度，降低云端部署 成本。 * **代码与数学推理**：扩散模式增强前瞻规划，适合需要多步逻辑推导的编程辅助和数学 求解任务。 * **端侧本地推理**：8B 模型可在个人设备运行，三模式切换适配不同负载，保障数据隐私。 * **视觉语言应用**：视觉语言模型变体支持图像理解与图文问答，适用于智能文档分析与 多模态交互。 **🚀 Prompt 语宙 AI 创作者生态：**探索 2,000+ 全球实用 AI 工具与高精度生图提示词 咒语库 [🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/) [⚡ AIGC 早报生成器](https://paooo.com/mtool/)