# LLaDA2.2-flash – InclusionAI 开源的扩散语言模型

- Link: https://paooo.com/aigc-news/39316/
- Published: 2026-07-28T11:55:04+08:00
- Author: 站外新闻

## LLaDA2.2-flash是什么

LLaDA2.2-flash是InclusionAI开源的扩散语言模型（dLLM），采用MoE架构，总参数量约100B，
原生支持128K上下文。模型通过多轮并行去噪拟合答案，引入莱文斯坦编辑实现序列的增删
改能力。模型在7项[Agent](https://paooo.com/trends/)基准上平均得分53.83，逼近同规模
自回归模型Ling-2.6-flash的55.74分，同时保持1.64倍解码吞吐优势。

阅读目录

 * [LLaDA2.2-flash是什么](https://paooo.com/aigc-news/39316/#llada22flash%e6%98%af%e4%bb%80%e4%b9%88)
 * [LLaDA2.2-flash的主要功能](https://paooo.com/aigc-news/39316/#llada22flash%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd)
 * [LLaDA2.2-flash的技术原理](https://paooo.com/aigc-news/39316/#llada22flash%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86)
 * [如何使用LLaDA2.2-flash](https://paooo.com/aigc-news/39316/#%e5%a6%82%e4%bd%95%e4%bd%bf%e7%94%a8llada22flash)
 * [LLaDA2.2-flash的核心优势](https://paooo.com/aigc-news/39316/#llada22flash%e7%9a%84%e6%a0%b8%e5%bf%83%e4%bc%98%e5%8a%bf)
 * [LLaDA2.2-flash的项目地址](https://paooo.com/aigc-news/39316/#llada22flash%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80)
 * [LLaDA2.2-flash的同类竞品对比](https://paooo.com/aigc-news/39316/#llada22flash%e7%9a%84%e5%90%8c%e7%b1%bb%e7%ab%9e%e5%93%81%e5%af%b9%e6%af%94)
 * [LLaDA2.2-flash的应用场景](https://paooo.com/aigc-news/39316/#llada22flash%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af)

![LLaDA2.2-flash](https://paooo.com/wp-content/uploads/2026/07/LLaDA2.2-flash-website-
1.avif)

## LLaDA2.2-flash的主要功能

 * **扩散式并行生成**：通过块并行解码同时处理多个Token位置，实现高吞吐文本生成。
 * **莱文斯坦编辑**：在去噪过程中支持KEEP、SUBSTITUTE、DELETE、INSERT四种编辑操作，
   突破定长替换限制。
 * **长上下文处理**：原生支持128K上下文窗口，适配长程软件工程、工具调用轨迹等复杂
   场景。
 * **Agent任务执行**：支持代码修复、API交互、多轮工具调用等需要持续纠错的环境反馈
   任务。
 * **MoE高效推理**：采用混合专家架构，通过块路由机制控制长上下文下的推理成本。

## LLaDA2.2-flash的技术原理

 * **扩散语言模型范式**：与自回归模型从左到右逐Token生成不同，LLaDA2.2先确定一批
   待填补的噪声位置，通过多轮去噪逐步拟合出完整序列，多个位置协同推进具备反复打磨
   潜力。
 * **莱文斯坦编辑机制**：用最长公共子序列（LCS）将生成草稿与目标序列对齐，构建KEEP、
   SUBSTITUTE、DELETE、INSERT四类编辑指令。DELETE移除冗余Token并左移后续序列，INSERT
   在当前位置前创建[MASK]等待后续填充，使模型具备非等长序列修正能力。
 * **L-EBPO强化学习**：提出基于莱文斯坦编辑证据下界的块级策略优化算法，外层优化多
   轮Agent交互的轨迹级决策，内层负责单次生成中Block内的插入和删除，通过恢复编辑轨迹
   使梯度覆盖结构决策，环境奖励来自工具调用正确性、输出格式有效性和任务完成度。
 * **块路由机制（Block Routing）**：针对MoE在长上下文块扩散中的专家并集膨胀问题，
   通过Token赛马取Block级准入分数，从256个路由专家中选出Top-48组成候选池，再在每
   个Token在池内执行Top-k路由，使专家工作集获得可预测的O(C)上界。

![挖挖GitHub](https://paooo.com/wp-content/uploads/2026/07/wawagithub-105.avif)

微信关注回复“**开源**”，加入**AI开源项目交流群**

## 如何使用LLaDA2.2-flash

 * **硬件准备**：本地部署LLaDA2.2-flash需配备至少4张A100-80GB或同等显存GPU支持BF16
   全精度加载，若使用FP8量化或处理128K长上下文场景则需相应预留更多显存资源。
 * **模型下载**：通过ModelScope SDK下载模型时，执行`from modelscope import snapshot_download;
   model_dir = snapshot_download("inclusionAI/LLaDA2.2-flash")`可自动完成约206GB
   模型文件的下载。
 * **Git克隆**：若采用Git LFS方式获取模型，运行`git lfs install`初始化大文件支持，
   执行`git clone https://modelscope.cn/models/inclusionAI/LLaDA2.2-flash.git`拉
   取完整模型仓库。
 * **模型加载**：用Transformers加载模型时，调用`AutoModelForCausalLM.from_pretrained(
   model_path, trust_remote_code=True, device_map="auto")`并务必设置`trust_remote_code
   =True`启用自定义扩散解码逻辑。
 * **精度设置**：模型加载完成后，执行`model = model.to(torch.bfloat16)`将其转换为
   BF16精度，随后调用`model.eval()`将模型切换至评估推理模式。
 * **分词器加载**：同步加载对应分词器`AutoTokenizer.from_pretrained(model_path, 
   trust_remote_code=True)`，确保分词规则与模型配置完全匹配。
 * **输入构造**：构造用户提示后，通过`tokenizer.apply_chat_template([{"role": "user","
   content": prompt}], add_generation_prompt=True, tokenize=True, return_tensors
   ="pt")`将对话格式化为模型所需的输入张量。
 * **参数配置**：调用`model.generate()`时配置关键扩散解码参数：`block_length=32`
   控制每步并行去噪Token数量，`threshold=0.5`设定去噪置信度阈值，`editing_threshold
   =0.0`关闭主动编辑，`temperature=0.0`启用贪心解码，`gen_length=512`设定最大生成
   长度。
 * **结果解码**：生成完成后，使用`tokenizer.decode(generated_tokens[0], skip_special_tokens
   =True)`将Token序列解码为可读文本并输出最终结果。

## LLaDA2.2-flash的核心优势

 * **高吞吐解码**：BF16平均解码吞吐量达到同规模自回归模型Ling-2.6-flash的1.64倍，
   FP8量化后还可再提升18.6%。
 * **结构化自我纠错**：莱文斯坦编辑使模型具备增删改能力，SWE-bench Verified解决率
   从35.8提升至44.4，绝对增益8.6个百分点。
 * **原生长上下文**：通过持续预训练从8K扩展到128K，非外推方式，适配Agent长程交互
   需求。
 * **开源可复现**：采用Apache-2.0协议，模型与训练细节均已公开，支持本地完整复现。
 * **MoE推理效率**：块路由机制将每Block专家工作集控制在固定容量内，显著降低HBM流量
   与通信成本。

## LLaDA2.2-flash的项目地址

 * **GitHub仓库**：https://github.com/inclusionAI/LLaDA2.X
 * **ModelScope地址**：https://modelscope.cn/models/inclusionAI/LLaDA2.2-flash

## LLaDA2.2-flash的同类竞品对比

  |  对比维度 |  LLaDA2.2-flash |  [Ling-2.6-flash](https://ai-bot.cn/ling-2-6-flash/) |  
   |  架构范式 |  采用扩散语言模型（dLLM）结合 MoE 架构，通过多轮并行去噪生成序列。 |  采用自回归（AR）结合 MoE 架构，从左到右逐 Token 顺序生成文本。 |  
 |  序列编辑能力 |  原生支持莱文斯坦编辑，具备 KEEP、SUBSTITUTE、DELETE、INSERT 四种增删改操作。 |  无原生序列编辑能力，生成后修正需依赖外部重采样或后处理。 |  
 |  强化学习策略 |  使用 L-EBPO 算法，在环境反馈中联合优化轨迹级决策与块内编辑动作。 |  采用标准 RLHF 或传统强化学习框架进行对齐与优化。 |  
 |  Agent 基准均分 |  在 7 项 Agent 基准测试中平均得分为 53.83。 |  在相同 7 项 Agent 基准测试中平均得分为 55.74，高出 1.91 分。 |  
 |  解码吞吐量 |  BF16 平均解码吞吐量达到 Ling-2.6-flash 的 1.64 倍，FP8 量化后再提升 18.6%。 |  作为自回归基准模型，解码吞吐受逐 Token 生成方式限制。 |  
 |  上下文窗口 |  通过持续预训练原生支持 128K 上下文，非位置外推方式。 |  上下文能力未在公开技术报告中详细披露具体训练方式。 |

## LLaDA2.2-flash的应用场景

 * **软件工程Agent**：模型原生支持莱文斯坦编辑的增删改能力，可胜任代码修复、Bug定位、
   函数补全等需要非等长文本编辑的复杂编程任务。
 * **多轮工具调用**：在API交互与MCP协议执行中，模型能够动态修正参数、增删字段，适
   配需要持续纠错的复杂Agent工作流。
 * **长文档处理**：、原生128K上下文窗口，模型可高效完成长文本分析、报告生成与知识
   提取，无需依赖位置外推。
 * **科研与实验复现**：作为开源的MoE扩散语言模型，LLaDA2.2-flash为学术界提供了自
   回归路线之外的可复现研究基座与替代技术路径。

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,000+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[⚡ AIGC 早报生成器](https://paooo.com/mtool/)