# ELF：何恺明团队革命性扩散语言模型，32步生成、数据效率提升10倍，终结自回归时代？

- Link: https://paooo.com/aigc-news/10610/
- Published: 2026-05-24T09:38:04+08:00
- Author: Prompt 语宙研究院

⚡ [Prompt](https://paooo.com/ai-image-prompts/) 语宙 AI 导读 · 30 秒核心看点

 * ELF用连续embedding扩散替代自回归，32步即可生成自然文本，推理效率显著提升。
 * 105M参数、45B训练token在OpenWebText上达成困惑度24，数据效率优于主流离散扩散模型。
 * 去噪与解码共享同一网络，支持翻译、摘要等任务，架构更简洁统一。

> **💡 站外导读：**在AI文本生成领域，自回归模型长期占据主导，但其推理缓慢、数据饥渴
> 的瓶颈日益凸显。何恺明团队最新推出的ELF扩散语言模型，首次在连续嵌入空间中执行去
> 噪生成，仅需32步和少量数据即达到顶级性能，为高效、自然的文本生成开辟了新路径。
> 本文将深入剖析ELF如何挑战传统范式，并探讨其对行业应用与未来研究的深远影响。

## ELF是什么

ELF（Embedded Language Flows）是何恺明团队推出的首个扩散语言模型，采用连续扩散范
式替代传统自回归路线。模型全程在连续 embedding 空间中去噪生成文本，在最后一步离散
化为 token。模型用 105M 参数、45B 训练 token 和 32 步采样，在 OpenWebText 上实现
24 的生成困惑度，用少近 10 倍的训练数据超越主流离散扩散模型，在无条件生成、翻译和
摘要等任务上表现优异。

阅读目录

 * [ELF是什么](https://paooo.com/aigc-news/10610/#elf%e6%98%af%e4%bb%80%e4%b9%88)
 * [ELF的主要功能](https://paooo.com/aigc-news/10610/#elf%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd)
 * [ELF的技术原理](https://paooo.com/aigc-news/10610/#elf%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86)
 * [如何使用ELF](https://paooo.com/aigc-news/10610/#%e5%a6%82%e4%bd%95%e4%bd%bf%e7%94%a8elf)
 * [ELF的核心优势](https://paooo.com/aigc-news/10610/#elf%e7%9a%84%e6%a0%b8%e5%bf%83%e4%bc%98%e5%8a%bf)
 * [ELF的项目地址](https://paooo.com/aigc-news/10610/#elf%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80)
 * [ELF的同类竞品对比](https://paooo.com/aigc-news/10610/#elf%e7%9a%84%e5%90%8c%e7%b1%bb%e7%ab%9e%e5%93%81%e5%af%b9%e6%af%94)
 * [ELF的应用场景](https://paooo.com/aigc-news/10610/#elf%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af)
       * [📝 站长洞察 (Editor’s Insight)](https://paooo.com/aigc-news/10610/#%f0%9f%93%9d-%e7%ab%99%e9%95%bf%e6%b4%9e%e5%af%9f-editor8217s-insight)

![ELF](https://paooo.com/wp-content/uploads/2026/05/ELF-website-1.avif)

## ELF的主要功能

 * **连续空间文本生成**：全程在连续 embedding 空间执行去噪，在最终时间步（t=1）通过
   unembedding 层将连续表示投影为离散 token。
 * **无条件语言生成**：从纯高斯噪声出发，经 32 步迭代生成自然、低困惑度的人类风格
   文本。
 * **条件文本任务**：支持机器翻译（WMT14）、文本摘要（XSum）等条件生成任务，性能
   超越现有扩散语言模型及部分自回归基线。
 * **训练-推理统一架构**：去噪网络与最终解码网络共享同一套参数，通过二值 mode token（
   去噪/解码模式）切换，无需额外训练独立 decoder。

## ELF的技术原理

 * **Continuous Embedding 编码**：离散 token 先经 T5 预训练编码器映射为双向 contextual
   embedding，仅在训练阶段使用，推理时不增加额外模块。
 * **Flow Matching + x-prediction**：在连续空间定义从噪声到干净数据的 rectified 
   flow 轨迹；网络直接预测干净 embedding（x-prediction），非速度场，训练目标为 MSE
   损失，在高维表示上更稳定。
 * **Final-step Discretization**：最后一步将连续 embedding 通过可学习的 unembedding
   矩阵投影为 token logits，训练时加入 token-level corruption 防止任务过简，损失
   为交叉熵。
 * **Self-conditioning CFG**：引入图像生成中的 classifier-free guidance 思想，采用
   training-time CFG作为条件信号，无推理开销。

## 如何使用ELF

 * **访问代码仓库**：访问 GitHub克隆项目代码。
 * **准备环境**：安装依赖库（PyTorch 等），配置 GPU 环境。
 * **数据预处理**：将文本数据经 T5 编码器转换为连续 embedding 格式。
 * **模型训练**：使用 Flow Matching + x-prediction 目标函数训练去噪网络，支持 MSE
   或 CE 损失。
 * **文本生成**：从高斯噪声出发，调用 ELF 去噪网络迭代 32 步，最后一步切换为解码
   模式输出 token。
 * **下游任务微调**：在 WMT14、XSum 等数据集上进行条件生成微调。

## ELF的核心优势

 * **数据效率极高**：用 45B token 训练，相比 MDLM、Duo、FLM 等对手的 500B+ token
   少一个数量级。
 * **采样步数极少**：32 步可达到甚至超越对手 1024 步的生成质量。
 * **生成质量更优**：OpenWebText 生成困惑度低至 24，文本更自然、AI 痕迹更弱。
 * **架构简洁统一**：去噪与解码共享网络，无需额外 decoder 模块，避免 latent diffusion
   中 decoder 训练的开销与误差累积。

## ELF的项目地址

 * **GitHub仓库**：https://github.com/lillian039/ELF
 * **arXiv技术论文**：https://arxiv.org/pdf/2605.10938

## ELF的同类竞品对比

  |  对比维度 |  ELF |  MDLM |  LLaDA |  
   |  **技术路线** |  连续扩散（embedding空间全程去噪，最后一步离散化） |  离散扩散（直接在token空间操作，每步维护离散状态） |  离散扩散（基于BERT架构的掩码扩散语言模型） |  
 |  **参数规模** |  **105M** |  350M / 1.3B |  **8B** |  
 |  **训练数据** |  **45B token**（少一个数量级） |  500B+ token |  数万亿 token |  
 |  **采样步数** |  **32步** |  1024步（标准）/ 64步（需蒸馏） |  64~128步 |  
 |  **生成困惑度** |  **24**（OpenWebText，32步无蒸馏） |  ~35（1024步）/ ~60（32步无蒸馏） |  ~30（128步） |  
 |  **架构设计** |  去噪与解码共享同一网络，无额外模块 |  每步在词表空间做离散状态转移 |  基于掩码预测的Transformer，每步预测被掩码token |  
 |  **核心优势** |  数据效率极高、采样极快、架构最简 |  与语言离散性天然契合，理论直观 |  大规模参数带来强表达能力，可扩展性好 |  
 |  **主要劣势** |  依赖预训练encoder提供embedding |  训练数据需求大、采样步数多、生成质量对步数敏感 |  推理成本高、需要大量训练数据、推理步数仍较多 |

## ELF的应用场景

 * **低资源高效文本生成**：用 45B token 可训练出高质量模型，适合数据预算有限的企业
   和研究者快速部署自然语言生成能力。
 * **机器翻译**：在 WMT14 等翻译任务上超越现有扩散模型和部分自回归基线，可作为非
   自回归翻译系统的核心引擎。
 * **文本摘要与内容改写**：在 XSum 等摘要任务中表现稳定，适合新闻摘要、文档提炼等
   需要保留关键信息的场景。
 * **创意写作与对话生成**：生成困惑度低至 24，文本自然度高、AI 痕迹弱，适合长篇小说、
   营销文案等类人风格内容创作。
 * **扩散语言模型研究基线**：首次验证”连续到底”路线在文本生成的可行性，为后续[大模型](https://paooo.com/ai-study/)
   架构探索提供重要参考和基础框架。

#### 📝 站长洞察 (Editor’s Insight)

ELF的出现标志着扩散模型在文本领域的重大突破，其“连续到底”的架构设计极具前瞻性。在
当前大模型算力与数据成本高企的背景下，ELF以极高的数据效率和极少的采样步数，展示了
不依赖海量数据也能实现卓越生成质量的可能。这不仅挑战了自回归模型的霸主地位，更可能
推动行业向更高效、更可持续的AI生成范式转型。对于关注[AIGC](https://paooo.com/aigc-news/)
落地的企业和研究者而言，ELF不仅是技术亮点，更是未来架构演进的重要信号，值得密切关注
其后续发展与生态构建。

🧭 文中关联 [AI 工具](https://ai.paooo.com/)官网与参数卡（语宙 AI 导航）

**PyTorch ↗**

PyTorch：开源的机器学习库，面向AI 开发平台场景提供便捷实用的在线功能支持，涵盖智能
工具等实用方向。

❓ 常见问题解答（FAQ）

ELF扩散语言模型和自回归模型有什么区别？

ELF不再按token逐个自回归生成，而是在连续embedding空间中进行去噪，最后一步再离散化
输出token。这种方式把生成过程改为迭代式采样，推理步数更少，且在文本质量和数据效率
上表现更突出。

ELF为什么只要32步就能生成文本？

因为它采用rectified flow式的连续扩散轨迹，在高维embedding空间直接预测干净表示，并
结合self-conditioning CFG提升生成稳定性。相比传统离散扩散需要上百步，ELF在32步内
就能完成高质量采样。

ELF适合哪些文本生成任务？

ELF不仅能做无条件文本生成，还支持机器翻译、文本摘要等条件生成任务。文中提到它在WMT14
和XSum等场景上表现优异，适合追求低推理成本和高数据效率的文本生成应用。

🔬 语宙深潜追问 · 进阶实操拆解

ELF这类模型最适合哪些场景？

更适合对生成速度、并行采样和低步数推理敏感的场景，如批量生成、候选重排序和受限文本
生成。若任务强调长链推理和严格逐 token 控制，自回归模型目前仍更稳。

扩散语言模型落地最大难点是什么？

难点在训练稳定性、评测体系和生态兼容性。即便推理更快，也要解决与现有 tokenizer、
对齐方法、工具链和部署框架的适配问题，否则很难从论文走向大规模应用。

🗳️ 读者观点微投票 · 您的实战立场是？

扩散语言模型会取代自回归吗？

🕸️ 语宙向量知识图谱 · 语义强关联深度内链

 * [突破扩散模型极限！蚂蚁集团开源100B参数LLaDA 2.0，推理速度2倍超越自回归模型](https://paooo.com/aigc-news/12752/)
 * [字节Seed Diffusion模型：代码生成速度飙升5.4倍，扩散语言模型技术深度解析](https://paooo.com/aigc-news/14271/)
 * [ELLA – 腾讯推出的扩散模型适配器，可增强语义对齐](https://paooo.com/aigc-news/28108/)
 * [ChatDLM – Qafind Labs推出的全球最快扩散语言模型](https://paooo.com/aigc-news/20106/)

[🏛️ Prompt 语宙研究院](https://paooo.com/author/paooo-research/) · Prompt 语宙研究院（
paooo.com Research）专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示
词工程（Prompt Engineering）与全球高增长 AI 生产力工具实测追踪，致力于为中文开发
者与创作者提供一手、可复现的深度技术洞察。

[📄 Markdown 纯净版](https://paooo.com/aigc-news/10610/?format=md)

💡 这篇内容对您有启发吗？

[📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/)

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)
