# 人大高瓴与蚂蚁联合发布LLaDA-V：纯扩散架构多模态大模型刷新SOTA！

- Link: https://paooo.com/aigc-news/16995/
- Published: 2026-06-30T08:42:22+08:00
- Author: Prompt 语宙研究院

⚡ [Prompt](https://paooo.com/ai-image-prompts/) 语宙 AI 导读 · 30 秒核心看点

 * 纯扩散多模态路线LLaDA-V登场，突破自回归主导格局，刷新多模态理解SOTA。
 * 通过SigLIP 2视觉塔、MLP连接器与三阶段训练，实现视觉特征到语言空间的高质量对齐。
 * 双向注意力加持多轮对话与复杂推理，适合图像问答、对话助手和多模态分析场景。

> **💡 站外导读：**当前多模态大模型（MLLM）领域，自回归模型虽占主流，但在复杂推理
> 与双向上下文建模上存在瓶颈。混合架构虽能部分弥补，却常带来系统复杂性与训练不稳定
> 的挑战。纯扩散模型架构作为新兴范式，正展现出独特潜力。人大高瓴AI与蚂蚁集团联合
> 推出的LLaDA-V，正是在这一背景下应运而生，旨在通过纯扩散模型解决视觉-语言对齐难题，
> 推动多模态理解能力迈向新高度。

## LLaDA-V是什么

LLaDA-V是中国人民大学高瓴人工智能学院、蚂蚁集团推出的多模态大语言模型（MLLM），基于
纯扩散模型架构，专注于视觉指令微调。模型在LLaDA的基础上，引入视觉编码器和MLP连接
器，将视觉特征映射到语言嵌入空间，实现有效的多模态对齐。LLaDA-V在多模态理解方面达到
最新水平，超越现有的混合自回归-扩散和纯扩散模型。

阅读目录

 * [LLaDA-V是什么](https://paooo.com/aigc-news/16995/#lladav%e6%98%af%e4%bb%80%e4%b9%88)
 * [LLaDA-V的主要功能](https://paooo.com/aigc-news/16995/#lladav%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd)
 * [LLaDA-V的技术原理](https://paooo.com/aigc-news/16995/#lladav%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86)
 * [LLaDA-V的项目地址](https://paooo.com/aigc-news/16995/#lladav%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80)
 * [LLaDA-V的应用场景](https://paooo.com/aigc-news/16995/#lladav%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af)
       * [📝 站长洞察 (Editor’s Insight)](https://paooo.com/aigc-news/16995/#%f0%9f%93%9d-%e7%ab%99%e9%95%bf%e6%b4%9e%e5%af%9f-editor8217s-insight)

![LLaDA-V](https://paooo.com/wp-content/uploads/2026/05/LLaDA-V-website-1.avif)

## LLaDA-V的主要功能

 * **图像描述生成**：根据输入的图像生成详细的描述文本。
 * **视觉问答**：回答与图像内容相关的问题。
 * **多轮多模态对话**：在给定图像的上下文中进行多轮对话，理解生成与图像和对话历史
   相关的回答。
 * **复杂推理任务：**在涉及图像和文本的复合任务中进行推理，例如解决与图像相关的数学
   问题或逻辑问题。

## LLaDA-V的技术原理

 * **扩散模型（Diffusion Models）**：扩散模型基于逐步去除噪声生成数据。在LLaDA-V
   中，用掩码扩散模型（Masked Diffusion Models），在句子中随机掩码（替换为特殊标记[
   M]）一些词，训练模型预测掩码词的原始内容。
 * **视觉指令微调（Visual Instruction Tuning）**：基于视觉指令微调框架，框架包括
   视觉塔（Vision Tower）和MLP连接器（MLP Connector）。视觉塔用SigLIP 2模型将图像
   转换为视觉表示。MLP连接器将视觉表示映射到语言模型的词嵌入空间，让视觉特征和语言
   特征能有效地对齐和融合。
 * **多阶段训练策略**：在第一阶段，训练MLP连接器以对齐视觉表示和语言嵌入。在第二
   阶段，对整个模型进行微调，理解和遵循视觉指令。在第三阶段，进一步增强模型的多模
   态推理能力，训练模型处理复杂的多模态推理任务。
 * **双向注意力机制**：在多轮对话中，LLaDA-V用双向注意力机制，支持模型在预测掩码
   词时考虑整个对话上下文，有助于模型更好地理解对话的整体逻辑和内容。

## LLaDA-V的项目地址

 * **项目官网**：[https://ml-gsai.github.io/LLaDA-V](https://ml-gsai.github.io/LLaDA-V-demo/?utm_source=ai-bot.cn)
 * **GitHub仓库**：[https://github.com/ML-GSAI/LLaDA-V](https://github.com/ML-GSAI/LLaDA-V)
 * **arXiv技术论文**：[https://arxiv.org/pdf/2505.16933](https://arxiv.org/pdf/2505.16933)

## LLaDA-V的应用场景

 * **图像描述生成**：自动生成图像的详细描述，帮助理解图像内容。
 * **视觉问答**：回答与图像相关的问题，适用于教育、旅游等领域。
 * **多轮对话**：在智能客服、虚拟助手等场景中进行多轮多模态对话。
 * **复杂推理**：解决涉及图像和文本的复杂推理任务，如数学问题解答。
 * **多图像与视频理解**：分析多图像和视频内容，适用视频分析和监控等场景。

#### 📝 站长洞察 (Editor’s Insight)

LLaDA-V的发布标志着多模态[大模型](https://paooo.com/ai-study/)技术路线的一个重要
分野。它选择了一条少有人走的路——纯扩散模型架构，这超越了业界对扩散模型仅用于生成
的传统认知。其核心创新在于将掩码扩散模型与视觉指令微调深度结合，通过三阶段训练策略，
系统性解决了视觉特征到语言空间的语义对齐问题。双向注意力机制的引入，更是直指当前
自回归模型在多轮复杂推理中的上下文理解短板。这不仅是技术上的SOTA刷新，更预示着多
模态AI范式可能迎来多元发展。蚂蚁集团与顶尖学术机构的深度合作，也体现了产业界正将
前沿学术研究快速工程化、产品化的强大能力。未来，纯扩散模型能否在更多开放域任务中
挑战自回归模型的统治地位，值得持续关注。

❓ 常见问题解答（FAQ）

LLaDA-V是什么模型？

LLaDA-V是中国人民大学高瓴人工智能学院与蚂蚁集团联合推出的多模态大语言模型，基于纯
扩散模型架构，重点面向视觉指令微调与多模态理解任务。

LLaDA-V和传统自回归多模态模型有什么不同？

它不依赖主流自回归生成范式，而是采用掩码扩散与双向注意力机制，更强调对全局上下文
的建模，尤其适合多轮对话和复杂推理场景。

LLaDA-V能用来做哪些任务？

可用于图像描述生成、视觉问答、多轮多模态对话、复杂推理，以及多图像和视频理解，适合
教育、客服、分析和监控等应用。

🔬 语宙深潜追问 · 进阶实操拆解

扩散架构做多模态的优势在哪？

它在并行生成和全局一致性上更有潜力，适合复杂视觉-语言对齐任务；相比逐token自回归，
扩散更容易在整体结构上做约束，但推理链路和采样策略更关键。

多轮对话场景怎么评估SOTA？

不能只看单轮准确率，要加上上下文保持、指代消解、跨轮一致性和复杂推理成功率；最好
结合真实任务集与人工偏好评测，避免“榜单好看、实战失真”。

🗳️ 读者观点微投票 · 您的实战立场是？

纯扩散多模态，真能替代自回归吗？

🕸️ 语宙向量知识图谱 · 语义强关联深度内链

 * [LLaDA – 人大高瓴AI联合蚂蚁推出的扩散大语言模型](https://paooo.com/aigc-news/21775/)
 * [LLaVA-o1 – 北大清华联合多所机构推出开源的视觉语言模型](https://paooo.com/aigc-news/25543/)
 * [LongLLaVA – 香港中文大学推出的多模态上下文混合架构大语言模型](https://paooo.com/aigc-news/25215/)
 * [MMaDA – 字节联合普林斯顿大学等推出的多模态扩散模型](https://paooo.com/aigc-news/18719/)

[🏛️ Prompt 语宙研究院](https://paooo.com/author/paooo-research/) · Prompt 语宙研究院（
paooo.com Research）专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示
词工程（Prompt Engineering）与全球高增长 AI 生产力工具实测追踪，致力于为中文开发
者与创作者提供一手、可复现的深度技术洞察。

[📄 Markdown 纯净版](https://paooo.com/aigc-news/16995/?format=md)

💡 这篇内容对您有启发吗？

[📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/)

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)
