# LatentLM – 微软联合清华推出的多模态生成模型

- Link: https://paooo.com/aigc-news/24818/
- Published: 2026-07-09T22:18:29+08:00
- Author: Prompt 语宙研究院

## LatentLM是什么

LatentLM是微软研究院和清华大学共同推出的多模态生成模型，能统一处理离散数据（如文本）
和连续数据（如图像、音频）。模型用变分自编码器（VAE）将连续数据编码为潜在向量，引入
下一个词扩散技术自回归生成向量。LatentLM基于因果Transformer架构实现不同模态间信息
共享，提高模型在多模态任务中的性能和可扩展性。LatentLM推出σ-VAE解决方差崩溃问题，
增强自回归建模的鲁棒性，在图像生成、多模态大型语言模型和文本到语音合成等多个领域
展现出卓越性能。

阅读目录

 * [LatentLM是什么](https://paooo.com/aigc-news/24818/#latentlm%e6%98%af%e4%bb%80%e4%b9%88)
 * [LatentLM的主要功能](https://paooo.com/aigc-news/24818/#latentlm%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd)
 * [LatentLM的技术原理](https://paooo.com/aigc-news/24818/#latentlm%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86)
 * [LatentLM的项目地址](https://paooo.com/aigc-news/24818/#latentlm%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80)
 * [LatentLM的应用场景](https://paooo.com/aigc-news/24818/#latentlm%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af)

![LatentLM](https://paooo.com/wp-content/uploads/2026/07/LatentLM-website-1.avif)

## LatentLM的主要功能

 * **多模态数据处理**：同时处理离散数据（如文本和代码）和连续数据（如图像、音频、
   视频）。
 * **统一的生成与理解接口**：提供一个接口，统一多模态数据的生成和理解，例如，可以
   生成文本、图像、音频和视频的任意组合。
 * **自回归生成**：基于next-token diffusion技术，模型自回归地生成连续数据的潜在向量。
 * **高性能图像生成**：在图像生成任务中，与基于扩散或离散标记的模型相媲美。
 * **多模态大型语言模型集成**：集成到多模态大型语言模型中，提升语言模型在多模态任务
   中的表现。
 * **文本到语音合成**：在文本到语音合成领域，用更少的解码步骤实现优于现有最先进模型
   的性能。

## LatentLM的技术原理

 * **变分自编码器（VAE）**：用VAE将连续数据编码为潜在向量，向量随后被解码器重构为
   原始数据。
 * **下一个词扩散（Next-Token Diffusion）**：一种自回归生成潜在向量的方法，其中扩散
   头根据每个Transformer隐藏状态产生潜在向量。
 * **因果Transformer**：用因果Transformer处理离散和连续数据，支持模型自回归地预测
   序列中的下一个元素。
 * **σ-VAE**：为解决方差崩溃问题，LatentLM提出了σ-VAE，基于在潜在空间中保持固定方
   差提高模型在自回归建模中的鲁棒性。
 * **混合模态训练**：在训练中处理不同类型的数据，包括纯文本数据、图像-文本对数据
   和交错的图像-文本数据。
 * **高效的推理过程**：在推理时，基于Transformer主干的单次传递和轻量级扩散头的多次
   去噪步骤，实现高效的解码过程。

## LatentLM的项目地址

 * **GitHub仓库**：[https://github.com/microsoft/unilm/tree/master/LatentLM](https://github.com/microsoft/unilm/tree/master/LatentLM)
 * **arXiv技术论文**：[https://arxiv.org/pdf/2412.08635](https://arxiv.org/pdf/2412.08635)

## LatentLM的应用场景

 * **图像生成**：根据用户提供的文本描述自动创作出相应的图像，适用于广告设计和游戏
   开发中快速原型设计。
 * **智能客服**：在客户服务中，理解用户的自然语言查询，提供包含图像、文本和链接的
   多模态回答。
 * **语音助手**：将用户的语音指令转换成文字，提供语音回复，适用于智能家居控制和个人
   助理设备。
 * **自动字幕生成**：在视频内容中，实时生成与视频内容匹配的字幕，提高内容的可访问
   性。
 * **虚拟主播**：基于LatentLM生成的语音和图像，创建虚拟新闻主播或教学视频的虚拟讲师。

[🏛️ Prompt 语宙研究院](https://paooo.com/author/paooo-research/) · Prompt 语宙研究院（
paooo.com Research）专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示
词工程（Prompt Engineering）与全球高增长 AI 生产力工具实测追踪，致力于为中文开发
者与创作者提供一手、可复现的深度技术洞察。

[📄 Markdown 纯净版](https://paooo.com/aigc-news/24818/?format=md)

💡 这篇内容对您有启发吗？

[📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/)

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)