# LanDiff – 浙大联合月之暗面推出的文本到视频生成混合框架

- Link: https://paooo.com/aigc-news/21176/
- Published: 2026-06-08T16:30:50+08:00
- Author: Prompt 语宙研究院

⚡ [Prompt](https://paooo.com/ai-image-prompts/) 语宙 AI 导读 · 30 秒核心看点

 * 融合LLM与扩散模型，先生成语义标记再细化成视频，兼顾语义理解与视觉质量。
 * 在VBench T2V基准测试中取得85.43分，表现超过包括13B Hunyuan Video在内的多款模型。
 * 支持帧数、运动分数等控制条件，适合视频制作、VR/AR、教育视频与社媒内容生成。

## LanDiff是什么

LanDiff是用于高质量的[文本到视频](https://ai-bot.cn/ai-text-to-video-tools/)（T2V）
生成的创新混合框架，结合了自回归语言模型（LLM）和扩散模型（Diffusion Model）的优势，
通过粗到细的生成方式，有效克服了单一方法在语义理解和视觉质量上的局限性。在VBench
T2V基准测试中取得了85.43的高分，超越了包括13B的Hunyuan Video在内的多个开源和商业
模型。

阅读目录

 * [LanDiff是什么](https://paooo.com/aigc-news/21176/#landiff%e6%98%af%e4%bb%80%e4%b9%88)
 * [LanDiff的主要功能](https://paooo.com/aigc-news/21176/#landiff%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd)
 * [LanDiff的技术原理](https://paooo.com/aigc-news/21176/#landiff%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86)
 * [LanDiff的项目地址](https://paooo.com/aigc-news/21176/#landiff%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80)
 * [LanDiff的应用场景](https://paooo.com/aigc-news/21176/#landiff%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af)

![LanDiff](https://paooo.com/wp-content/uploads/2026/06/LanDiff-website-1.avif)

## LanDiff的主要功能

 * **高效语义压缩**：通过语义标记器将3D视觉特征压缩为1D离散表示，压缩比高达14,000
   倍，保留丰富语义信息。
 * **高质量视频生成**：基于流式扩散模型，将语义标记细化为高保真视频，支持长视频生成，
   降低计算成本。
 * **语义一致性和因果建模**：依靠语言模型的自回归生成，确保视频与文本高度一致且时间
   连贯，避免传统扩散模型的时间不连贯问题。
 * **灵活控制与定制**：支持帧数、运动分数等控制条件，可生成特定长度和动态特性的视频，
   平衡高质量视觉效果与语义准确性。
 * **高效计算与优化**：采用视频帧分组技术减少时间冗余，使用高效的Transformer结构
   和注意力机制，降低计算资源消耗。

## LanDiff的技术原理

 * **粗到细的生成范式**：LanDiff采用两阶段生成过程：
    - **第一阶段（粗粒度生成）**：基于语言模型（LLM）生成语义标记，这些标记代表视频
      的高级语义结构，为后续的视频生成提供蓝图。
    - **第二阶段（细粒度生成）**：通过扩散模型将这些语义标记细化为高保真视频，逐步
      添加细节，最终生成高质量的视频。
 * **语义标记器**：将3D视觉特征压缩为紧凑的1D离散表示，压缩比高达14,000倍。受MP4
   视频编码算法启发，将视频帧分为关键帧（IFrame）和非关键帧（PFrame），关键帧进行
   完整编码，非关键帧仅捕获时间变化，显著减少时间冗余。
 * **语言模型**：使用预训练的T5-XXL模型提取文本特征，并将视频转换为1D离散标记序列。
   引入额外的控制条件（如帧数和运动分数），增强生成结果的可控性。通过自回归方式生成
   语义标记，确保生成内容的语义一致性和时间连贯性。
 * **流式扩散模型**：采用与MMDiT类似的架构，通过视频标记器解码器将语义标记解码为
   语义特征，然后作为条件指导扩散模型生成视频。

## LanDiff的项目地址

 * **项目官网**：[https://landiff.github.io/](https://landiff.github.io/?utm_source=ai-bot.cn)
 * **arXiv技术论文**：[https://arxiv.org/pdf/2503.04606](https://arxiv.org/pdf/2503.04606)

## LanDiff的应用场景

 * **视频制作**：LanDiff可以快速生成高质量的视频内容，帮助视频创作者、广告公司和
   媒体机构高效地制作视频广告、短片、动画等。
 * **虚拟现实（VR）和增强现实（AR）**：生成虚拟场景和角色动画，丰富VR和AR应用的内容
   生态。
 * **教育视频**：根据教学大纲或知识点描述，生成教育视频，帮助学生更直观地理解复杂
   概念。
 * **社交媒体内容**：为社交媒体平台生成个性化、吸引人的视频内容，提升品牌影响力和
   用户参与度。

❓ 常见问题解答（FAQ）

LanDiff是什么类型的文本到视频模型？

LanDiff是一个用于高质量文本到视频生成的混合框架，核心思路是把自回归语言模型和扩散
模型结合起来，先生成语义标记，再逐步细化为高保真视频，从而同时提升语义一致性和画面
质量。

LanDiff为什么比单一扩散模型更有优势？

它通过LLM负责粗粒度语义建模，扩散模型负责细节还原，能缓解传统扩散模型在长时序连贯性
和文本对齐上的不足，同时降低语义理解与视觉生成之间的冲突。

LanDiff适合哪些实际应用场景？

LanDiff适合视频制作、广告短片、动画生成、VR/AR场景构建、教育视频制作以及社交媒体
内容生产等场景，尤其适合需要兼顾可控性、连贯性和高画质的内容生成任务。

🔬 语宙深潜追问 · 进阶实操拆解

粗到细生成为什么更适合长视频？

因为长视频最怕前后失控，粗到细能先定语义骨架，再逐步补充细节和运动信息。这样更容易
保持全局一致性，也方便在中间阶段做人工干预和局部修正。

LLM+扩散框架的优势在哪？

LLM 负责理解指令、规划镜头和组织语义，扩散模型负责画面细节和视觉质量。两者结合后，
通常能同时提升可控性、长程一致性和生成质量，尤其适合复杂 prompt。

🗳️ 读者观点微投票 · 您的实战立场是？

文本到视频，粗到细路线更靠谱吗？

🕸️ 语宙向量知识图谱 · 语义强关联深度内链

[🔓 所属权威专题：开源大模型与端侧推理 →](https://paooo.com/topics/open-source-llm/)

 * [AnimateDiff-Lightning – 字节推出的快速生成高质量视频的模型](https://paooo.com/aigc-news/28071/)
 * [Lumina-Video – 上海 AI Lab 和港中文推出的视频生成框架](https://paooo.com/aigc-news/22265/)
 * [打破视频生成步数与画质悖论！港中文联合字节跳动重磅开源 DuoMatching：双重分布匹配、1075万参数 LatentBridge 与 2 步极速生成深度架构拆解](https://paooo.com/ai-tool/40397/)
 * [Wan2.1 – 阿里开源的AI视频生成大模型](https://paooo.com/aigc-news/21561/)

[🏛️ Prompt 语宙研究院](https://paooo.com/author/paooo-research/) · Prompt 语宙研究院（
paooo.com Research）专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示
词工程（Prompt Engineering）与全球高增长 AI 生产力工具实测追踪，致力于为中文开发
者与创作者提供一手、可复现的深度技术洞察。

[📄 Markdown 纯净版](https://paooo.com/aigc-news/21176/?format=md)

💡 这篇内容对您有启发吗？

[📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/)

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)
