# Mooncake – 月之暗面Kimi联合清华等机构推出的大模型推理架构

- Link: https://paooo.com/aigc-news/25239/
- Published: 2026-07-12T18:18:29+08:00
- Author: Prompt 语宙研究院

⚡ [Prompt](https://paooo.com/ai-image-prompts/) 语宙 AI 导读 · 30 秒核心看点

 * 以 KVCache 为中心的分布式推理架构，显著提升长上下文场景吞吐量。
 * 通过 Prefill/Decode 分离、RDMA 传输和缓存感知调度，降低 GPU 压力与推理成本。
 * 支持过载早期拒绝与热点迁移，在高负载下兼顾 SLO 与资源利用率。

## Mooncake是什么

Mooncake是月之暗面**[Kimi](https://ai-bot.cn/sites/5355.html)**联合清华大学等机构
共同开源的[大模型](https://paooo.com/ai-study/)推理架构。采用以KVCache为中心的分布
式架构，通过分离预填充和解码集群，充分利用GPU集群中未充分利用的CPU、DRAM和SSD资源，
实现高效的KVCache缓存。Mooncake的核心优势在于能显著提升大模型推理的吞吐量，降低算
力开销，在保持服务延迟相关的服务级别目标（SLO）的同时，处理高负载场景。架构在长上下文
场景中表现出色，能显著提高吞吐量，同时支持基于预测的早期拒绝策略，优化过载情况下
的资源分配。Mooncake项目在Github上开源，推动大模型技术的高效推理平台发展。

阅读目录

 * [Mooncake是什么](https://paooo.com/aigc-news/25239/#mooncake%e6%98%af%e4%bb%80%e4%b9%88)
 * [Mooncake的主要功能](https://paooo.com/aigc-news/25239/#mooncake%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd)
 * [Mooncake的技术原理](https://paooo.com/aigc-news/25239/#mooncake%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86)
 * [Mooncake的项目地址](https://paooo.com/aigc-news/25239/#mooncake%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80)
 * [Mooncake的应用场景](https://paooo.com/aigc-news/25239/#mooncake%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af)

![Mooncake – 月之暗面Kimi联合清华等机构推出的大模型推理架构 - 配图](https://paooo.
com/wp-content/uploads/2026/07/Mooncake-website-1.avif)

## Mooncake的主要功能

 * **高效的大模型推理**：Mooncake通过其分布式架构，优化了大模型的推理过程，特别是在
   处理长上下文数据时，能显著提升推理吞吐量。
 * **KVCache中心化设计**：以KVCache为中心，Mooncake实现了高效的数据缓存和重用，减少
   了对GPU资源的依赖，降低了算力开销。
 * **预填充与解码分离**：架构将预填充（Prefill）和解码（Decode）阶段分开处理，资源
   可以针对不同阶段的计算特性进行优化。
 * **资源优化**：通过分离式设计，Mooncake能更有效地利用CPU、DRAM和SSD资源，提高了
   资源利用率。
 * **负载均衡**：Mooncake实现了基于缓存负载的均衡策略，通过自动热点迁移方案，提升
   了缓存命中率和系统负载的均衡。
 * **过载管理**：面对高负载情况，Mooncake采用基于预测的早期拒绝策略，优化资源分配
   并减少无效计算。
 * **高性能传输**：基于RDMA技术，Mooncake实现了跨节点的高速KVCache传输，降低了延迟。
 * **标准化接口**：Mooncake为大模型时代打造新型高性能内存语义存储的标准接口，提供
   参考实现方案。
 * **成本降低**：通过优化推理过程和资源利用，Mooncake有助于降低大模型推理的成本，
   AI技术更加经济高效。

## Mooncake的技术原理

 * **分布式架构**：利用GPU集群中的CPU、DRAM和SSD资源，实现KVCache的分布式存储和传输，
   提高了缓存容量和传输带宽，降低了对单一GPU资源的依赖。
 * **全局调度器（Conductor）**：负责根据当前KVCache分布和工作负载情况调度请求，以及
   决定KVCache块的复制或交换，优化整体吞吐量和满足服务级别目标（SLO）。
 * **分块流水线并行（Chunked Pipeline Parallelism）**：对于长上下文请求，将输入标记
   分成多个块，并在不同的节点上并行处理，以减少延迟。
 * **Layer-wise预填充**：异步加载和存储KVCache，通过重叠传输和计算，减少VRAM占用。
 * **缓存感知调度**：Mooncake的调度算法考虑了KVCache的重用、预填充时间和实例负载
   的排队时间，以实现高效的请求调度。

## Mooncake的项目地址

 * **Github仓库**：[https://github.com/kvcache-ai/Mooncake](https://github.com/kvcache-ai/Mooncake)
 * **arXiv技术论文**：[https://arxiv.org/pdf/2407.00079](https://arxiv.org/pdf/2407.00079)

## Mooncake的应用场景

 * **自然语言处理（NLP）**：Mooncake可以用于支持各种NLP任务，如语言翻译、文本摘要、
   情感分析、问答系统和聊天机器人等。
 * **内容推荐系统**：在推荐系统中，Mooncake可以用于处理用户行为数据和内容特征，提供
   个性化的推荐。
 * **搜索引擎**：Mooncake可以用于改进搜索引擎的查询理解和文档排名，通过理解复杂的
   查询意图和文档内容，提供更准确的搜索结果。
 * **语音识别和生成**：在语音识别领域，Mooncake可以用于提高语音到文本的转换准确性；
   在语音生成领域，可以生成更自然和流畅的语音输出。
 * **图像和视频分析**：高效的推理能力也可以辅助图像和视频分析任务，如图像标注、视频
   内容理解等。
 * **智能客服和虚拟助手**：Mooncake可以提供强大的后端支持，智能客服和虚拟助手能处理
   复杂的对话和任务。

🧭 文中关联 [AI 工具](https://ai.paooo.com/)官网与参数卡（语宙 AI 导航）

**Kimi ↗**

Kimi：曾经很火的国产AI，面向AI 综合应用场景提供便捷实用的在线功能支持。

❓ 常见问题解答（FAQ）

Mooncake 主要解决什么推理问题？

Mooncake 主要解决大模型推理中 KVCache 占用高、长上下文吞吐低、GPU 资源利用不充分
的问题。它通过分布式缓存与调度，把 CPU、DRAM、SSD 也纳入推理链路，提升整体效率。

Mooncake 为什么适合长上下文场景？

因为它将长上下文请求拆分为多个块并行处理，同时支持 KVCache 的高效复用与跨节点传输，
能在保持延迟目标的前提下提升吞吐量，尤其适合长文本输入和高并发请求。

Mooncake 是开源项目吗，在哪里看论文？

是的，Mooncake 已在 GitHub 开源，项目地址为 https://github.com/kvcache-ai/Mooncake；
对应技术论文可在 arXiv 查看，链接为 https://arxiv.org/pdf/2407.00079。

🔬 语宙深潜追问 · 进阶实操拆解

Prefill/Decode 分离适合哪些场景？

最适合长上下文、高并发、请求形态差异大的推理服务。Prefill 负责重计算，Decode 负责
逐 token 生成，分离后更容易做资源池化和弹性调度，但对缓存一致性和调度策略要求更高。

SSD 参与 KV 存储会拖慢吗？

会有延迟代价，但在超长上下文和峰值负载下，SSD 能显著扩展容量并降低内存压力。关键
是做分层缓存：热数据留在 GPU/DRAM，冷数据下沉 SSD，并通过预取和批量调度掩盖 I/O 
开销。

🗳️ 读者观点微投票 · 您的实战立场是？

长上下文推理该押注KV缓存架构吗？

🕸️ 语宙向量知识图谱 · 语义强关联深度内链

[🏮 所属权威专题：国产大模型选型与资费对比 →](https://paooo.com/topics/domestic-llm-ecosystem/)

 * [京东开源xLLM：国产芯片AI推理框架，服务-引擎分离架构实现端云一体高效部署](https://paooo.com/aigc-news/13350/)
 * [KTransformers – 清华开源的大语言模型推理优化框架](https://paooo.com/aigc-news/21957/)
 * [DeepSpeed-MII深度解析：微软开源高性能大模型推理库，3.7万模型一键部署](https://paooo.com/aigc-news/11794/)
 * [把大模型推理成本打穿！DeepSeek 全面开源内部推理引擎 DeepInfer：集成分布式推测解码与华为昇腾原生适配，揭秘超大规模集群降本关键层](https://paooo.com/aigc-news/40220/)

[🏛️ Prompt 语宙研究院](https://paooo.com/author/paooo-research/) · Prompt 语宙研究院（
paooo.com Research）专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示
词工程（Prompt Engineering）与全球高增长 AI 生产力工具实测追踪，致力于为中文开发
者与创作者提供一手、可复现的深度技术洞察。

[📄 Markdown 纯净版](https://paooo.com/aigc-news/25239/?format=md)

💡 这篇内容对您有启发吗？

[📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/)

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)