# DeepGEMM – DeepSeek 开源的 FP8 通用矩阵乘法库

- Link: https://paooo.com/aigc-news/21550/
- Published: 2026-06-08T23:10:13+08:00
- Author: Prompt 语宙研究院

⚡ [Prompt](https://paooo.com/ai-image-prompts/) 语宙 AI 导读 · 30 秒核心看点

 * 专为 Hopper 张量核心打造，DeepGEMM 用 FP8 + 细粒度缩放兼顾速度与精度。
 * 支持普通 GEMM 与 MoE 分组 GEMM，覆盖 contiguous 和 masked 两类布局。
 * 核心代码约 300 行，JIT 运行时动态优化，部分场景最高可达 2.7 倍加速。

## DeepGEMM是什么

DeepGEMM是[DeepSeek](https://paooo.com/?s=DeepSeek)开源的为高效简洁的FP8矩阵乘法（
GEMM）设计的库，目前仅支持NVIDIA Hopper张量核心。DeepGEMM支持普通和混合专家（MoE）
分组的GEMM操作，基于即时编译（JIT）技术，无需安装时编译，支持在运行时动态优化。DeepGEMM
基于细粒度缩放和CUDA核心双级累加技术，解决FP8精度不足的问题，同时用Hopper的Tensor
Memory Accelerator（TMA）特性提升数据传输效率。DeepGEMM核心代码仅约300行，易于学习
和优化。DeepGEMM的轻量设计，在多种矩阵形状上均达到或超过专家级优化库。

阅读目录

 * [DeepGEMM是什么](https://paooo.com/aigc-news/21550/#deepgemm%e6%98%af%e4%bb%80%e4%b9%88)
 * [DeepGEMM的主要功能](https://paooo.com/aigc-news/21550/#deepgemm%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd)
 * [DeepGEMM的项目地址](https://paooo.com/aigc-news/21550/#deepgemm%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80)
 * [DeepGEMM的性能表现](https://paooo.com/aigc-news/21550/#deepgemm%e7%9a%84%e6%80%a7%e8%83%bd%e8%a1%a8%e7%8e%b0)
 * [DeepGEMM的系统要求](https://paooo.com/aigc-news/21550/#deepgemm%e7%9a%84%e7%b3%bb%e7%bb%9f%e8%a6%81%e6%b1%82)
 * [DeepGEMM的应用场景](https://paooo.com/aigc-news/21550/#deepgemm%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af)

![DeepGEMM](https://paooo.com/wp-content/uploads/2026/06/DeepGEMM-website22-1.avif)

## DeepGEMM的主要功能

 * **高效FP8矩阵乘法（GEMM**）：DeepGEMM是专为FP8（8位浮点）矩阵乘法设计的高效库，
   支持细粒度缩放，显著提升矩阵运算的性能和精度。
 * **支持普通和分组GEMM**：
    - **普通GEMM**：适用于常规的矩阵乘法操作。
    - **分组GEMM**：支持混合专家（MoE）模型中的分组矩阵乘法，包括连续布局（contiguous
      layout）和掩码布局（masked layout），优化多专家共享形状的场景。
 * **即时编译（JIT）设计**：基于即时编译技术，所有内核在运行时动态编译，无需安装
   时编译。根据矩阵形状、块大小等参数进行优化，节省寄存器提升性能。
 * **Hopper架构优化**：专为NVIDIA Hopper架构设计，充分利用Tensor Memory Accelerator（
   TMA）特性，包括TMA加载、存储、多播和描述符预取，显著提升数据传输效率。
 * **细粒度缩放和双级累加**：为解决FP8精度不足的问题，DeepGEMM引入细粒度缩放技术，
   基于CUDA核心的双级累加机制，将FP8计算结果提升到更高精度的格式（如BF16），确保
   计算精度。
 * **轻量级设计**：核心代码简洁，仅约300行，易于理解和扩展。避免复杂模板或代数结构
   的依赖，降低学习和优化的难度。

## DeepGEMM的项目地址

 * **GitHub仓库**：[https://github.com/deepseek-ai/DeepGEMM](https://github.com/deepseek-ai/DeepGEMM)

## DeepGEMM的性能表现

 * **普通GEMM（非分组）性能**
    - **最高加速比**：在某些矩阵形状下，DeepGEMM能达到2.7倍的加速比，显著提升矩阵
      乘法的效率。
    - **计算性能**：在大规模矩阵运算中，DeepGEMM能够实现超过1000 TFLOPS的计算性能，
      接近Hopper架构GPU的理论峰值。

![DeepGEMM](https://paooo.com/wp-content/uploads/2026/06/DeepGEMM-website11.avif)

 * **分组GEMM（MoE模型）性能**
    - **加速比**：在分组GEMM中，DeepGEMM能实现1.1-1.2倍的加速比，显著提升MoE模型
      的训练和推理效率。
    - **内存带宽优化**：基于TMA特性，DeepGEMM在内存带宽利用上表现出色，达到接近硬件
      极限的性能。
       * **连续布局（Contiguous Layout）**

![DeepGEMM](https://paooo.com/wp-content/uploads/2026/06/DeepGEMM-website12.avif)

       * **掩码布局（Masked Layout）**

![DeepGEMM](https://paooo.com/wp-content/uploads/2026/06/DeepGEMM-website13.avif)

## DeepGEMM的系统要求

 * **硬件要求**：
    - **GPU架构**：必须支持NVIDIA Hopper架构，具体要求为支持sm_90a的GPU。推荐使用
      H800或H100等Hopper架构的GPU，专为FP8计算和Tensor Core优化设计。
    - **CUDA兼容性**：需要支持CUDA 12.3或更高版本，推荐使用CUDA 12.8或更高版本获得
      最佳性能。
 * **软件要求**：
    - **操作系统推荐**：使用Linux操作系统（如Ubuntu、CentOS等），因为CUDA和PyTorch
      在Linux上支持更好。
    - **Python版本**：Python 3.8或更高版本。
    - **CUDA工具包**：CUDA 12.3或更高版本。CUDA版本必须与GPU架构匹配，推荐使用12.8
      或更高版本以充分利用Hopper架构的特性。
    - **PyTorch**：PyTorch 2.1或更高版本。
    - **CUTLASS库**：CUTLASS 3.6或更高版本。
 * **其他要求**：
    - 常规的编译工具（如gcc、make等）。
    - torch.utils.cpp_extension模块，用于CUDA扩展。

## DeepGEMM的应用场景

 * **大规模AI模型推理**：加速高维矩阵乘法，提升推理速度。
 * **混合专家（MoE）模型**：优化分组矩阵乘法，提高计算效率。
 * **低精度计算：**通过细粒度缩放解决FP8精度问题，保持高精度输出。
 * **高性能计算**：基于Hopper架构特性，提升矩阵运算效率。
 * **深度学习框架优化**：作为底层优化库，加速模型训练和推理。

🧭 文中关联 [AI 工具](https://ai.paooo.com/)官网与参数卡（语宙 AI 导航）

**DeepSeek ↗**

DeepSeek 是由幻方量化公司推出的 AI 智能助手和开源大模型平台。其核心功能包括提供世界
级推理能力的 A

**PyTorch ↗**

PyTorch：开源的机器学习库，面向AI 开发平台场景提供便捷实用的在线功能支持，涵盖智能
工具等实用方向。

❓ 常见问题解答（FAQ）

DeepGEMM 适合哪些 GPU？

DeepGEMM 目前仅支持 NVIDIA Hopper 架构，要求 sm_90a GPU。文中推荐 H800、H100 等机
型，并建议配合 CUDA 12.3 及以上版本使用，以获得更好的兼容性和性能表现。

DeepGEMM 为什么能提升 FP8 精度？

它通过细粒度缩放和基于 CUDA 核心的双级累加机制，缓解 FP8 精度不足问题，并将结果提升到
更高精度格式（如 BF16），在保持速度的同时尽量保证数值精度。

DeepGEMM 在 MoE 模型里有什么用？

DeepGEMM 支持分组 GEMM，适用于混合专家（MoE）模型中的矩阵乘法，覆盖连续布局和掩码
布局，可提升训练与推理效率，文中给出的加速比约为 1.1-1.2 倍。

🔬 语宙深潜追问 · 进阶实操拆解

Hopper 上 FP8 调优最关键是什么？

最关键是让数据搬运和计算尽量重叠。优先利用 TMA 减少访存瓶颈，再通过细粒度缩放控制
数值误差，最后用双级累加稳住精度。只要形状匹配，性能通常会非常接近峰值。

MoE 分组 GEMM 为什么更难优化？

因为不同专家的矩阵尺寸和负载不均，容易造成线程块空转。优化时要做分组调度和形状聚
类，把相近尺寸的专家批量处理，减少碎片化开销，才能把吞吐拉上去。

🗳️ 读者观点微投票 · 您的实战立场是？

FP8 矩阵库优化该先追峰值还是通用性？

🕸️ 语宙向量知识图谱 · 语义强关联深度内链

[🐋 所属权威专题：DeepSeek 深度实战与部署 →](https://paooo.com/topics/deepseek/)

 * [DeepEP – DeepSeek 开源的专家并行通信库，专为 MoE 训练和推理设计](https://paooo.com/aigc-news/21587/)
 * [HPC-Ops – 腾讯混元开源的工业级高性能大模型推理算子库](https://paooo.com/aigc-news/24372/)
 * [单集群日处理155万亿Token！DeepSeek重磅开源生产级推理框架DeepInfer：首创PD分离、3FS缓存命中率达96%与SWA常数重算架构全景实测深度拆解](https://paooo.com/ai-tool/40593/)
 * [FlashMLA – DeepSeek 开源的高效 MLA 解码内核，专为Hopper 架构 GPU 设计](https://paooo.com/aigc-news/21656/)

[🏛️ Prompt 语宙研究院](https://paooo.com/author/paooo-research/) · Prompt 语宙研究院（
paooo.com Research）专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示
词工程（Prompt Engineering）与全球高增长 AI 生产力工具实测追踪，致力于为中文开发
者与创作者提供一手、可复现的深度技术洞察。

[📄 Markdown 纯净版](https://paooo.com/aigc-news/21550/?format=md)

💡 这篇内容对您有启发吗？

[📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/)

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)
