Prompt 语宙Prompt 语宙
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
阅读: DeepGEMM – DeepSeek 开源的 FP8 通用矩阵乘法库
Share
通知 阅读更多
Font Resizer字体
Font Resizer字体
Prompt 语宙Prompt 语宙
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
已有帐户? 登陆
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
DeepGEMM – DeepSeek 开源的 FP8 通用矩阵乘法库
Prompt 语宙 > AIGC 资讯 > DeepGEMM – DeepSeek 开源的 FP8 通用矩阵乘法库
AIGC 资讯

DeepGEMM – DeepSeek 开源的 FP8 通用矩阵乘法库

Prompt 语宙研究院
最近更新: 2026年6月8日 下午11:10
AI编程 DeepSeek PyTorch 开源大模型
SHARE
⚡ Prompt 语宙 AI 导读 · 30 秒核心看点
  • 专为 Hopper 张量核心打造,DeepGEMM 用 FP8 + 细粒度缩放兼顾速度与精度。
  • 支持普通 GEMM 与 MoE 分组 GEMM,覆盖 contiguous 和 masked 两类布局。
  • 核心代码约 300 行,JIT 运行时动态优化,部分场景最高可达 2.7 倍加速。

DeepGEMM是什么

DeepGEMM是DeepSeek开源的为高效简洁的FP8矩阵乘法(GEMM)设计的库,目前仅支持NVIDIA Hopper张量核心。DeepGEMM支持普通和混合专家(MoE)分组的GEMM操作,基于即时编译(JIT)技术,无需安装时编译,支持在运行时动态优化。DeepGEMM基于细粒度缩放和CUDA核心双级累加技术,解决FP8精度不足的问题,同时用Hopper的Tensor Memory Accelerator(TMA)特性提升数据传输效率。DeepGEMM核心代码仅约300行,易于学习和优化。DeepGEMM的轻量设计,在多种矩阵形状上均达到或超过专家级优化库。

阅读目录
  • DeepGEMM是什么
  • DeepGEMM的主要功能
  • DeepGEMM的项目地址
  • DeepGEMM的性能表现
  • DeepGEMM的系统要求
  • DeepGEMM的应用场景

DeepGEMM

DeepGEMM的主要功能

  • 高效FP8矩阵乘法(GEMM):DeepGEMM是专为FP8(8位浮点)矩阵乘法设计的高效库,支持细粒度缩放,显著提升矩阵运算的性能和精度。
  • 支持普通和分组GEMM:
    • 普通GEMM:适用于常规的矩阵乘法操作。
    • 分组GEMM:支持混合专家(MoE)模型中的分组矩阵乘法,包括连续布局(contiguous layout)和掩码布局(masked layout),优化多专家共享形状的场景。
  • 即时编译(JIT)设计:基于即时编译技术,所有内核在运行时动态编译,无需安装时编译。根据矩阵形状、块大小等参数进行优化,节省寄存器提升性能。
  • Hopper架构优化:专为NVIDIA Hopper架构设计,充分利用Tensor Memory Accelerator(TMA)特性,包括TMA加载、存储、多播和描述符预取,显著提升数据传输效率。
  • 细粒度缩放和双级累加:为解决FP8精度不足的问题,DeepGEMM引入细粒度缩放技术,基于CUDA核心的双级累加机制,将FP8计算结果提升到更高精度的格式(如BF16),确保计算精度。
  • 轻量级设计:核心代码简洁,仅约300行,易于理解和扩展。避免复杂模板或代数结构的依赖,降低学习和优化的难度。

DeepGEMM的项目地址

  • GitHub仓库:https://github.com/deepseek-ai/DeepGEMM

DeepGEMM的性能表现

  • 普通GEMM(非分组)性能
    • 最高加速比:在某些矩阵形状下,DeepGEMM能达到2.7倍的加速比,显著提升矩阵乘法的效率。
    • 计算性能:在大规模矩阵运算中,DeepGEMM能够实现超过1000 TFLOPS的计算性能,接近Hopper架构GPU的理论峰值。

DeepGEMM

  • 分组GEMM(MoE模型)性能
    • 加速比:在分组GEMM中,DeepGEMM能实现1.1-1.2倍的加速比,显著提升MoE模型的训练和推理效率。
    • 内存带宽优化:基于TMA特性,DeepGEMM在内存带宽利用上表现出色,达到接近硬件极限的性能。
      • 连续布局(Contiguous Layout)

DeepGEMM

      • 掩码布局(Masked Layout)

DeepGEMM

DeepGEMM的系统要求

  • 硬件要求:
    • GPU架构:必须支持NVIDIA Hopper架构,具体要求为支持sm_90a的GPU。推荐使用H800或H100等Hopper架构的GPU,专为FP8计算和Tensor Core优化设计。
    • CUDA兼容性:需要支持CUDA 12.3或更高版本,推荐使用CUDA 12.8或更高版本获得最佳性能。
  • 软件要求:
    • 操作系统推荐:使用Linux操作系统(如Ubuntu、CentOS等),因为CUDA和PyTorch在Linux上支持更好。
    • Python版本:Python 3.8或更高版本。
    • CUDA工具包:CUDA 12.3或更高版本。CUDA版本必须与GPU架构匹配,推荐使用12.8或更高版本以充分利用Hopper架构的特性。
    • PyTorch:PyTorch 2.1或更高版本。
    • CUTLASS库:CUTLASS 3.6或更高版本。
  • 其他要求:
    • 常规的编译工具(如gcc、make等)。
    • torch.utils.cpp_extension模块,用于CUDA扩展。

DeepGEMM的应用场景

  • 大规模AI模型推理:加速高维矩阵乘法,提升推理速度。
  • 混合专家(MoE)模型:优化分组矩阵乘法,提高计算效率。
  • 低精度计算:通过细粒度缩放解决FP8精度问题,保持高精度输出。
  • 高性能计算:基于Hopper架构特性,提升矩阵运算效率。
  • 深度学习框架优化:作为底层优化库,加速模型训练和推理。
🧭 文中关联 AI 工具官网与参数卡(语宙 AI 导航)
DeepSeek ↗
DeepSeek 是由幻方量化公司推出的 AI 智能助手和开源大模型平台。其核心功能包括提供世界级推理能力的 A
PyTorch ↗
PyTorch:开源的机器学习库,面向AI 开发平台场景提供便捷实用的在线功能支持,涵盖智能工具等实用方向。
❓ 常见问题解答(FAQ)
DeepGEMM 适合哪些 GPU?

DeepGEMM 目前仅支持 NVIDIA Hopper 架构,要求 sm_90a GPU。文中推荐 H800、H100 等机型,并建议配合 CUDA 12.3 及以上版本使用,以获得更好的兼容性和性能表现。

DeepGEMM 为什么能提升 FP8 精度?

它通过细粒度缩放和基于 CUDA 核心的双级累加机制,缓解 FP8 精度不足问题,并将结果提升到更高精度格式(如 BF16),在保持速度的同时尽量保证数值精度。

DeepGEMM 在 MoE 模型里有什么用?

DeepGEMM 支持分组 GEMM,适用于混合专家(MoE)模型中的矩阵乘法,覆盖连续布局和掩码布局,可提升训练与推理效率,文中给出的加速比约为 1.1-1.2 倍。

🔬 语宙深潜追问 · 进阶实操拆解
Hopper 上 FP8 调优最关键是什么?

最关键是让数据搬运和计算尽量重叠。优先利用 TMA 减少访存瓶颈,再通过细粒度缩放控制数值误差,最后用双级累加稳住精度。只要形状匹配,性能通常会非常接近峰值。

MoE 分组 GEMM 为什么更难优化?

因为不同专家的矩阵尺寸和负载不均,容易造成线程块空转。优化时要做分组调度和形状聚类,把相近尺寸的专家批量处理,减少碎片化开销,才能把吞吐拉上去。

🗳️ 读者观点微投票 · 您的实战立场是?
FP8 矩阵库优化该先追峰值还是通用性?
🕸️ 语宙向量知识图谱 · 语义强关联深度内链
🐋 所属权威专题:DeepSeek 深度实战与部署 →
  • DeepEP – DeepSeek 开源的专家并行通信库,专为 MoE 训练和推理设计
  • HPC-Ops – 腾讯混元开源的工业级高性能大模型推理算子库
  • 单集群日处理155万亿Token!DeepSeek重磅开源生产级推理框架DeepInfer:首创PD分离、3FS缓存命中率达96%与SWA常数重算架构全景实测深度拆解
  • FlashMLA – DeepSeek 开源的高效 MLA 解码内核,专为Hopper 架构 GPU 设计
🏛️ Prompt 语宙研究院 · Prompt 语宙研究院(paooo.com Research)专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示词工程(Prompt Engineering)与全球高增长 AI 生产力工具实测追踪,致力于为中文开发者与创作者提供一手、可复现的深度技术洞察。
📄 Markdown 纯净版
💡 这篇内容对您有启发吗?
📡 RSS 订阅✨ 提交 AI 工具 / 合作
🚀 Prompt 语宙 AI 创作者生态:探索 2,800+ 全球实用 AI 工具与高精度生图提示词咒语库
🧭 语宙 AI 导航 (ai.paooo.com)🎨 AI 生图 Prompt 库📚 核心专题导航⚡ AIGC 早报生成器
WorldMem – 南洋理工联合北大和上海 AI Lab 推出的世界生成模型
Universal-1 – AssemblyAI推出的多语种语音识别和转换模型
代行支付沦为黑客提款通道!美国银行罕见发布最高安全警报:严禁向AI智能体交托账户密码,透视Personal Agent代行风险与SRE零信任凭据防御全景指南
I2V3D – 香港城市大学联合微软推出的图像到视频生成框架
CWM:Meta开源代码世界模型,320亿参数AI如何革新软件开发?
TAGGED:AI编程DeepSeekPyTorch开源大模型
分享
Email 复制链接 打印
Share
Prompt 语宙研究院 头像
ByPrompt 语宙研究院
Follow:
Prompt 语宙研究院(paooo.com Research)专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示词工程(Prompt Engineering)与全球高增长 AI 生产力工具实测追踪,致力于为中文开发者与创作者提供一手、可复现的深度技术洞察。
上一篇 VersaGen – 实现文本到图像合成中视觉控制能力的生成式 AI 代理 VersaGen – 实现文本到图像合成中视觉控制能力的生成式 AI 代理
下一篇 Vibe Draw – AI 3D建模工具,涂鸦草图一键转为3D模型 Vibe Draw – AI 3D建模工具,涂鸦草图一键转为3D模型
Ad image
Ad image

最近更新

花旗银行、摩根大通与美国银行等多家大型商业银行收紧服务条款,明确用户授权第三方 AI 智能体受损需自行担责
哪怕被黑客盗刷也不赔!花旗、摩根大通与美银等五大银行集体改写条款:使用第三方AI智能体风险由客户全权自担,生态入口博弈全面打响
AIGC 资讯
LangSmith for Coding Agents 代码智能体按 PR 结果核算成本与 ROI 官方封面图
340亿美元编码AI开销如何算清账?LangSmith上线代码智能体ROI追踪:按PR结果归因成本、五大工具全统一与线程上下文通胀治理指南
最新趋势
Axiom Math 利用 AI 多智能体集群完成 1.5 万页有限单群分类定理(CFSG)与 7500 页 Stacks 项目数学形式化验证的可视化点阵图
4300万行代码堪比Linux内核!Axiom Math用AI智能体攻克1.5万页“庞大定理”与Stacks项目形式化验证:百个里程碑与分层多智能体架构全拆解
最新趋势
印度具身智能数据初创公司 Humyn Labs 联合创始人 Ishank Gupta(左)与 Manish Agarwal(右)
半年营收破千万且90%来自美国!印度物理AI数据创企Humyn Labs获4700万美元A轮:双摄硬件、2100万债权垫资与20国采集网全拆解
AIGC 资讯

相关推荐

阿里通义EAPO框架:30B小模型反超120B闭源大模型的强化学习突破,ACL 2026论文详解
AI 工具AIGC 资讯

阿里通义EAPO框架:30B小模型反超120B闭源大模型的强化学习突破,ACL 2026论文详解

Prompt 语宙研究院
EAPO 大模型 强化学习 长文本推理 阿里通义
Mistral AI开源Leanstral:120B参数仅$18,重新定义AI代码智能体与形式化证明
AI 工具AIGC 资讯

Mistral AI开源Leanstral:120B参数仅$18,重新定义AI代码智能体与形式化证明

Prompt 语宙研究院
AI代码智能体 Mistral AI MoE架构 开源大模型 形式化验证
秒哒3. 5 全球首发iOS无代码打包与多端共享后端,百度要把应用开发门槛再砍一刀
AIGC 资讯

秒哒3. 5 全球首发iOS无代码打包与多端共享后端,百度要把应用开发门槛再砍一刀

Prompt 语宙研究院
AI办公效率 AI智能体 AI编程 开源大模型
Surya – 开源的OCR工具包,支持90+语言、布局分析等识别
AIGC 资讯

Surya – 开源的OCR工具包,支持90+语言、布局分析等识别

Prompt 语宙研究院
AI办公效率 RAG检索增强 开源大模型
/ Prompt 语宙 /

探索生成式 AI 的无限创作潜能,一站式获取前沿 AIGC 资讯、高阶 Prompt 咒语与全球实用 AI 工具。

核心专栏

  • 语宙 AI 工具导航
  • EVA 视觉抠图工坊Hot
  • 出海数字营销宝典
  • AI 生图咒语灵感库
  • 24H 硅谷 AI 情报流

生态与服务

  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作

标签

开源大模型 AI智能体 AI办公效率 AI绘画提示词 OpenAI 大模型微调 Midjourney AI编程 stable diffusion AI视频生成 ChatGPT 3D与空间智能 HuggingFace AI音频与语音 RAG检索增强 Claude Flux AIGC Gemini 通义千问 Anthropic Llama Cursor DeepSeek Prompt AI Agent Kimi 智谱AI 具身智能 YouTube
Prompt 语宙Prompt 语宙
Follow US
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.