Prompt 语宙Prompt 语宙
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
阅读: 令人难以置信!用这项新技术在仅有 4GB GPU 的设备上运行 70B 大语言模型推理 [译]
Share
通知 阅读更多
Font Resizer字体
Font Resizer字体
Prompt 语宙Prompt 语宙
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
已有帐户? 登陆
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
令人难以置信!用这项新技术在仅有 4GB GPU 的设备上运行 70B 大语言模型推理 [译]
Prompt 语宙 > 强化 AI 学习 > 令人难以置信!用这项新技术在仅有 4GB GPU 的设备上运行 70B 大语言模型推理 [译]
强化 AI 学习

令人难以置信!用这项新技术在仅有 4GB GPU 的设备上运行 70B 大语言模型推理 [译]

宝玉的分享
最近更新: 2026年7月22日 下午1:28
AI编程 HuggingFace Llama 开源大模型
SHARE
⚡ Prompt 语宙 AI 导读 · 30 秒核心看点
  • 核心突破是分层推理:只加载当前 Transformer 层,显存需求从整模 130GB 降到约 1.6GB/层。
  • KV 缓存也被精细控制,输入长度为 100 时约占 30MB,整体推理峰值显存不超过 4GB。
  • AirLLM 提供开源落地方案,几行代码即可加载 70B 模型并完成推理,适合低显存设备实验。
from accelerate import init_empty_weights
with init_empty_weights():
my_model = ModelClass(...)
pip install airllm
from airllm import AirLLMLlama2
MAX_LENGTH =128
# 我们可以使用 hugging face 提供的模型仓库 id 来加载模型:
model = AirLLMLlama2("garage-bAInd/Platypus2-70B-instruct")
# 或者直接使用本地路径加载模型...
#model = AirLLMLlama2("/home/ubuntu/.cache/huggingface/hub/models--garage-bAInd--Platypus2-70B-instruct/snapshots/b585e74bcaae02e52665d9ac6d23f4d0dbc81a0f")
input_text =[
'美国的首都是哪里?',
]
input_tokens = model.tokenizer(input_text,
返回张量="pt",
不返回注意力掩码=True,
截断=True,
最大长度=MAX_LENGTH,
填充=True)
generation_output = model.generate(
input_tokens['input_ids'].cuda(),
最大新增令牌=20,
使用缓存=True,
返回生成字典=True)
output = model.tokenizer.decode(generation_output.sequences[0])
print(output)

Gavin Li,11 月 18 日

通常,大语言模型需要大量的 GPU 内存才能运行。但是,有没有可能仅用单个 GPU 来进行推理计算呢?如果可以,最少需要多少 GPU 内存呢?

比如说,一个拥有 70B 参数的大语言模型,其大小达到了惊人的 130GB。光是要把这个模型加载到 GPU 上,就需要两个各有 100GB 内存的 A100 GPU。

而在实际进行推理计算时,整个输入序列还需要被加载进内存中,以便进行复杂的“注意力”运算。而这种注意力机制对内存的需求是随着输入长度成二次方增长的。这意味着除了本来的 130GB 模型大小之外,还需要更多额外的内存。

那么,有什么技术可以在仅有 4GB GPU 内存的情况下,节约如此巨大的内存需求,实现推理计算呢?

值得注意的是,这里所说的内存优化技术并不涉及任何可能损害模型性能的模型压缩手段,比如量化、蒸馏或剪枝等。

今天我们将为您揭秘这些用于大型模型的极端内存优化的关键技术。

文章的最后,我们还将分享一个开源库,您可以通过简单几行代码就能实现这一切!

01

分层推理技术

其中最关键的技术是分层推理。这实际上是计算机科学中经典的分而治之策略。

让我们先来看看大语言模型的架构。如今的大语言模型都是基于谷歌在“Attention is all you need”一文中提出的多头自我注意力结构,这就是后来大家熟知的 Transformer 结构。

令人难以置信!用这项新技术在仅有 4GB GPU 的设备上运行 70B 大语言模型推理 [译]

一个典型的大语言模型,其起始是一个嵌入投影层,接着是 80 个结构完全一致的 Transformer 层,最后是一个用于预测 Token ID 概率的规范化层和全连接层。

在推理过程中,这些层会依序执行,每一层的输出都会成为下一层的输入。在任何时刻,只有一个层在执行。

因此,实际上没有必要把所有层都保留在 GPU 内存中。我们可以根据需要从磁盘加载相应的层进行计算,并在计算完成后立即释放内存。

在这种情况下,每层 GPU 所需的内存仅约为一个 Transformer 层的参数大小,大约占整个模型的 1/80,大约为 1.6GB。

除此之外,GPU 内存中还存储了一些输出缓存,其中最大的是为了避免重复计算而设的 KV 缓存。

以 70B 模型为例,我们简单算一下这个 KV 缓存的大小:

2 * 输入长度 * 层数 * 头数 * 向量维度 * 4

假设输入长度为 100,这个缓存的大小就是 2 * 100 * 80 * 8 * 128 * 4,也就是 30MB 的 GPU 内存。

根据我们的监测数据显示,整个推理过程中 GPU 内存的使用量不超过 4GB!

02

单层优化 — 闪电注意力(Flash Attention)

在当今大语言模型的发展中,闪电注意力技术可谓是一项至关重要且关键的优化手段。

市面上的各种大语言模型基本上都是基于相同的底层代码构建的,而闪电注意力则是其中最显著的提升。

闪电注意力的概念虽不全新,但我们不得不提及另一篇研究论文《自我注意力不需要 O(n²) 的内存》。

传统的自我注意力机制需要 O(n²) 的内存(其中 n 是序列长度)。

而这篇论文则提出,我们实际上不需要保留这些 O(n²) 的中间结果。我们可以顺序计算这些结果,持续更新一个中间结果,并丢弃其余所有。这样做将内存复杂度降至 O(logn)。

闪电注意力在本质上与此相似,尽管其内存复杂度略高,为 O(n),但 它通过深度优化 cuda 内存访问,大幅提升了推理和训练的速度。

令人难以置信!用这项新技术在仅有 4GB GPU 的设备上运行 70B 大语言模型推理 [译]

如图所示,传统的自我注意力会计算并存储 O(n²) 的中间结果。而闪电注意力则将这一过程划分为多个小块,逐块计算,从而将所需内存减少到一个块的大小。

03

模型文件分片处理

一般来说,原始的模型文件会被分成多个部分,每部分大约为 10GB。

我们的处理方式是按层逐步进行。每一层仅需 1.6GB。如果按照原始的 10GB 分片来加载,每执行一层就需要重新加载整个 10GB 的文件,而实际上只用到了其中的 1.6GB。

这样会导致大量内存和磁盘读取资源的浪费。事实上,磁盘读取速度是整个推理过程中最大的瓶颈,因此我们尽可能地减少这一过程。

首先,我们对原始的 HuggingFace 模型文件进行了预处理,将其按照不同的层级进行分片。

在存储方面,我们采用了 safetensor 技术(https://github.com/huggingface/safetensors),它确保了存储格式与内存格式的紧密匹配,并利用内存映射技术来加载数据,以此来提高速度。

04

Meta Device(元设备)

在实现过程中,我们利用了 HuggingFace Accelerate 提供的元设备特性(https://huggingface.co/docs/accelerate/usage_guides/big_modeling)。元设备是一个专为运行超大型模型设计的虚拟设备。通过元设备加载模型时,并不会实际读取模型数据,只加载代码,因此内存的使用量为零。

在执行过程中,您可以将模型的部分内容从元设备动态转移到真实的设备,如 CPU 或 GPU,此时数据才会真正加载到内存中。

使用 init_empty_weights() 函数,可以通过元设备来加载模型。

05

开源库

我们将所有相关代码开源 —— AirLLM。这使您能够通过几行代码来实现上述功能。

相关代码可在 Anima 的 GitHub 页面找到:https://github.com/lyogavin/Anima/tree/main/air_llm。

使用过程非常简单。首先,您需要安装相关软件包:

之后,您就可以像操作普通 Transformer 模型那样进行分层推理。

我们在一块 16GB Nvidia T4 GPU 上进行了代码测试。整个生成过程只使用了不到 4GB 的 GPU 内存。

需要注意的是,像 T4 这样的低端 GPU 在处理生成任务时速度会较慢。它并不适合需要实时交互的场景,例如聊天机器人,更适合进行一些离线数据分析,比如文档分析或 PDF 处理等。

目前,我们只支持基于 Llam2 的模型。如果您需要其他模型的支持,请告诉我们!

06

70B 大小的训练数据能否在单个 GPU 上完成?

尽管我们可以通过分层技术优化生成任务,但训练任务是否能在单个 GPU 上以类似方式进行呢?

在生成任务中,只需要使用前一层的输出来执行下一层的 Transformer,所以在数据有限的情况下是可以进行分层执行的。

但训练任务需要处理更多数据。它首先执行前向传播,以获得每个层和张量的输出,然后执行反向传播,计算每个张量的梯度。

由于梯度计算需要保存前向层的结果,所以分层执行并不会减少内存使用。

当然,还有一些其他技术,如梯度检查点,可以达到减少内存使用的效果。

如果您对梯度检查点如何显著降低训练内存需求感兴趣,请告诉我们!

07

在编写我们的代码时,我们广泛借鉴了 SIMJEG 在 Kaggle 平台上的成果:https://www.kaggle.com/code/simjeg/platypus2-70b-with-wikipedia-rag/notebook。在此,我们要向 Kaggle 社区的卓越贡献表示感谢!

我们会持续分享最新、最有效的人工智能技术和发展动态,致力于为开源社区贡献力量。敬请关注我们的最新动态。

🧭 文中关联 AI 工具官网与参数卡(语宙 AI 导航)
HuggingFace ↗
HuggingFace:AI模型开发社区,面向大语言模型场景提供便捷实用的在线功能支持,涵盖大模型等实用方向。
❓ 常见问题解答(FAQ)
4GB GPU 真的能跑 70B 大模型推理吗?

可以,但前提是采用分层推理等极端内存优化方案,而不是把整模型一次性装入显存。文章介绍的 AirLLM 通过按层加载、计算后释放内存,并结合注意力优化,实测推理峰值显存不超过 4GB。

这类方法需要量化或蒸馏吗?

不需要。文章明确说明,这套内存优化方案不依赖量化、蒸馏或剪枝等可能影响模型性能的压缩手段,而是通过推理流程和注意力实现层面的优化来节省显存。

AirLLM 是怎么降低显存占用的?

它采用分层推理:推理时只把当前需要计算的 Transformer 层从磁盘加载到 GPU,算完立即释放;同时控制 KV 缓存开销,并利用 Flash Attention 等技术提升效率,从而适配低显存设备。

🔬 语宙深潜追问 · 进阶实操拆解
分层加载为什么能省显存?

核心是把模型权重按层拆分,推理时只把当前需要的层加载进显存,用完立刻释放。这样峰值显存被压低,但代价是频繁搬运数据,速度通常会比全量常驻更慢。

这种方案适合哪些真实场景?

更适合离线问答、低频推理和本地隐私场景,不太适合高并发在线服务。若追求稳定吞吐,还是要权衡速度、延迟和硬件成本,不能只看“能跑起来”。

🗳️ 读者观点微投票 · 您的实战立场是?
4GB显存跑70B模型你信不信?
🕸️ 语宙向量知识图谱 · 语义强关联深度内链
🔓 所属权威专题:开源大模型与端侧推理 →
  • 高效大语言模型推理 [译]
  • 在 CPU 上高效执行大语言模型的推理任务[译]
  • 为忙碌人士准备的大语言模型(LLM)速览 [译]
  • KTransformers – 清华开源的大语言模型推理优化框架
🏛️ 宝玉的分享 · 前沿大模型翻译与提示词工程实战分享专栏,聚焦海外一手 AI 技术动态与工程实践。
📄 Markdown 纯净版
💡 这篇内容对您有启发吗?
📡 RSS 订阅✨ 提交 AI 工具 / 合作
🚀 Prompt 语宙 AI 创作者生态:探索 2,800+ 全球实用 AI 工具与高精度生图提示词咒语库
🧭 语宙 AI 导航 (ai.paooo.com)🎨 AI 生图 Prompt 库📚 核心专题导航⚡ AIGC 早报生成器
kimi-thinking-preview – 月之暗面推出的多模态思考模型
Pippo – Meta 推出的单图生成多视角高清人像视频模型
09-28 AIGC 早报
Art Review Generator
Mellum – JetBrains 推出专为开发者设计的大语言模型
TAGGED:AI编程HuggingFaceLlama开源大模型
分享
Email 复制链接 打印
Share
宝玉的分享 头像
By宝玉的分享
Follow:
前沿大模型翻译与提示词工程实战分享专栏,聚焦海外一手 AI 技术动态与工程实践。
上一篇 通用型基础模型是否能在医疗领域胜过专门的调优策略?一个医学案例研究 [译] 通用型基础模型是否能在医疗领域胜过专门的调优策略?一个医学案例研究 [译]
下一篇 智能的进化之路 [译] 智能的进化之路 [译]
Ad image
Ad image

最近更新

WordPress 7.2版本更新与默认随机重定向、Secrets API撤回及MCP核心能力拆解封面图
官方博客竟把关闭过滤器写错了!WordPress 7.2前瞻全拆解:默认/random/暗藏隐私与SEO风险、Secrets API紧急撤回与3项MCP只读能力落地
AI 工具
Anthropic上市募资与算力长约的隐喻:现金光环上升,数据中心暗链延伸,治理水晶承受张力与阻力冲击。
募资超1070亿美元却背负9000亿算力长约!Anthropic史上最大IPO背后的三大隐忧:1040亿年内亏损、地方抵制潮与PBC治理死结
AIGC 资讯
微软Copilot与Claude/ChatGPT价格战隐喻:发光玻璃表格堡垒守住Excel,数据流高效汇聚,企业AI竞争升级
3000万付费仅吃下4.5亿席位不到7%!微软Ignite正面叫板Claude与ChatGPT:月均30美元VS 205美元价格战与Excel保卫战全拆解
AIGC 资讯
联想AI推理时代的端边云全栈算力插画:玻璃拟态服务器核心发光,光流连接云端与边缘节点,呈现营收与订单增长动能。
AI营收暴涨80%且握5300亿服务器订单!联想Q2单季营收首破2000亿、净利狂飙166%:端边云全栈算力如何接住推理时代红利?
AIGC 资讯

相关推荐

言意码 – 前月之暗面明超平创立的 AI Coding 项目
AIGC 资讯

言意码 – 前月之暗面明超平创立的 AI Coding 项目

Prompt 语宙研究院
AI编程 Cursor Java Kimi
日日新融合大模型 – 商汤科技推出的原生融合模态大模型
AIGC 资讯

日日新融合大模型 – 商汤科技推出的原生融合模态大模型

Prompt 语宙研究院
AI办公效率 AI视频生成 AI音频与语音 OpenAI 开源大模型 通义千问
法国 Mistral AI 旗舰开源大模型 Mistral Large 4 架构与控制台界面
AIGC 资讯

力压闭源巨头!法国 Mistral Large 4 深度拆解:1.05T稀疏MoE仅激活49B、1M上下文与欧洲主权算力全流程实测

Prompt 语宙研究院
Mistral AI Mistral Large 4 主权AI 开源大模型 稀疏MoE架构 视觉定位
Finedefics – 北大团队推出的细粒度多模态大模型
AIGC 资讯

Finedefics – 北大团队推出的细粒度多模态大模型

Prompt 语宙研究院
AI智能体 HuggingFace 大模型微调 开源大模型
/ Prompt 语宙 /

探索生成式 AI 的无限创作潜能,一站式获取前沿 AIGC 资讯、高阶 Prompt 咒语与全球实用 AI 工具。

核心专栏

  • 语宙 AI 工具导航
  • EVA 视觉抠图工坊Hot
  • 出海数字营销宝典
  • AI 生图咒语灵感库
  • 24H 硅谷 AI 情报流

生态与服务

  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作

标签

开源大模型 AI智能体 AI办公效率 AI绘画提示词 OpenAI 大模型微调 Midjourney AI编程 stable diffusion AI视频生成 ChatGPT 3D与空间智能 HuggingFace AI音频与语音 RAG检索增强 Claude Flux AIGC Gemini 通义千问 Anthropic Llama Cursor DeepSeek Prompt AI Agent Kimi 智谱AI 具身智能 YouTube
Prompt 语宙Prompt 语宙
Follow US
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.