# 令人难以置信！用这项新技术在仅有 4GB GPU 的设备上运行 70B 大语言模型推理 [译]

- Link: https://paooo.com/ai-study/7055/
- Published: 2024-02-21T12:16:41+08:00
- Author: 宝玉的分享

⚡ Prompt 语宙 AI 导读 · 30 秒核心看点核心突破是分层推理：只加载当前 Transformer 层，显存需求从整模 130GB 降到约 1.6GB/层。KV 缓存也被精细控制，输入长度为 100 时约占 30MB，整体推理峰值显存不超过 4GB。AirLLM 提供开源落地方案，几行代码即可加载 70B 模型并完成推理，适合低显存设备实验。 from accelerate import init_empty_weights with init_empty_weights(): my_model = ModelClass(...) pip install airllm from airllm import AirLLMLlama2 MAX_LENGTH =128 # 我们可以使用 hugging face 提供的模型仓库 id 来加载模型： model = AirLLMLlama2("garage-bAInd/Platypus2-70B-instruct") # 或者直接使用本地路径加载模型... #model = AirLLMLlama2("/home/ubuntu/.cache/huggingface/hub/models--garage-bAInd--Platypus2-70B-instruct/snapshots/b585e74bcaae02e52665d9ac6d23f4d0dbc81a0f") input_text =[ '美国的首都是哪里？', ] input_tokens = model.tokenizer(input_text, 返回张量="pt", 不返回注意力掩码=True, 截断=True, 最大长度=MAX_LENGTH, 填充=True) generation_output = model.generate( input_tokens['input_ids'].cuda(), 最大新增令牌=20, 使用缓存=True, 返回生成字典=True) output = model.tokenizer.decode(generation_output.sequences[0]) print(output) 📋 一键复制 Prompt 咒语 Gavin Li，11 月 18 日 通常，大语言模型需要大量的 GPU 内存才能运行。但是，有没有可能仅用单个 GPU 来进行推理计算呢？如果可以，最少需要多少 GPU 内存呢？ 比如说，一个拥有 70B 参数的大语言模型，其大小达到了惊人的 130GB。光是要把这个模型加载到 GPU 上，就需要两个各有 100GB 内存的 A100 GPU。 而在实际进行推理计算时，整个输入序列还需要被加载进内存中，以便进行复杂的“注意力”运算。而这种注意力机制对内存的需求是随着输入长度成二次方增长的。这意味着除了本来的 130GB 模型大小之外，还需要更多额外的内存。 那么，有什么技术可以在仅有 4GB GPU 内存的情况下，节约如此巨大的内存需求，实现推理计算呢？ 值得注意的是，这里所说的内存优化技术并不涉及任何可能损害模型性能的模型压缩手段，比如量化、蒸馏或剪枝等。 今天我们将为您揭秘这些用于大型模型的极端内存优化的关键技术。 文章的最后，我们还将分享一个开源库，您可以通过简单几行代码就能实现这一切！ 01 分层推理技术 其中最关键的技术是分层推理。这实际上是计算机科学中经典的分而治之策略。 让我们先来看看大语言模型的架构。如今的大语言模型都是基于谷歌在“Attention is all you need”一文中提出的多头自我注意力结构，这就是后来大家熟知的 Transformer 结构。 一个典型的大语言模型，其起始是一个嵌入投影层，接着是 80 个结构完全一致的 Transformer 层，最后是一个用于预测 Token ID 概率的规范化层和全连接层。 在推理过程中，这些层会依序执行，每一层的输出都会成为下一层的输入。在任何时刻，只有一个层在执行。 因此，实际上没有必要把所有层都保留在 GPU 内存中。我们可以根据需要从磁盘加载相应的层进行计算，并在计算完成后立即释放内存。 在这种情况下，每层 GPU 所需的内存仅约为一个 Transformer 层的参数大小，大约占整个模型的 1/80，大约为 1.6GB。 除此之外，GPU 内存中还存储了一些输出缓存，其中最大的是为了避免重复计算而设的 KV 缓存。 以 70B 模型为例，我们简单算一下这个 KV 缓存的大小： 2 * 输入长度 * 层数 * 头数 * 向量维度 * 4 假设输入长度为 100，这个缓存的大小就是 2 * 100 * 80 * 8 * 128 * 4，也就是 30MB 的 GPU 内存。 根据我们的监测数据显示，整个推理过程中 GPU 内存的使用量不超过 4GB！ 02 单层优化 — 闪电注意力（Flash Attention） 在当今大语言模型的发展中，闪电注意力技术可谓是一项至关重要且关键的优化手段。 市面上的各种大语言模型基本上都是基于相同的底层代码构建的，而闪电注意力则是其中最显著的提升。 闪电注意力的概念虽不全新，但我们不得不提及另一篇研究论文《自我注意力不需要 O(n²) 的内存》。 传统的自我注意力机制需要 O(n²) 的内存（其中 n 是序列长度）。 而这篇论文则提出，我们实际上不需要保留这些 O(n²) 的中间结果。我们可以顺序计算这些结果，持续更新一个中间结果，并丢弃其余所有。这样做将内存复杂度降至 O(logn)。 闪电注意力在本质上与此相似，尽管其内存复杂度略高，为 O(n)，但 它通过深度优化 cuda 内存访问，大幅提升了推理和训练的速度。 如图所示，传统的自我注意力会计算并存储 O(n²) 的中间结果。而闪电注意力则将这一过程划分为多个小块，逐块计算，从而将所需内存减少到一个块的大小。 03 模型文件分片处理 一般来说，原始的模型文件会被分成多个部分，每部分大约为 10GB。 我们的处理方式是按层逐步进行。每一层仅需 1.6GB。如果按照原始的 10GB 分片来加载，每执行一层就需要重新加载整个 10GB 的文件，而实际上只用到了其中的 1.6GB。 这样会导致大量内存和磁盘读取资源的浪费。事实上，磁盘读取速度是整个推理过程中最大的瓶颈，因此我们尽可能地减少这一过程。 首先，我们对原始的 HuggingFace 模型文件进行了预处理，将其按照不同的层级进行分片。 在存储方面，我们采用了 safetensor 技术（https://github.com/huggingface/safetensors），它确保了存储格式与内存格式的紧密匹配，并利用内存映射技术来加载数据，以此来提高速度。 04 Meta Device（元设备） 在实现过程中，我们利用了 HuggingFace Accelerate 提供的元设备特性（https://huggingface.co/docs/accelerate/usage_guides/big_modeling）。元设备是一个专为运行超大型模型设计的虚拟设备。通过元设备加载模型时，并不会实际读取模型数据，只加载代码，因此内存的使用量为零。 在执行过程中，您可以将模型的部分内容从元设备动态转移到真实的设备，如 CPU 或 GPU，此时数据才会真正加载到内存中。 使用 init_empty_weights() 函数，可以通过元设备来加载模型。 05 开源库 我们将所有相关代码开源 —— AirLLM。这使您能够通过几行代码来实现上述功能。 相关代码可在 Anima 的 GitHub 页面找到：https://github.com/lyogavin/Anima/tree/main/air_llm。 使用过程非常简单。首先，您需要安装相关软件包： 之后，您就可以像操作普通 Transformer 模型那样进行分层推理。 我们在一块 16GB Nvidia T4 GPU 上进行了代码测试。整个生成过程只使用了不到 4GB 的 GPU 内存。 需要注意的是，像 T4 这样的低端 GPU 在处理生成任务时速度会较慢。它并不适合需要实时交互的场景，例如聊天机器人，更适合进行一些离线数据分析，比如文档分析或 PDF 处理等。 目前，我们只支持基于 Llam2 的模型。如果您需要其他模型的支持，请告诉我们！ 06 70B 大小的训练数据能否在单个 GPU 上完成？ 尽管我们可以通过分层技术优化生成任务，但训练任务是否能在单个 GPU 上以类似方式进行呢？ 在生成任务中，只需要使用前一层的输出来执行下一层的 Transformer，所以在数据有限的情况下是可以进行分层执行的。 但训练任务需要处理更多数据。它首先执行前向传播，以获得每个层和张量的输出，然后执行反向传播，计算每个张量的梯度。 由于梯度计算需要保存前向层的结果，所以分层执行并不会减少内存使用。 当然，还有一些其他技术，如梯度检查点，可以达到减少内存使用的效果。 如果您对梯度检查点如何显著降低训练内存需求感兴趣，请告诉我们！ 07 在编写我们的代码时，我们广泛借鉴了 SIMJEG 在 Kaggle 平台上的成果：https://www.kaggle.com/code/simjeg/platypus2-70b-with-wikipedia-rag/notebook。在此，我们要向 Kaggle 社区的卓越贡献表示感谢！ 我们会持续分享最新、最有效的人工智能技术和发展动态，致力于为开源社区贡献力量。敬请关注我们的最新动态。 🧭 文中关联 AI 工具官网与参数卡（语宙 AI 导航）HuggingFace ↗HuggingFace：AI模型开发社区，面向大语言模型场景提供便捷实用的在线功能支持，涵盖大模型等实用方向。❓ 常见问题解答（FAQ）4GB GPU 真的能跑 70B 大模型推理吗？可以，但前提是采用分层推理等极端内存优化方案，而不是把整模型一次性装入显存。文章介绍的 AirLLM 通过按层加载、计算后释放内存，并结合注意力优化，实测推理峰值显存不超过 4GB。这类方法需要量化或蒸馏吗？不需要。文章明确说明，这套内存优化方案不依赖量化、蒸馏或剪枝等可能影响模型性能的压缩手段，而是通过推理流程和注意力实现层面的优化来节省显存。AirLLM 是怎么降低显存占用的？它采用分层推理：推理时只把当前需要计算的 Transformer 层从磁盘加载到 GPU，算完立即释放；同时控制 KV 缓存开销，并利用 Flash Attention 等技术提升效率，从而适配低显存设备。🔬 语宙深潜追问 · 进阶实操拆解分层加载为什么能省显存？核心是把模型权重按层拆分，推理时只把当前需要的层加载进显存，用完立刻释放。这样峰值显存被压低，但代价是频繁搬运数据，速度通常会比全量常驻更慢。这种方案适合哪些真实场景？更适合离线问答、低频推理和本地隐私场景，不太适合高并发在线服务。若追求稳定吞吐，还是要权衡速度、延迟和硬件成本，不能只看“能跑起来”。🗳️ 读者观点微投票 · 您的实战立场是？4GB显存跑70B模型你信不信？技术上真可行投票效果肯定打折投票更适合演示用投票🕸️ 语宙向量知识图谱 · 语义强关联深度内链🔓 所属权威专题：开源大模型与端侧推理 →高效大语言模型推理 [译]在 CPU 上高效执行大语言模型的推理任务[译]为忙碌人士准备的大语言模型（LLM）速览 [译]KTransformers – 清华开源的大语言模型推理优化框架 🏛️ 宝玉的分享 · 前沿大模型翻译与提示词工程实战分享专栏，聚焦海外一手 AI 技术动态与工程实践。📄 Markdown 纯净版 💡 这篇内容对您有启发吗？👍 干货满满🔍 期待更深拆解📡 RSS 订阅✨ 提交 AI 工具 / 合作 🚀 Prompt 语宙 AI 创作者生态：探索 2,800+ 全球实用 AI 工具与高精度生图提示词咒语库🧭 语宙 AI 导航 (ai.paooo.com)🎨 AI 生图 Prompt 库📚 核心专题导航⚡ AIGC 早报生成器
