# 大语言模型真的需要这么多层吗？ [译]

- Link: https://paooo.com/ai-study/7107/
- Published: 2024-05-02T18:16:02+08:00
- Author: 宝玉的分享

⚡ [Prompt](https://paooo.com/ai-image-prompts/) 语宙 AI 导读 · 30 秒核心看点

 * OPT-66B 实测显示，删去 70% 注意力头后，14 项 NLP 任务的零样本/少样本表现几乎不变。
 * 进一步移除 20% 前馈网络影响极小，说明模型中真正关键的组件远少于参数总量。
 * 研究指向一个结论：扩[大模型](https://paooo.com/ai-study/)规模时，预训练数据也要
   同步增加，否则可能出现训练不足。

研究表明，移除 70% 的注意力头和 20% 的前馈网络对上下文学习影响甚微，这暗示大语言
模型或许训练得不够充分。

大语言模型（LLMs）已经存在一段时间，但随着 [ChatGPT](https://paooo.com/tag/chatgpt/)
的出现，今年它们真正进入了公众视野。LLMs 通常会在庞大的数据集上进行预训练，并且最近
的版本还通过应用强化学习进行调整，以便更好地遵循指令并整合人类反馈。

这些 LLMs 展示出的一项令人着迷的能力是上下文学习，也就是说，模型能够仅凭几个（有时
甚至不需要）好的示例，就学会如何执行新任务。遵循这种学习模式，当预训练数据量固定
时，更大的 LLMs 在执行多种任务方面也表现出比小型模型更强的能力。

在我们即将在今年计算语言学协会（ACL）会议上展示的一篇论文中，我们从架构的可解释性
角度出发，探讨了模型规模对于上下文学习的重要性。我们特别探讨了这个问题：_所有 LLM
组件真的对于执行上下文学习都是必需的吗？_

我们的研究以 OPT-66B 模型为案例，这是 Meta 去年开源的一款拥有 660 亿参数的大语言
模型（LLM），旨在模仿 GPT-3，并且在我们研究时期是最大的公开解码器仅限大语言模型。
我们的发现显示，模型的很大一部分可以被剔除而不影响其性能，这暗示 OPT-66B 乃至其他
著名大语言模型可能存在训练不足的情况。

我们相信，识别并改善那些需要更精细训练的架构要素，可以帮助我们构建更强大、更有效
的大语言模型。

####  大语言模型的基础构件

现代大语言模型（LLM）主要基于 Transformer 架构，核心在于一种称为注意力机制的技术。
这种机制让模型能够学习在预测当前 Token 时，应该重点关注之前序列中的哪些 Token。

具体来说，LLM 采用多头注意力机制，这意味着模型同时运用多个不同的注意力机制，我们
称之为“头”。例如，OPT-66B 模型就包含 64 层，每层有 72 个这样的头。这些多头注意力
的输出会在每一层通过一个独立的前馈网络（FFN）进行处理。

我们分析 OPT-66B 的方法之一是对每个注意力头和 FFN 进行打分，以此判断它们在特定任务
中的重要性。基于这些评分，我们进一步对模型进行了精简。

我们的研究发现，对于模型来说，较为重要的注意力头多集中于中间层，而重要的 FFN 则多
位于后期层。令人惊讶的是，即便我们删去了高达 70% 的注意力头（在 OPT-66B 中约占 15.7B
个参数），模型在处理 14 种不同自然语言处理（NLP）任务时的零样本/少样本学习能力几乎
未受影响。

![这张热图展示了 OPT-66B 模型在 14 个自然语言处理 (NLP) 任务中，用于五次少样本学习
的注意力头的综合重要性评分，覆盖了模型的每一个层级。](https://paooo.com/wp-content/
uploads/2024/05/unnamed-file-6.webp)

这张热图展示了 OPT-66B 模型在 14 个自然语言处理 (NLP) 任务中，用于五次少样本学习
的注意力头的综合重要性评分，覆盖了模型的每一个层级。

研究发现，在不同任务和次数的学习过程中，对上下文学习至关重要（或不那么重要）的注意力
头有相似之处。这说明存在一批既通用又与特定任务无关的注意力头，它们在上下文学习中
发挥着核心作用。此外，我们还观察到，OPT-66B 模型中多达 20% 的前馈神经网络 (FFNs，
大约有 85 亿参数) 可以在对零样本/少样本上下文学习的性能影响极小的情况下被移除。

我们采用的第二种分析方法是，量化 OPT-66B 模型中所有注意力头在执行两种与上下文学习
相关的任务无关的基础操作的能力。这两种操作分别是_前缀匹配_和_复制_：即在上下文中
查找当前 Token 之前出现的位置，并复制其后续的 Token（即_后缀_）。

![前缀匹配和复制操作。](https://paooo.com/wp-content/uploads/2024/05/unnamed-file-
7.webp)

前缀匹配和复制操作。

这两种操作专用的头部最初由机器学习研究公司 Anthropic 发现，被称为归纳头部。我们的
研究表明，OPT-66B 模型中只有少数头部能够在这两种基础操作上都表现出色。而且，这些
头部在不同程度上与我们之前识别的对特定任务重要的头部有所重叠。这意味着归纳头部不仅
能够进行更为复杂的上下文学习相关行为，如隐性概念匹配，还表明它们并非是唯一具备这类
能力的头部。

我们的一个关键发现是，只有少数的注意力头 (attention heads) 和前馈神经网络 (FFNs)
对于上下文学习显得至关重要，这揭示了 OPT-66B 乃至其他知名的大语言模型 (LLMs) 可能
存在训练不充分的问题。这一点进一步印证了近期的一些研究成果，它们对在扩大模型规模
时保持预训练数据量不变的有效性提出了质疑，认为要想取得最佳性能，必须让预训练数据
的数量与模型的规模同步增长。对于我们的研究发布后出现的新版大语言模型，比如那些经过
调整以更好地遵循指令的模型，了解它们在此类分析中的表现将会非常有意义。

🧭 文中关联 [AI 工具](https://ai.paooo.com/)官网与参数卡（语宙 AI 导航）

**Anthropic ↗**

Anthropic：人工智能安全和研究公司，面向大语言模型场景提供便捷实用的在线功能支持，
涵盖智能工具等实用方向

**ChatGPT ↗**

OpenAI 研发的通用人工智能对话大模型，支持多模态交互与深度推理。

❓ 常见问题解答（FAQ）

OPT-66B 为什么删掉很多层还能工作？

研究发现，真正影响上下文学习的注意力头和前馈网络只占少数，且重要组件分布较集中。
即使移除大量不关键参数，模型在多项零样本/少样本任务上的表现仍基本稳定。

这项研究对大语言模型训练有什么启示？

它提示“只扩模型、不增数据”可能导致训练不足。要获得更好的性能，预训练数据量应与模型
规模同步增长，否则很多参数未必被充分利用。

归纳头部和上下文学习有什么关系？

归纳头部是能执行前缀匹配和复制等基础操作的注意力头。研究表明，OPT-66B 中只有少数
头部在这些操作上表现突出，但它们并不是唯一能支持上下文学习的头部。

🔬 语宙深潜追问 · 进阶实操拆解

层数和训练数据该怎么一起规划？

不要只追模型规模，先看数据覆盖和训练步数是否匹配。若数据不足，增深只会堆参数冗余；
更合理的是同步扩充高质量语料、延长训练并做分阶段缩放，避免“模型大但没学满”。

如何判断模型是否真的训练不足？

看训练损失是否仍在稳定下降、下游任务是否随规模提升而持续收益，以及不同层/头的贡献
是否高度集中。若大量结构可剪而性能几乎不变，通常说明容量利用率偏低。

🗳️ 读者观点微投票 · 您的实战立场是？

大模型砍掉大量层数，性能真会掉吗？

🕸️ 语宙向量知识图谱 · 语义强关联深度内链

[⚡ 所属权威专题：OpenAI GPT 与 Sora 生态 →](https://paooo.com/topics/openai-gpt-sora/)

 * [大语言模型的“破解”研究：仅需二十次尝试 [译]](https://paooo.com/ai-study/6995/)
 * [大语言模型程序 [译]](https://paooo.com/ai-study/8464/)
 * [大语言模型在长上下文中的信息检索应用 [译]](https://paooo.com/ai-study/8562/)
 * [为忙碌人士准备的大语言模型（LLM）速览 [译]](https://paooo.com/ai-study/7073/)

[🏛️ 宝玉的分享](https://paooo.com/author/baoyu/) · 前沿大模型翻译与提示词工程实战
分享专栏，聚焦海外一手 AI 技术动态与工程实践。

[📄 Markdown 纯净版](https://paooo.com/ai-study/7107/?format=md)

💡 这篇内容对您有启发吗？

[📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/)

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)
