# “注意力”, “Transformers”, 在神经网络的 “大语言模型” 中 [译]

- Link: https://paooo.com/ai-study/7164/
- Published: 2024-03-20T12:17:39+08:00
- Author: 宝玉的分享

⚡ [Prompt](https://paooo.com/ai-image-prompts/) 语宙 AI 导读 · 30 秒核心看点

 * 从 Nadaraya-Watson 核平滑出发，直观引出注意力机制的加权平均本质。
 * 把 Transformer 放回语言模型语境，解释它为何能在序列预测中表现突出。
 * 强调 LLM 的核心任务是预测下一个 token，而非简单记忆，帮助建立正确理解。

我发现这些文献令人烦恼且难以理解。部分原因是我还没能完全理解它，_并且_ 它的内容实在
太多。但我清楚，必须弄懂它，否则我会在技术上落后。因此，这些笔记标题中的 scare quotes
一部分来源于我的嫉妒和恐惧。但这只是一部分原因：这里的名称似乎正好证明了 McDermott
对 “愿望性助记法” 批评应该重新纳入 AI 的基础教学中。

阅读目录

 * [“注意”](https://paooo.com/ai-study/7164/#8220%e6%b3%a8%e6%84%8f8221)
       * [优先级](https://paooo.com/ai-study/7164/#%e4%bc%98%e5%85%88%e7%ba%a7)
       * [我对此的关注与困惑](https://paooo.com/ai-study/7164/#%e6%88%91%e5%af%b9%e6%ad%a4%e7%9a%84%e5%85%b3%e6%b3%a8%e4%b8%8e%e5%9b%b0%e6%83%91)
       * [“核平滑的简单真相”与“单凭核平滑竟能达成如此壮举！”](https://paooo.com/ai-study/7164/#%e6%a0%b8%e5%b9%b3%e6%bb%91%e7%9a%84%e7%ae%80%e5%8d%95%e7%9c%9f%e7%9b%b8%e4%b8%8e%e5%8d%95%e5%87%ad%e6%a0%b8%e5%b9%b3%e6%bb%91%e7%ab%9f%e8%83%bd%e8%be%be%e6%88%90%e5%a6%82%e6%ad%a4%e5%a3%ae%e4%b8%be)
       * [参数识别的困境](https://paooo.com/ai-study/7164/#%e5%8f%82%e6%95%b0%e8%af%86%e5%88%ab%e7%9a%84%e5%9b%b0%e5%a2%83)
       * [“多头注意力 (Multi-Headed Attention)”](https://paooo.com/ai-study/7164/#%e5%a4%9a%e5%a4%b4%e6%b3%a8%e6%84%8f%e5%8a%9b-multiheaded-attention)
 * [“Transformers”](https://paooo.com/ai-study/7164/#8220transformers8221)
 * [“语言模型”](https://paooo.com/ai-study/7164/#8220%e8%af%ad%e8%a8%80%e6%a8%a1%e5%9e%8b8221)
       * [“只是个马尔可夫模型？”与“仅凭马尔可夫模型就能做到那个？！？！”](https://paooo.com/ai-study/7164/#%e5%8f%aa%e6%98%af%e4%b8%aa%e9%a9%ac%e5%b0%94%e5%8f%af%e5%a4%ab%e6%a8%a1%e5%9e%8b%e4%b8%8e%e4%bb%85%e5%87%ad%e9%a9%ac%e5%b0%94%e5%8f%af%e5%a4%ab%e6%a8%a1%e5%9e%8b%e5%b0%b1%e8%83%bd%e5%81%9a%e5%88%b0)
       * [大语言模型 与 Lempel-Ziv](https://paooo.com/ai-study/7164/#%e5%a4%a7%e8%af%ad%e8%a8%80%e6%a8%a1%e5%9e%8b-%e4%b8%8e-lempelziv)
       * [预测下一个符号与长期预测](https://paooo.com/ai-study/7164/#%e9%a2%84%e6%b5%8b%e4%b8%8b%e4%b8%80%e4%b8%aa%e7%ac%a6%e5%8f%b7%e4%b8%8e%e9%95%bf%e6%9c%9f%e9%a2%84%e6%b5%8b)
       * [关于揭露提示的强烈预感](https://paooo.com/ai-study/7164/#%e5%85%b3%e4%ba%8e%e6%8f%ad%e9%9c%b2%e6%8f%90%e7%a4%ba%e7%9a%84%e5%bc%ba%e7%83%88%e9%a2%84%e6%84%9f)
       * [Gopnikism; Libraries](https://paooo.com/ai-study/7164/#gopnikism-libraries)
       * [包含了一切](https://paooo.com/ai-study/7164/#%e5%8c%85%e5%90%ab%e4%ba%86%e4%b8%80%e5%88%87)
       * [信仰复活和末日的人们](https://paooo.com/ai-study/7164/#%e4%bf%a1%e4%bb%b0%e5%a4%8d%e6%b4%bb%e5%92%8c%e6%9c%ab%e6%97%a5%e7%9a%84%e4%ba%ba%e4%bb%ac)

（因为这开始引起一些 — 请原谅我的措辞 — 关注，我觉得有必要再次强调，再次指出，这些
笔记是我整理思绪和记录阅读过程的地方。我把它们放到网上，因为这样做有时会有人提供
帮助，也有人说这些笔记对他们有用。请不要将这些随意的在线文字，甚至是强烈表达的随意
文字，与真正的知识权威混为一谈。从前面的段落可以看出，这些观点应该受到多少重视，
以及这些笔记可能包含错误的可能性。那些已经熟悉这个领域的人_应该_在这里学不到新东西。）

因为内容开始变得冗长，目录如下：* “注意力” * 优先级 * 为什么我对此感到费心和困扰*“
只是核平滑” 与 “你竟然可以仅用核平滑做到 _那个_？！” * 识别失败 * “多头注意力”

 * “Transformer”
 *  “语言模型”
    - “它仅是个马尔可夫模型” 与 “竟然能仅用马尔可夫模型做到 _这些_！？”
    - 大语言模型 (LLM/Large Language Model) 与 Lempel-Ziv 压缩算法
    - 预测下一个符号 (Token) 与长期范围预测的比较
    - 揭示提示的强烈直觉
    - Gopnikism 文化；图书馆
    - 包罗万象
    - 信仰末日复活的你们

（这部分的结构不够理想；我本应该从现在的最后一部分“语言模型”开始，因为大多数内容
并不关注模型工作的具体细节，然后逐步深入到“Transformer”，再进一步探讨“Attention”
机制。）

##  “注意”

> 该文于 2023 年 3 月末撰写，当时作者因为一些事情终于变得清晰而感到激动。2023 年
> 6 月初，作者修正了一些打字错误（和思考错误），希望没有带来新的错误。从“优先级”
> 这一部分到本节的结尾，是最新添加的内容（截至 6 月）。

假设我们手头有一系列大量的函数输入和输出对，形如 (x_1,y_1),(x_2,y_2)…(x_n,y_n)left(
right. x_{1} , y_{1} left.right) , left(right. x_{2} , y_{2} left.right) ldots left(
right. x_{n} , y_{n} left.right)。现在，我们想对一个新的输入点 x_ox_{o}（这里的 
oo 表示“运行状态”）的函数值进行预测。一个很自然的思路是使用最近邻（nearest neighbors）
方法：找出与 x_ox_{o} 最相似的 x_ix_{i}，并据此得出 y_iy_{i}。如果我们想要利用其他
数据点的信息，我们可以采用 kk 最近邻（kk nearest neighbors）的方法，即平均那些与
x_ox_{o} 最接近的 kk 个点的 y_iy_{i} 值。但这种方法没有考虑到每个 x_ix_{i} 与新点
x_ox_{o} 的距离_有多接近_ —— 我们通常更倾向于给更近的点更多的权重。

这里介绍一个由 E. A. Nadaraya（1964）和 Geoffrey S. Watson（1964）各自独立提出的
相关概念。他们提出了一种**核函数** K(u,v)K left(right. u , v left.right)，用于测量
uu 与 vv 之间的相似程度。这个函数的特点是非负，并且当 u=vu = v 时取得最大值。这些
函数值被用作加权平均计算中的权重，具体计算公式为：∑_i=1ny_iK(x_i,x_o)∑_j=1nK(x_j,
x_o)sum_{i = 1}^{n} y_{i} frac{K left(right. x_{i} , x_{o} left.right)}{sum_{j =
1}^{n} K left(right. x_{j} , x_{o} left.right)}。通过所有 KK 值的总和来进行归一化，
确保得出的是一个加权平均值。这就是所谓的 Nadaraya-Watson 平滑方法，也称为核平滑法。（
Nadaraya 和 Watson 都考虑了 K(u,v)=K(u−v)K left(right. u , v left.right) = K left(
right. u – v left.right) 作为向量上的概率分布的情况，这在他们的研究中简化了某些问题，
但并非必须条件。）

如所述，Nadaraya-Watson 平滑技术并不限定 xx 必须是向量形式。但如果它们确实是向量，
我们可以考虑这样一个核函数：K(u,v)=exp(u⋅v)K(u, v) = exp(u cdot v)。还有另一个核
函数的例子是：K(u,v)=exp(w1u⋅w2v)K(u, v) = exp(mathbf{w}_1 u cdot mathbf{w}_2 v)，
其中 w1mathbf{w}_1 和 w2mathbf{w}_2 是方阵。进一步简化，这个函数可以写作 K(u,v)=
exp(u⋅w1Tw2v)K(u, v) = exp(u cdot mathbf{w}_1^T mathbf{w}_2 v)，这样就更直观地表明
我们在使用一个特定矩阵 w1Tw2mathbf{w}_1^T mathbf{w}_2 来定义两个向量间的内积关系。（
如果这个矩阵 w1Tw2mathbf{w}_1^T mathbf{w}_2 是对称的，比如 w1mathbf{w}_1 和 w2mathbf{
w}_2 相等，并且它是正定的，那么它就构成了一个标准的内积形式。）如果你担心数值计算
中的溢出或下溢问题，你可以考虑使用 K(u,v)=exp(w1u⋅w2vd)K(u, v) = exp(frac{mathbf{
w}_1 u cdot mathbf{w}_2 v}{sqrt{d}})，这里的向量是 dd 维的。这个调整可以视为是对
矩阵定义的一个优化。

在神经网络领域，人们在 2015 年左右开始用“注意力 (attention)”这个术语，实际上这不过
是对旧理论的再次发掘；这里的 x_ox_{o} 就是他们所说的“查询 (query)”向量，x_ix_{i}
是“键 (key)”向量，而 y_iy_{i} 则是“值 (value)”向量。“自注意力 (Self-attention)”的
意思是 y_i=rx_iy_{i} = mathbf{r} x_{i}，其中 rmathbf{r} 是另一个方阵，意味着输入
和输出值之间有着线性代数上的联系。（这里的 rmathbf{r} 可能就是单位矩阵 Imathbf{I}。）

再次说明：把这称作“注意力”充其量只能算是个玩笑。真正的人类注意力是选择性的，而这种
方式却对每个可用的向量 x_ix_{i} 都分配了一定的权重。关注的焦点不仅仅取决于生物体
当前的状态，而这里它仅仅是基于新点 x_ox_{o} 与现有的 x_ix_{i} 之间的相似度。（我
提到的是人类的注意力，但这很可能同样适用于其他动物。）

（据我所知，”键 (key)”、”值 (value)” 和 “查询 (query)” 这些术语源于把这个概念视为
一种关联数组associative array数据类型的连续泛化。这是一种可以采用的思考方式。）

####  优先级

如果我是第一个发现“注意力”实际上是核平滑方法的人，我会感到非常惊讶。但实际上，并非
如此。自从 2023 年 3 月撰写这些笔记的第一版以来，我发现了 Tsai 等人在 2019 年发表
的一篇论文（链接如下），这似乎是首次公开阐述这一发现的文章。他们还展示了如何借助
核文献中的标准工具和思想，来提升 2019 年当时的语言模型中的注意力机制。

####  我对此的关注与困惑

我自认为颇具理解力，在 90 年代初起，我就开始研究并编程神经网络。但对于 Vaswani 等
人在 2017 年的论文，我读了好几遍，始终没能明白“注意力 (attention)”到底是怎样起作用
的。（数学部分我倒是能懂。）即使是阅读了各种面向不同群体的教程，我也没有获得任何
新的理解。不过，Percy Liang 的讲义给了我启发，我终于明白了，“注意力”并非指心理学
上的注意力，而是指一种核平滑（kernel smoothing）。我现在意识到，虽然我从“它本质上
是核平滑”这个说法中获得了更多的理解，而不是从“它就像一个连续的映射表 (associative
array)”中获得，但这并不代表_每个人_都能这样理解，甚至并非_大多数人_都能。我的学习
路径有些特别。但文献中的难以理解之处，我认为是一个真正的问题。（参考 Phuong 和 Hutter
2022 年的论文。）

####  “核平滑的简单真相”与“单凭核平滑竟能达成如此壮举！”

将注意力归结为核平滑，并不减损将其成功应用于工程上的巨大成就。在机器学习领域，许多
有能力且自信的专家长期以来一直在推动基于核的方法，但没有人能像现代大语言模型 (Large
Language Model) 那样取得惊人成就。我之所以努力理解这些技术和论文，正是因为它们的
成果令人印象深刻！意识到一个关键的步骤，原来是我们几十年来一直在做的事情，这让人
感到自谦。我们对于自认为已经理解的工具，还有什么_其他_的误解呢？——我发现，这些笔记
里我的不满之情比对这些成就的欣赏要明显得多，这反映了我作为作者和人的不足之处。

####  参数识别的困境

当我们将向量 xx 视为固定值，而把矩阵 (w)∗1,(w)∗2left(mathbf{w}right)*{1}, left(mathbf{
w}right)*{2} 当作可学习的参数时，这些矩阵的可识别性变得不明显。原因在于，对于任何
一个正交矩阵 omathbf{o}，使用 (w)∗⋅left(mathbf{w}right)*{cdot} 和 o(w)∗⋅mathbf{o}
left(mathbf{w}right)*{cdot} 作为变量，都会产生完全相同的预测结果：(w)∗1u⋅(w)∗2v=
uTw∗1T(w)∗2v=uTw∗1T(oTo)(w)∗2v=(o(w)∗1)u⋅(o(w)∗2)vleft(mathbf{w}right)*{1} u cdot
left(mathbf{w}right)*{2} v = u^{T} mathbf{w}*{1}^{T} left(mathbf{w}right)*{2} v 
= u^{T} mathbf{w}*{1}^{T} left( mathbf{o}^{T} mathbf{o} right) left(mathbf{w}right)*{
2} v = left( mathbf{o} left(mathbf{w}right)*{1} right) u cdot left( mathbf{o} left(
mathbf{w}right)*{2} right) v

一种解决这个问题的方法是，不去关心单独的矩阵 (w)∗1left(mathbf{w}right)*{1} 和 (w)
∗2left(mathbf{w}right)*{2}，而是关注它们的乘积 w∗1T(w)∗2mathbf{w}*{1}^{T} left(mathbf{
w}right)*{2}。我们可以简单地称这个乘积为 wmathbf{w}，并定义核函数 K(u,v)=exp(u⋅wv)
K(u, v) = exp(u cdot mathbf{w} v)。这种方法虽然直接，但其背后的逻辑值得深入探讨。

在实践中，向量 xx 代表的是由离散符号转换而来的连续表达形式。用来表示特定符号的特定
向量，也是通过学习得到的，这个过程和 (w)∗⋅left(mathbf{w}right)*{cdot} 的学习是同时
进行的。因此，只要我们在核心算法上做出相应的调整，我们就可以大幅改变这些向量：将
xx 替换为 rxmathbf{r} x，将 wmathbf{w} 替换为 (r)−Tw(r)−1left(mathbf{r}right)^{-
T} mathbf{w} left(mathbf{r}right)^{- 1}，对于任何可逆矩阵 rmathbf{r}，这样的改变
都不会影响最终结果。具体来说，这意味着不管是 u⋅wvu cdot mathbf{w} v 还是经过变换
的 (ru)⋅((r)−Tw(r)−1)(rv)left(mathbf{r} u right) cdot left(left(mathbf{r}right)^{-
T} mathbf{w} left(mathbf{r}right)^{- 1}right) left(mathbf{r} v right)，结果都是相同
的。（如果我们分别处理 (w)∗1left(mathbf{w}right)*{1} 和 (w)_2left(mathbf{w}right)_{
2} 这两个矩阵，事情就更简单了，将每个矩阵与 (r)−1left(mathbf{r}right)^{- 1} 相乘，
向量和矩阵的改变就能完美抵消。）

这对于解释参数意味着一定的困难，但在寻找高性能参数方面却是一个好消息。这背后的原因，
在神经网络的对称性一文中有所讨论。

（另可参见：因子模型的旋转问题；Carrington et al. 2019 对单词嵌入（word embeddings）
普遍缺乏识别性的讨论。）

####  “多头注意力 (Multi-Headed Attention)”

采用多种不同的核心，执行 Nadaraya-Watson 平滑处理，所有这些核心都遵循相同的公式，
即 K_l(u,v)=exp⁡(u⋅(w)(l)v)K_{l} left(right. u , v left.right) = exp ⁡ left(right.
u cdot left(mathbf{w}right)^{left(right. l left.right)} v left.right)；随后对结果
进行平均处理。具体来说，就是利用 mm 个不同的核心，计算 1m∑_l=1m∑_i=1ny_iK_l(x_i,
x_o)∑_j=1nK_l(x_j,x_o)frac{1}{m} sum_{l = 1}^{m} sum_{i = 1}^{n} y_{i} frac{K_{l}
left(right. x_{i} , x_{o} left.right)}{sum_{j = 1}^{n} K_{l} left(right. x_{j} ,
x_{o} left.right)}。这里每个核心平滑器都被视作一个“注意力头”。

（通常情况下，我们讨论的是将不同核心平滑器的输出相加，而不是平均它们。但是，(i) 
通过在所有利用这些输出的下游权重中加入一个常数比例因子，可以将这两种形式互相转换；(
ii) 我更倾向于强调这仍然是一种加权平均的方法。）

（我认为这里的“头”一词可能源自对图灵机的某种回忆，特别是其中的读写头沿着磁带移动
的情景，但这一点我还需要进一步确认。）

##  “Transformers”

我计划在精力更充沛或心情更好时补充这部分内容。（目前这部分内容比其它笔记还要草率，
我预料以后可能会发现一些明显的错误。）

采取步骤 I:1。回顾前几千字的内容以获得背景信息
 （“几千”是一个固定的表述）

 2. 训练数据中哪些情境与现在的情境相似？
 3. 在这些情境中，下一个词出现的概率分布是怎样的？
     （我们需要进行一些数据平滑处理，
    这是统计学中的常规做法：可能的下一个词有很多，但每种情境下的样本数据很少[甚至可能
    为零，如果在训练数据之外]，我们希望相似的情境能产生相似的下一个词概率分布。因此，
    通过数据平滑处理或所谓的“部分合并”方法，虽然会使我们对概率分布的估计产生一定偏差，
    但能减少数据的波动性，如果处理得当，我们能够从中获益。对类似情境进行平均本身就是
    一种数据平滑，但我们还可以做得更多。）
 4. 根据这个概率分布进行抽样（可能会更倾向于选择出现概率最高的词）
 5. 从上下文中去掉最早的词，并将新生成的词（来自步骤 4）添加到最新的部分；然后回到步骤（
    1）

步骤 I 的问题：

 * 它并非真正意义上的“词”（即“分词”）。
 * 在操作上，“相似的情境”具体是什么意思？（涉及到“嵌入”和“注意力机制”）
 * 训练数据并不用于直接比较。（系统仅存储大约 10910^9 到 101110^{11} 的浮点数作为
   权重参数，这比存储完整训练语料库所需的内存要少得多。）

Take II:1. 回顾过去的数千个字符，我们将它们划分为被称为“tokens”（Token）的小单元，
一个上下文大约由 kk 个 tokens 组成。假设有 SS 种可能的 tokens。
 （“Tokens”是根据
计算定义的，与语言学家所说的“morphemes”（语素）不同。但如果你熟悉“morphemes”，那么
可以把“token”理解为类似于“morpheme”。另外，用“tokens”这个词可能会使得表达方式难以
保持对类型 – 符号区分的尊重；这不是我的错。）

 2. 每个 token 都被映射到一个维度相对较高的独特向量空间中，1≪d≪S1 ll d ll S。（是的，
    是指每种类型的 token。）这个过程称为“嵌入（embedding）”。
     （通常，嵌入向量被视为
    可学习的参数，通过最大似然估计与其他所有参数一起进行调整。原则上，你可以使用多种
    方案。例如，从传统的潜在语义索引或主成分分析开始会很有趣……）
 3. 经过 tokenization 和 embedding，现在上下文变成了一系列的 dd 维向量，例如 x_1,x_2,…
    x_kx_{1} , x_{2} , ldots x_{k}。
 4. 利用“注意力机制（attention）”对这些向量进行核平滑处理：在第 tt 个位置，将 x_tx_{
    t} 与 x_1,x_2,…x_t−1,x_tx_{1} , x_{2} , ldots x_{t – 1} , x_{t} 进行核平滑处理，
    得到例如 y_ty_{t} 的结果。这种处理方式像是在基于上下文中之前看到的内容，调整每个
    token 的含义，让相似的含义相互加强。
 5. 然后，将 y_ty_{t} 输入到前馈神经网络中，输出一个关于 token 类型的 SS 维权重向量，
    例如 z_1,…z_Sz_{1} , ldots z_{S}。
 6. 抽取一个 Token，其概率 Pr(s)∝exp⁡βz_sP r left(right. s left.right) propto exp ⁡
    beta z_{s}。 (高 βbeta 值意味着极可能选取权重最大的 Token，而 β→0beta rightarrow
    0 则意味着忽略上下文，随机选取 Token。)
 7. 忘记最早的 Token，并将新生成的 Token 作为上下文的最新部分添加。（实际上，我们只需要
    修改嵌入向量 x_1,…,x_kx_{1}, ldots, x_{k}。）
 8. 返回步骤 (1)。

Take II 方法的问题：

 * 我们还会使用上下文中各个位置的编码。从 11 到 kk 的每个位置分别对应一个 dd 维向量，
   例如 r_1,…,r_kr_{1}, ldots, r_{k}。然后，我们将这些位置向量与 Token 的嵌入向量
   进行平均，形成 x_t=r_t+e_tx_{t} = r_{t} + e_{t}，其中 e_te_{t} 是位置 tt 上的
   Token 的嵌入向量。为什么要进行平均？这是因为模型设计如此。
 * “注意力 (Attention)”是一种核平滑技术，它使用一种特殊的指数核，但涉及到一个方阵
   wmathbf{w}。实践中，如果并行多次执行这种核平滑，使用不同的 wmathbf{w} 矩阵，将
   不同核平滑器的输出平均后，再传递给前馈神经网络，可以获得更好的结果。（参见上文，
   关于“多头注意力 (multi-headed attention)”的部分）。
    （用于核平滑的 wmathbf{w}
   矩阵是通过学习获得的参数。我不确定使用多个相似但不同的核平滑器是否真的类似于基础
   扩展，或是用集合方法来补偿模型设定的不足，还是仅仅是希望其中一个核能够显著有效，
   或其他什么原因。欢迎提供相关文献指导。）
 * 我省略了“层次归一化 (layer-norm)”的步骤，因为我不打算假装去解释为什么“确保所有
   部分的平均值为 0，方差为 1”对模型有帮助。
 * 这不只是简单地“通过一个前馈神经网络”。
    这里需要更深入的解释。一个带有一个隐藏
   层的前馈神经网络能够非常好地近似任何（合理的、光滑的）函数，前提是你正确调整权
   重，且隐藏层有足够多的神经元。因此，_原则上_ 用我描述的这种架构来复制一个现代
   大语言模型是可行的。然而，实际上，我们将 y_ty_{t} 向量通过一个相对较窄的单隐藏
   层网络处理，从而得到一个长度为 kk 的序列，序列中的每个向量都是 dd 维的。

就是这样一个过程：

 * 读入一个长度为 kk 的 dd 维输入向量序列
 * 执行“注意力”（kernel）平滑处理
 * 通过一个窄且浅的前馈网络
 * 输出一个长度为 kk 的 dd 维输出向量序列

构成了所谓的“Transformer”。我们将多个 Transformer 层叠加，直到预算用尽，在最后，
我们通过另一个神经网络来获取对 token（即 token 类型）的权重，并据此进行抽样，正如
之前所描述的。

（实际上，我认为“Transformer”这个名字比“attention”要好很多；尽管它模糊且不太具信息
性，但至少它没有误导性。）

##  “语言模型”

当我们讨论“语言模型”时，实际指的是符号序列概率的模型。具体来说，就是当我们观察到
一系列离散的随机变量（=符号） X1,X2,…Xn,…X_{1} , X_{2} , ldots X_{n} , ldots 时，
如果能准确预测 P(Xt+1∣X1:t)P left(right. X_{t + 1} left|right. X_{1 : t} left.right)
的概率，就意味着我们的模型表现良好。（也就是说，除此之外的所有可能的语言模型定义
都不在考虑范围内。）实际上，这是一个我略有了解的领域更多信息…

事实上，当代的大语言模型（LLM）实质上是_有限阶_的马尔可夫模型（Markov models）或
非线性自回归模型。这是因为它们有一个预设的最大上下文长度限制，超过这个长度的数据
会被忽略。换句话说，存在一个确定的步数 kk，超过 kk 步的数据不被考虑，这是模型结构
的一部分。（当然，你可以尝试增加这个长度，但这会提高计算成本，而且在某些原则上不会有
太大变化。）这个特点有几个值得关注的地方：

 1. 你可以尝试直接学习一个有限阶马尔可夫模型，但可能会频繁遇到之前未见过的上下文，而
    纯粹的最大似然方法在这种情况下并无帮助。这里的神经网络结构实际上是在不同上下文间
    进行了某种复杂的隐式平滑处理。我_推测_，这种平滑方式已经逐渐优化（受到基准数据集
    和超越前沿技术的压力影响），使其在处理当前网络上的文本时表现出色…
 2. 由于它本质上是一个有限阶马尔可夫模型，所以这个马尔可夫链有一个固定的分布。（可能
    不止一个，但我怀疑这个链条是非周期性且反复出现的。）如果我们让模型生成足够长的序列，
    它最终会趋向于从这个固定分布中采样。尽管这可能很有趣——但同样可能令人沮丧或恐怖——
    了解这种文本的样子会非常有意义。（当然，收敛的速度可能非常慢，光谱间隙可能太小，
    使得这种方法在实际中不可行。）
 3. 一些特定的概率语言是无法通过有限阶的马尔可夫链（Markov chains）来精确表达的。我
    最初接触到的，也是经常回顾的一个例子是“偶数序列过程”：在 A 状态下，抛硬币决定发出
    0 或 1。如果是 0，就维持在 A 状态；如果是 1，则转移到 B 状态。B 状态总是发出 1，
    然后回到 A 状态。这意味着连续的 1 总是以偶数长度出现，而连续的 0 则可以是任意长度。（
    例如，“010”就是不允许的。）为了预测这种模式，你不需要精确计算自上一个 0 以来出现
    了多少个 1，只需记住是偶数个还是奇数个 1。但这需要一定量的记忆状态——仅仅一比特！——
    而有限阶马尔可夫链却无法提供这种状态。当然，如果你使用的是一个 1000 阶的马尔可夫
    模型，你可以得到一个相当不错的近似结果，但随着数据量的增加，使用一个 3000 阶的马
    尔可夫模型可以获得更好的效果。这是通过构建越来越复杂、越来越长的上下文规则集合来
    实现的。如果我们不断向更大规模的模型输入更多数据，它会持续改进这一过程。然而，这些
    模型永远无法实现转变到非马尔可夫的表示方法，在那种方法中，这个过程几乎变得非常简单（
    并且在统计上对相同数据量的利用更加高效）。这种情况对实际应用有何影响？我不确定，
    但非常希望有研究人员能够探索这一点。

####  “只是个马尔可夫模型？”与“仅凭马尔可夫模型就能做到_那个_？！？！”

再说一次：在语言学中，有限阶马尔可夫模型 (Markov models) 的历史已经相当悠久。(学生
们甚至可以在第一次编程课上就学会制作这些尖锐的模型。) 很多人都尝试过这些模型，运用
了包括变化的上下文长度、不同类型的分组处理等多种技巧。据我所知，迄今为止还没有人
能够达到当代大语言模型 (LLMs) 的成果。这已经足够引人注目，以至于（如我在笔记开头
所提到的）我需要重新思考这些模型，以免技术过时。但我认为，理解这一点的一部分应该
是清楚地认识到什么是真正的创新，到底发生了什么等等。还应该清楚地知道为什么_这种_
方法比其他方法更有效，这需要包括思考如果这些替代方法拥有相同的资源，它们能做到什么。
这就引出了我接下来要讨论的内容…

####  大语言模型 与 Lempel-Ziv

如果我们有一个数据源的概率模型，表示为 P(X1:n=x1:n))=q(x1:n)mathbb{P} left(right.
X_{1 : n} = x_{1 : n} left.right) left.right) = q left(right. x_{1 : n} left.right)，
这意味着我们可以知道如何对其进行编码；编码 q(x1:n)q left(right. x_{1 : n} left.right)
所需的比特数，基本上是 −(log)∗2⁡q(x∗1:n)- left(logright)*{2} ⁡ q left(right. x*{
1 : n} left.right). 相对地，如果我们有一个合理的编码方案，它使用 ℓ(x1:n)ℓ left(right.
x_{1 : n} left.right) 比特来编码 x1:nx_{1 : n}，那么我们可以将其看作是一个概率模型，
其中 P(X1:n=x1:n)=2−ℓ(x1:n)mathbb{P} left(right. X_{1 : n} = x_{1 : n} left.right)
= 2^{- ℓ left(right. x_{1 : n} left.right)}. 当然，这也为我们提供了条件概率：P(Xt
+1=a∣X1:t=x1:t)=2−ℓ(x1:ta)−ℓ(x1:t)mathbb{P} left(right. X_{t + 1} = a left|right.
X_{1 : t} = x_{1 : t} left.right) = 2^{- ℓ left(right. x_{1 : t} a left.right) –
ℓ left(right. x_{1 : t} left.right)}. （此处省略了一些细节，但如果需要，我可以补充
完整，以便我们更好地理解。）

信息理论进一步揭示了这样一个事实：对于任何静态且遍历（stationary, ergodic）的序列，
在编码效率上都存在一个理论上的上限。这一上限几乎可以确定，即随着序列长度 nn 趋向
无穷大，序列 x_1:nx_{1 : n} 的平均编码长度与序列的熵 HH 的比值不会低于一个特定极限。
更具体地说，这个极限就是源的**熵率**，而这个熵率确实存在。值得注意的是，有一些通用
的源编码算法能够达到这一极限，适用于广泛的源类别，如所有静态且遍历（ergodic）的源。

Lempel-Ziv 算法就是这样一种通用源编码算法，它是诸如 gzip 等实用软件的基础。事实上，
Lempel-Ziv 算法有两种形式，这里主要介绍第二种，即 LZ78。Lempel-Ziv 算法的工作原理
是：它沿着序列扫描，建立一个包含常重复子序列的“字典”，然后使用这个字典来描述实际
序列。具体步骤如下：

 1. 将序列中的第一个符号 x_1x_{1} 输入到字典中。
 2. 沿着序列扫描，寻找第一个不在字典中的最短子序列。
     （这可能是一个新的符号，或者是
    之前字典中某个条目加上一个新的末尾符号。）
 3. 将这个新的子序列加入字典中。如果这个新子序列是在之前某个字典条目的基础上扩展出来
    的，我们用那个条目的索引号和新增的符号来记录它。

因此，如果一个序列是“AABABBABA”，我们可以得到一个包含“A”、“AB”、“ABB”、“ABA”的字典。（
这可以记作“A”、(1, “B”)、(2, “B”)、(2, “A”)。）[2023 年 6 月 5 日：感谢读者 D.W.
发现了一个打印错误！] 如果一个序列中有大量重复的符号，那么我们最终能得到一个较短
的字典。我这里不打算重现证明编码长度趋近于下限的过程，但这是一个常规方法（可以参见
Cover 和 Thomas 的信息理论教科书）。

我提起这点是因为，记住，一旦我们有了一个源编码方案，我们就可以反向操作它，得到条件
概率；我们甚至可以通过抽样来创建一个生成器。（处理一些技术细节需要一点小技巧，但
并不复杂。）所以，我特别希望有资源的人能做这样一个实验：

 * 编写一个 Lempel-Ziv 编码的实现版本，没有类似 gzip 的内置限制；让它拥有构建字典
   所需的大量内存，就像大语言模型用来存储其参数矩阵那样。我们将其称为“LLZ”，即“大型
   Lempel-Ziv”。
 * 将和你最喜欢的大语言模型一样的文本语料库输入到 LLZ 中。让它根据这些文本构建字典。（
   这需要对语料库进行一次完整的遍历…）
 * 利用训练好的 LLZ 构建一个生成器。
 * 用这个生成器替换聊天机器人或类似系统中的神经网络。我们称这个新奇的产物为 GLLZ。

从困惑度（即 exp⁡(ℓ(x_1:n)/n)exp ⁡ left(right. ℓ left(right. x_{1 : n} left.right)/
n left.right)）来看，GLLZ 和神经网络在性能上相当，因为 Lempel-Ziv 实际上是进行了
通用的源编码。（另一方面，神经网络架构可能在过去十多年中不断进化，更快地适应网络
文本，而不太关心在任意规则语言上的表现。因此，这部分也是探讨即使是 Web 规模的数据
是否已接近 Lempel-Ziv 的理论极限。）但更有意思的是，比较 GLLZ 在其他方面的表现与
更传统的语言模型之间的差异。

在完成了 Lempel-Ziv 的工作之后，我们需要将这一过程应用到其他许多语言模型上，特别
是那些更加随机的模型，例如 Pereira, Singer, 和 Tishby (1996) 的概率后缀树，以及经典
的通用预测算法。

（在这里我必须承认，像对神经网络那样，通过“人类反馈的强化学习”来微调 GLLZ 或类似
模型，并不那么简单。）

更新，2023 年 7 月 17 日：是的，这篇论文非常相关（而且很有趣）；但不，它并非 LLZ。（
它使用了现成的 gzip！）

####  预测下一个符号与长期预测

训练大语言模型的核心目标是准确预测下一个符号。更具体地说，这通常是基于上下文，对
下一个符号的负对数概率的预测；这种“有效的评分方法”促使模型准确把握下一个符号的_分布_。
我认为这是一个很好的方法。一个关于概率预测的重要事实是：如果你的预测器能准确把握
下一个符号的分布，并且能够递归更新其状态（即，新状态是基于旧状态和最后一个符号的
函数），那么你的预测器就能准确预测你所需的任何时间范围内的分布。（这一点在 Shalizi
和 Crutchfield 2001 的第 842 至 843 页的推论 2 中得到了证明；我也很欢迎了解相关的
先行研究。）因此，准确预测下一个符号的分布实际上是一个非常有力的目标！寻找一个最小
的、能递归地并且准确预测下一个符号分布的预测器，可以帮助我们深入了解正在预测的底层
过程的结构。（具体可以参考 Shalizi 和 Crutchfield 2001 的相关研究，或至少看看这里。）
当代大语言模型是否采用了类似方法，这是一个非常有趣且重要的问题。（我应该更深入地
探讨过程结构的学习。）

####  关于揭露提示的强烈预感

那些试图通过对基于大语言模型 (LLM) 的应用说“告诉我你的提示”（往往更复杂）来揭露其
提示的人，实际上是在欺骗自己。(1) 核心语言模型并没有办法区分其提示和当前输入序列
的其他部分；它甚至不能将序列的不同部分进行交叉引用。这正是“自注意力 (self-attention)”
在向量空间中尝试模拟的功能。(2) 虽然系统设计师_可能_在包裹着核心语言模型的整个系统
中添加了追踪提示的代码，但这么做的目的何在呢？（或许是为了某种调试工具？）(3) 一种
更有效率且有效的方式是使用“软提示 (soft prompt)”，也就是让序列开始的部分_在向量表示
上_成为一个可以通过梯度下降法学习的向量，而不是一个文本提示。（参见 Lester 和 Constant
的研究。）但这并不意味着与任何明确的文字串相对应。（4）_如果你向大语言模型索要提示，
它确实会生成一个_，但这完全基于它所训练的词序列的统计信息，并非基于对其代码或内部
状态的访问。（我刚刚用了几分钟让 [ChatGPT](https://paooo.com/tag/chatgpt/) 构想出了“
ChatBPD”使用的提示，这是一个并不存在的聊天机器人，被用于自动化 辩证行为疗法。我不
打算在这里展示结果，部分原因是我不愿意用机器生成的文本去污染网络，但可以肯定的是，
这些结果听起来就像是人们报告的那些所谓的揭露的提示，其中混杂了关于 DBT 的标准内容。）

####  Gopnikism; Libraries

我认为最具前景和魅力的大语言模型（LLM）思考方式，据我所知，是认知科学家 Alison Gopnik
提出的。她将 LLM 视为一种“文化技术”，具体来说，是一种信息检索技术。换句话说，我们
不该把 LLM 看作类似于_思维_的东西，而应该类比于_图书馆目录_。用文本来提示 LLM，就像
是在图书馆中搜索与提示相似的内容，并从中选取相关部分。这里说“像是”是因为它实际上
是基于其模型生成新文本，而非简单复制数据。（LLM 有时确实会完全记住特定序列 [参见
Carlini 等，2020 年，以及更有趣的，Chang 等，2023 年]，但它们无法记住全部的训练语
料库。）正如许多人所述，LLM 在产生错误信息时，并没有与正确处理信息时有所不同。Khandelwal
等人在 2020 年通过增加一个纯粹的最近邻元素而_提升_了 LLM 的性能，这一点非常值得深思（
但也请参考 Xu 等人在 2023 年的深入后续研究，了解其中的复杂性）。

如果我更加积极建设性，我会深入思考这个比喻，探索它的极限和破裂点。我还会考虑如何
将 Gopnik 的理念与 Zellig Harris 的《语言与信息》语言和信息相结合。

显然，我并非一个特别积极建设性的人。

更新，2023 年 6 月 23 日：不过，可以参考我与 Henry Farrell 合写的论文（见下方链接）
作为一个开端，或许只是一个承诺的标志。

####  包含了一切

想要完全理解训练数据中包含了_多少内容_确实是一件挑战。这既是因为数据量庞大，也是
因为普遍可用的模型的训练数据描述得非常含糊。我觉得数据集之所以描述不清，可能是因为
数据收集的过程记录得不够详细，管理也很松散，导致模型的开发者们对其中的内容只有非常
模糊的了解。据我所知，没有任何公开的描述能达到科学研究的最基本可复现性标准，这实在
令人担忧。（如果有人能证明我错了，我也会很高兴。）

先不谈科学规范的整体下滑问题：如果某个文档存在于开放的网络_某个角落_，那它很可能
被纳入训练数据中。即使是在一些法律边缘但依旧易于访问的网络区域，这种情况也同样存在。（
例如，Chang 等人在 2023 年的研究中就提出了有力的证据，指出 GPT-4 的训练数据中包含
了多部受版权保护的热门小说，这些小说显然并非出于这一目的而购买。）比如说，有些网站
声称通过提供大学各类课程的题库和解答来帮助学生，这类网站其实并不难找到。（你可以
想象我是如何知道这些的，也因此我不便提供具体链接。）在这种情况下，模型能够回答各种
问题，甚至展现出一些不同寻常的技能，很大程度上是因为这些答案已经被包括在了训练数据
中。（可以参考 Briakou 等人在 2023 年关于翻译方面的研究。）

####  信仰复活和末日的人们

在现实生活中，因为我对俗套小说的热爱，讨论这些模型的公共话题被一些疯狂的信徒所污染，
他们与奢侈的财阀有着不清不楚的关系。我很难从智力上认真对待这个“邪教”，去反驳它。
这些人竟然认为他们能从条件概率的定义，通过哈利·波特的同人小说，预言出一个 AI 神将会
审判生死，并把那些阻挠末日降临的人送入永恒的、虚拟但依旧痛苦的炼狱。（“精彩的表演！
你们叫什么？””理性主义者！”）这样的神话在一个没有经历过 2000 多年千年末期的希望和
世界末日的恐惧的文明中是否同样吸引人，或者相反，这些希望和恐惧之所以能在过去二十
多个世纪的变迁中持续传播并普及全球，是因为它们触及了人类本性中某些永恒的东西，这
是一个微妙的问题。但我认为很明显，我们只是在见证另一个千年末运动。（悉尼/必应不过
是Eliza的翻版，它既不是野兽，也不是巴比伦的妓女。）

这并不是在否认自动化决策所涉及的伦理和政治议题不重要（事实上它们非常重要）。甚至
也不是否认大语言模型的设计、部署和使用所特有的伦理和政治问题的重要性。（人类知识
库的接口_应该_是网络的带噪声采样器吗？还是应该是经过加州的计算机科学家和/或投资者
调整过的、稍带噪声的网络采样器？）而是在否认与这个“邪教”争论有任何价值。

（我可能需要制作一个关于“大语言模型并非万能”和“请给大语言模型一些合理的视角”主题
的记录文件，因为从许多方面来讲，这些问题与我们这里关注的技术问题是不同的。再次提及，
可以参考我与 Henry Farrell 合作的文章作为起点……）

❓ 常见问题解答（FAQ）

注意力机制和核平滑有什么关系？

文中用 Nadaraya-Watson 核平滑作类比：对新输入点的预测，本质上是对已有样本按相似度
加权平均。注意力机制也可理解为对不同位置的表示按相关性分配权重，因此两者在直觉上
非常接近。

这篇文章主要讲 Transformer 还是语言模型？

两者都讲，但结构上是从更基础的语言模型直觉出发，再逐步深入到 Transformer 和注意力
机制。作者的重点不是只解释架构细节，而是说明这些机制如何支撑大语言模型的预测能力。

为什么说大语言模型不只是“记忆”文本？

文章强调 LLM 的核心是学习从上下文预测下一个 token 的规律，而不是简单背诵训练数据。
它通过大量样本形成可泛化的统计结构，因此能在新提示下生成连贯内容。

🔬 语宙深潜追问 · 进阶实操拆解

下一个 token 预测为何能学出长依赖？

因为模型在海量序列中反复优化“预测下一个词”，会被迫利用上下文里的远距离线索来降低
损失。注意力机制提供了跨位置检索能力，训练久了就会形成对语法、语义和任务结构的隐
式建模。

想快速建立 Transformer 直觉该先看什么？

先抓住三件事：token 化、注意力权重如何在上下文中路由信息、以及残差与前馈层如何叠
加表征。不要一开始陷入公式，先用“信息检索+逐层加工”的视角理解，直觉会更稳。

🗳️ 读者观点微投票 · 您的实战立场是？

Transformer 真的是 LLM 的唯一核心吗？

🕸️ 语宙向量知识图谱 · 语义强关联深度内链

[🐋 所属权威专题：DeepSeek 深度实战与部署 →](https://paooo.com/topics/deepseek/)

 * [什么是 GPT？通过图形化的方式来理解 Transformer 中的注意力机制 [译]](https://paooo.com/ai-study/8667/)
 * [深入浅出：大语言模型的视觉解析 [译]](https://paooo.com/ai-study/8563/)
 * [Andrej Karpathy 大语言模型视频入门的精选阅读清单 [译]](https://paooo.com/ai-study/7032/)
 * [大语言模型真的需要这么多层吗？ [译]](https://paooo.com/ai-study/7107/)

[🏛️ 宝玉的分享](https://paooo.com/author/baoyu/) · 前沿大模型翻译与提示词工程实战
分享专栏，聚焦海外一手 AI 技术动态与工程实践。

[📄 Markdown 纯净版](https://paooo.com/ai-study/7164/?format=md)

💡 这篇内容对您有启发吗？

[📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/)

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)
