# RAG 与 GPT-4 的上下文窗口比较：准确性、成本和响应速度 [译]

- Link: https://paooo.com/ai-study/7061/
- Published: 2024-02-18T12:16:34+08:00
- Author: 宝玉的分享

⚡ [Prompt](https://paooo.com/ai-image-prompts/) 语宙 AI 导读 · 30 秒核心看点

 * RAG+GPT-4 在搜索型查询中准确率极高，几乎达到“完美”表现。
 * 成本上，RAG 仍有固定推理开销，但总体约为 GPT-4-Turbo 的 4%。
 * 长文档查询里，LlamaIndex 平均延迟最低；乐观上传可进一步降低体感等待。

**摘要：(RAG + GPT-4) 提供卓越性能，成本仅为 4%。**

阅读目录

 * [引言](https://paooo.com/ai-study/7061/#%e5%bc%95%e8%a8%80)
 * [结果](https://paooo.com/ai-study/7061/#%e7%bb%93%e6%9e%9c)
    - [(1) 准确性](https://paooo.com/ai-study/7061/#1-%e5%87%86%e7%a1%ae%e6%80%a7)
    - [(2) 成本](https://paooo.com/ai-study/7061/#2-%e6%88%90%e6%9c%ac)
    - [(3) 延迟分析](https://paooo.com/ai-study/7061/#3-%e5%bb%b6%e8%bf%9f%e5%88%86%e6%9e%90)
 * [方法论](https://paooo.com/ai-study/7061/#%e6%96%b9%e6%b3%95%e8%ae%ba)
 * [分析](https://paooo.com/ai-study/7061/#%e5%88%86%e6%9e%90)
    - [(1) 准确性](https://paooo.com/ai-study/7061/#1-%e5%87%86%e7%a1%ae%e6%80%a7)
       * [LlamaIndex](https://paooo.com/ai-study/7061/#llamaindex)
    - [(2) 成本](https://paooo.com/ai-study/7061/#2-%e6%88%90%e6%9c%ac)
       * [每个 Token 的成本分析](https://paooo.com/ai-study/7061/#%e6%af%8f%e4%b8%aa-token-%e7%9a%84%e6%88%90%e6%9c%ac%e5%88%86%e6%9e%90)
       * [固定成本分析](https://paooo.com/ai-study/7061/#%e5%9b%ba%e5%ae%9a%e6%88%90%e6%9c%ac%e5%88%86%e6%9e%90)
    - [(3) 延迟问题](https://paooo.com/ai-study/7061/#3-%e5%bb%b6%e8%bf%9f%e9%97%ae%e9%a2%98)
 * [结束语](https://paooo.com/ai-study/7061/#%e7%bb%93%e6%9d%9f%e8%af%ad)

##  引言

在大语言模型应用阶段，重点是让回答变得非常具体，无论是针对数据集、用户、使用场景，
还是特定的调用请求。

通常，这通过以下三种主要技术之一实现：

 1. **上下文填充**
 2. **RAG**（检索增强生成）
 3. **微调**。

与常见的误解不同，实际上在定制 LLM 的回答时，主要使用的是**上下文填充**和**RAG**，
而不是微调。（**微调在其他方面有其独特且重要的作用** – 我将在下一篇文章中详细讨论）。

最近，我为 CopilotKit 添加了一个新的**面向文档**的反应钩子，专门用于处理（可能是
长篇的）文档。

在选择合理的默认设置时（受到 **Greg Kamradt)** 的启发），我对**RAG**和**GPT-4-Turbo**
的**上下文窗口**进行了一场“海底捞针”式的压力测试，关注三个关键指标： **（1）准确
性，(2) 成本，和 (3) 响应速度。**

我对两种不同的 RAG 管道进行了基准测试：

 1. **Llama-Index** – 最受欢迎的开源 RAG 框架（默认设置）。
 2. [OpenAI](https://paooo.com/tag/openai/) 最新的**助手**API 检索工具 – 它内部使用
    了 RAG，已经被证明使用了**Qdrant**向量数据库。

##  结果

先来看结果：

**摘要：** 现代 RAG 表现出色。根据您的使用场景，您可能**永远不需要**把上下文窗口
填得满满的（至少在处理文本时）。

###  (1) 准确性

![RAG 与 GPT-4 的上下文窗口比较：准确性、成本和响应速度 [译]](https://paooo.com/
wp-content/uploads/2024/02/5eabc9ec-795b-473f-be5a-f92c72313a95_7888x2064.webp)

如上图所示，助理 API（结合了 GPT-4 和 RAG 技术）的表现极为出色，几乎可以说是完美
的。

**需要注意的是，这种高水平的表现仅限于搜索类型的查询。** 在处理涉及较大上下文范围
的其他场景时（比如少样本学习），情况可能会有所不同。

###  (2) 成本

在 AI 技术中，使用上下文窗口填充技术仅会造成每个 Token（数据单位）的成本增加。相比
之下，RAG 技术不仅增加每个 Token 的成本，还额外增加了一种固定的大语言模型 (LLM) 
推理成本。

这里有一个 **每个 Token 成本的概览**：

![RAG 与 GPT-4 的上下文窗口比较：准确性、成本和响应速度 [译]](https://paooo.com/
wp-content/uploads/2024/02/67cb92ed-cfee-42d3-9d87-ef3620645f14_1721x1057.webp)

值得注意的是，这些成本在 **四个数量级上有显著差异（使用对数尺度测量）**。 **(详见
分析部分的图表和计算)。**

> *注：OpenAI 计划在 2024 年 1 月中旬之前不对数据检索收费。这可能是一次沟通上的失误，
> 未来可能会有所更正（例如，他们可能未提到他们将另行收取数据嵌入成本）。**另一种
> 可能性是，他们正在使用一种还未公布的新型数据嵌入模型。**

—

然而，值得再次强调的是，RAG 技术同样带来了大致固定的大语言模型[智能体](https://paooo.com/trends/)
循环成本。

以 128k 上下文窗口为例，平均总成本大约是 **每 1000 Token $0.0004，大约占 GPT-4-Turbo
成本的 4%。**

而 LlamaIndex 的成本稍低，每 1000 Token 为 $0.00028，原因是它采用了相对简单的智能
体循环机制。

![RAG 与 GPT-4 的上下文窗口比较：准确性、成本和响应速度 [译]](https://paooo.com/
wp-content/uploads/2024/02/647acff1-7d69-42aa-8049-127ba57fb9aa_1979x1180.webp)

###  (3) 延迟分析

通常情况下，对离线数据进行的 RAG 操作的检索延迟是以毫秒计算的，而整个过程的延迟则
主要取决于大语言模型（LLM）的调用时间。

**但对比一下从上传文档到获得结果的整个过程的延迟会很有意思，** 特别是为了了解 RAG
在面对“在线”数据时是否能与之竞争（相对于离线数据）。**简单来说，答案是肯定的！**

以下是对 **128k token 文档** 进行查询时的整体延迟情况：

 1. **LlamaIndex RAG** 的平均延迟最短，为 **12.9 秒**。
 2. **GPT4-Turbo** 紧随其后，平均延迟为 **21.6 秒** – 但实际延迟从 7 秒到 36 秒不等。
 3. **助手 API RAG** 的检索延迟为 **24.8 秒**

另外，大部分应用都可以通过 **乐观上传文档** 的方式来减少用户感知的延迟。由于 RAG
索引的成本非常低，这样做几乎没有什么损失。

![输出图像](https://paooo.com/wp-content/uploads/2024/02/ebdf41db-2f77-4368-861a-
8f0d4adcca33_1686x1101.webp)

输出图像

##  方法论

我在 **Greg Kamradt** 的杰出研究基础上进一步发展了我的工作。Greg 最近发布了关于 
GPT-4-Turbo 和 [Claude](https://paooo.com/aigc-news/) 2.1 在“大海捞针”测试中的表现。

我们的方法很简单，就像在“大海”里隐藏一根“针”，然后探询这根“针”的位置。我把“针”放在“
大海”中的不同位置，从起点到终点，每隔约 10% 改变一次。

在上下文窗口填充的实验中，我直接将这个“大海”放进了大语言模型的上下文窗口里。在 RAG
实验中，我创建了一个文档，并在这个文档上使用了 RAG。

（如同 Greg 精彩的分析所述，这个“大海”是由 Paul Graham 的文章组成的，而“针”则是一个
与之无关的小知识。）

##  分析

###  (1) 准确性

GPT-4 加上 RAG 展示了出色的表现。

这个发现并不令人意外。把无关信息加入到大语言模型的上下文窗口里不仅代价高昂，而且
还会对性能产生负面影响。少了这些无关信息，结果自然更佳。

**这个结果突显出我们仍处于大语言模型革命的初期。** 整个社区还在探索如何更合理地将
这些新型大语言模型的组件结合起来。过去一年中，围绕上下文窗口的争论可能会平淡地结束——
我们渐渐认识到，对于处理文本信息而言，关键在于运用越来越先进的 RAG 技术，而不是简单
地扩大上下文窗口的大小。

####  LlamaIndex

在测试 RAG 时，我原以为随着上下文窗口的扩大，它的表现会大体一致。**但事实并非如此**—
我发现当上下文长度超过大约 100k 后，性能明显下降了。我怀疑这是因为超出了某个临界
点，**检索过程没能有效地找到关键信息**。我打算深入研究一下底层机制来验证这一猜想（
也许会在下一篇文章中提及）。

当然，不同的数据分块和检索设置可能会影响这个结果。不过我这次测试主要是针对默认设置。

**总体来看，我对 LlamaIndex 以及开源大语言模型技术持乐观态度。** RAG 还处于容易取得
进展的阶段，而简化操作框架显得尤为关键。LlamaIndex 很可能会继续吸收新技术和最佳实践。

这张 OpenAI DevDay 的泄露幻灯片可能会给你一些启发：

![RAG 与 GPT-4 的上下文窗口比较：准确性、成本和响应速度 [译]](https://paooo.com/
wp-content/uploads/2024/02/49390a07-c883-449c-be97-997e25e0cdfa_1200x596.webp)

###  (2) 成本

关于 RAG 的成本分析，需要注意的是，它不完全是确定性的。

RAG 的第一步是**检索** – 它从大量数据中挑选出最有可能的文档片段，这个选择通常是基于
一些规则（如向量搜索）。第二步是**生成增强** – 将挑选出的片段输入到标准的大语言模型
中，或者像 OpenAI 那样，使用 AI 智能体循环进行处理。

理论上，检索可以通过多种方式实现，比如关键词搜索、关系搜索或混合方法。但实际上，**
现代的 RAG 方法多数依赖向量搜索** – 这种方式对每个 Token 有一次性的索引成本。随着
技术的发展，我们可能会看到越来越多的混合技术被采用。

####  每个 Token 的成本分析

首先，我们来看看不同场景下每个 Token 的成本情况：

 * GPT-4-Turbo 对**输入的 Token**收费为**每千个 0.01 美元**。
    （这比 GPT-4 和 GPT-
   4-32k 分别便宜了 3 倍和 6 倍）。
 * OpenAI 的**ada v2**嵌入模型的收费是**每千个 Token 0.0001 美元**，比 GPT-4-Turbo**
   便宜了 100 倍**。
 * **OpenAI 助理 API 的检索功能价格更为低廉**，按“无服务器”方式计费，每 GB 每助理
   每天收费 0.20 美元。假设 1 Token 约 5 字节，这相当于**每千个 Token 每助理每天
   仅需 0.000001 美元**。
    这比 ada v2 **便宜 100 倍**，比 GPT-4 输入的 Token **
   便宜了 10,000 倍**。

####  固定成本分析

关于固定成本，很难具体计算（在 OpenAI 的情况下甚至不可能），所以我是根据实际操作
来估算的。

根据结果部分所述，RAG 也会产生一定的固定成本，这主要是由 LLM 推理步骤造成的。在 
128k 的上下文中，这种固定成本大约占 GPT-4 上下文窗口的 4%。

**简单估算表明，从成本角度考虑，只有当上下文窗口小于 5k 时，使用上下文填充才划算。**

###  (3) 延迟问题

理论上，嵌入计算可以高度并行化。因此，随着市场需求的增长，未来基础设施的改进很可能
会显著降低延迟，甚至达到单个块嵌入往返时间的水平。

在这种情况下，即使是“在线”RAG 管道的延迟也会**大幅缩短**，届时“在线”RAG 的延迟将
主要受到 LLM 思维链环节的延迟影响。

—

##  结束语

充满期待的未来即将来临。

如果你正打算在你的应用中集成 Copilot，对贡献感兴趣，或者想了解和参与开放 Copilot
协议的发展，不要忘记加入我们的 GitHub 或 Discord！

🧭 文中关联 AI 工具官网与参数卡（语宙 AI 导航）

**Qdrant ↗**

开源的向量数据库和向量相似性AI搜索引擎。

❓ 常见问题解答（FAQ）

RAG 和 GPT-4 上下文窗口哪个更适合长文档检索？

从这篇实测看，RAG 更适合长文档检索类任务，尤其是搜索型查询。它能避免把大量无关内容
塞进上下文，准确性更高，整体成本也显著低于直接扩展上下文窗口。

RAG 的成本为什么不只是按 Token 计费？

因为 RAG 除了生成 Token 成本外，还会增加检索与智能体循环等固定推理开销。文章给出
的结论是：128k 场景下，RAG 的平均总成本约为 GPT-4-Turbo 的 4%。

LlamaIndex 和 OpenAI 助手 API 的 RAG 表现差别大吗？

文章测试了两种 RAG 管道：LlamaIndex 和 OpenAI 助手 API 检索工具。结果显示两者都很
强，但 LlamaIndex 在平均延迟上更短；不过在上下文超过约 100k 后，作者观察到其性能
开始下降。

🔬 语宙深潜追问 · 进阶实操拆解

什么时候该选 RAG 而不是长上下文？

当文档量大、查询分散、成本敏感时优先 RAG；当任务需要整篇全局推理、且上下文规模可
控时再考虑长上下文。多数生产场景里，RAG 在成本、延迟和可维护性上更稳。

怎样把 RAG 的准确率再往上提？

重点不只是召回，还要做分块策略、重排序、查询改写和答案引用。把“找对资料”与“用对资料”
分开评估，并为高风险问题加上来源校验和拒答机制。

🗳️ 读者观点微投票 · 您的实战立场是？

长文档问答，RAG 真的比超长上下文更值吗？

🕸️ 语宙向量知识图谱 · 语义强关联深度内链

[🧬 所属权威专题：RAG 知识库与模型微调 →](https://paooo.com/topics/rag-fine-tuning/)

 * [RAG 在长上下文大语言模型 (LLM) 中的应用探讨 [译]](https://paooo.com/ai-study/8702/)
 * [GPT-4 现在是否已经足够划算？[译]](https://paooo.com/ai-study/8487/)
 * [高级 RAG 技术：图解概览 [译]](https://paooo.com/ai-study/7169/)
 * [SFR-RAG – 专注于上下文理解和检索增强生成的语言模型](https://paooo.com/aigc-news/26716/)

[🏛️ 宝玉的分享](https://paooo.com/author/baoyu/) · 前沿大模型翻译与提示词工程实战
分享专栏，聚焦海外一手 AI 技术动态与工程实践。

[📄 Markdown 纯净版](https://paooo.com/ai-study/7061/?format=md)

💡 这篇内容对您有启发吗？

[📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/)

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)
