---
title: "GPT-4 现在是否已经足够划算？[译]"
url: "https://paooo.com/ai-study/8487/"
author: "宝玉的分享"
published_at: "2024-08-14T12:17:29+08:00"
updated_at: "2026-05-23T18:27:38+08:00"
categories: "强化 AI 学习"
tags: "AI编程, ChatGPT, OpenAI, 大模型微调"
source: "Prompt 语宙 (https://paooo.com)"
ai_tools_directory: "语宙 AI 导航 (https://ai.paooo.com)"
---

# GPT-4 现在是否已经足够划算？[译]

> 来源：[Prompt 语宙 (paooo.com)](https://paooo.com/ai-study/8487/) · 作者：宝玉的分享 · 发布时间：2024-08-14

## AI 30 秒核心看点 (TL;DR)

- GPT-4 从“只适合原型”逐步走向可生产使用，关键变化是限流、速度和价格同步改善。
- 成本判断不能只看单价，还要看输入/输出 Token 比例；不同业务场景差异很大。
- 在高输入、低输出场景下，GPT-4 Turbo 的相对成本更可控，但整体仍显著高于 GPT-3.5。

我通常使用 GPT 的方式是，先用 GPT-4 来快速搭建一个原型，然后不断优化，直到解决方案能够在 GPT-3.5 模型上运行。

这个方法在我的实践中非常高效，它的一个重要好处是能迅速筛选出那些“行不通”的项目——如果你在几天内都无法使项目在 GPT-4 的基础上运行起来，那么这个项目可能就不值得进一步深入。

实际上，这就是我在 2023 年全年向合作公司推荐的工作流程。GPT-4 有一些问题，使得将其应用于实际生产环境并不理想。

我对 GPT-4 的具体担忧包括：

- 直到几个月前，OpenAI 本身还表示 GPT-4 尚未准备好投入生产使用。他们的官方建议是将其用于原型设计阶段。

- 长期以来，GPT-4 的请求速率限制非常严格。以前，它的上限仅为每分钟 200 个请求，而现在已经提升至每分钟 10,000 个。

- GPT-4 一直比 GPT-3.5 慢。我在 6 月对模型进行的基准测试显示，GPT-4 相比 GPT-3.5 的令牌间延迟高出 3 倍。

- 在历史上，GPT-4 的成本远高于 GPT-3.5。例如，2023 年 3 月，对于一个平均应用来说，GPT-3.5 的成本仅为 GPT-4 的五分之一。

自 2023 年 3 月起，这些因素都发生了显著的变化。请求速率限制、性能和定价都有了大幅提升，主流的 GPT-4 模型现已非常适用于生产环境——尽管 GPT-4 Turbo 还未达到这一水平。

## 
GPT 价格历史

回顾一下，GPT 模型的成本如何随时间变化：

模型
每千个输入 Token 的价格
每千个输出 Token 的价格

`gpt-4-1106-preview`
0.0100 美元
0.0300 美元

`gpt-4-0613`
0.0300 美元
0.0600 美元

`gpt-4-0314`
0.0300 美元
0.0600 美元

`gpt-3.5-turbo-1106`
0.0010 美元
0.0020 美元

`gpt-3.5-turbo-16k-0613`
0.0030 美元
0.0040 美元

`gpt-3.5-turbo-0613`
0.0015 美元
0.0020 美元

`gpt-3.5-turbo-0301`
0.0020 美元
0.0020 美元

跨不同模型进行成本比较需要考虑两个维度的定价因素：你预计的 Token 使用总量和输入输出 Token 的比例。

第一个指标很直观：你的 OpenAI 账单会随着使用量的增加而线性上升。而第二个指标则涉及不同应用场景下的成本差异。以 11 月的模型为例，GPT-4 Turbo 的输出 Token 成本是输入 Token 的三倍，而 GPT-3.5 Turbo 的输出 Token 则是输入 Token 的两倍。

这意味着，对于输出 Token 使用量大的应用来说，GPT-4 Turbo 相较于 GPT-3.5 Turbo 会更加昂贵。相比之下，输入 Token 使用较多的应用会发现成本差异较小。

## 
现实世界中的输入与输出比例

当 Sam Altman 宣布 GPT-4 Turbo 相较于七月的 GPT-4 模型降价时，他提到平均 API 用户的成本将减少约 2.75 倍。根据这个数据反推，我们可以得出平均输入与输出的 Token 比例大约为 9:1。

这个比例只是一个大致的平均值。OpenAI 有众多客户，他们的工作内容各不相同。在规划你的业务时，依赖这个 9:1 的比例可能不太可靠，因为实际的比例可能会有很大的差异。

以 Crimson Education 的产品为例，我观察到的输入与输出比例从 22.5:1 到 2.6:1 不等，这取决于具体功能。我个人观察到的最大比例是 22.5:1，但在其他情况下，我也看到过低至 1.47:1 的比例。

在开发和生产过程中实际测量和跟踪输入与输出 Token 的比例是极其重要的。因为现实世界中的比例变化极大，所以很难给出一个普适的标准比例。

如果我们只考虑成本而忽略模型的性能，那么具有 22.5:1 Token 比例的功能与 GPT-4 Turbo 非常匹配，因为我们可以通过这种方式最小化相对较高的输出 Token 成本。

## 
价格比较

基于这些考量，这里是 11 月 GPT-4 Turbo 模型（`gpt-4-1106-preview`）在不同输入：输出比率下相对成本的详细分析。表中的“相对价格”一栏显示了 GPT-4 Turbo 相对于其他模型的额外成本；例如，在 9:1 输入：输出 Token 比率下，使用 GPT-4 Turbo 的综合成本是使用 11 月 GPT-3.5 Turbo 模型的成本的 10.91 倍。

输入：输出比率
模型
相对价格

1.47:1
`gpt-3.5-turbo-1106`
12.88

`gpt-3.5-turbo-0613`
10.63

`gpt-4-0613`
0.43

9:1
`gpt-3.5-turbo-1106`
10.91

`gpt-3.5-turbo-0613`
7.74

`gpt-4-0613`
0.36

22.5:1
`gpt-3.5-turbo-1106`
10.41

`gpt-3.5-turbo-0613`
7.13

`gpt-4-0613`
0.35

明确地说，7 月 GPT-4 模型的成本是同期 GPT-3.5 模型的 20 倍，但性能仅为三分之一，这对我来说是难以接受的。我并不认为它适合投入实际应用，因为几乎在所有场合，只要适当地使用提示，GPT-3.5 Turbo 就能够达到与 GPT-4 相似的效果。这种在价格和性能上的巨大差异令人震惊。

但最新的模型变化大大改变了这一判断。

当我们将 GPT-4 Turbo 与 7 月份的模型相比较时，我发现差距已经显著缩小了。到目前为止，我一直很高兴地在这些模型上进行工作。在成本上，GPT-4 Turbo 是 7.13 至 10.63 倍于 7 月份的 GPT-3.5 Turbo 模型，但在每个 Token 之间的响应时间上，它仅比 GPT-3.5 Turbo 模型慢 26.2%。

如果你必须在 GPT-4 Turbo 和上一代 GPT-3.5 Turbo 模型中做出选择，那么 GPT-4 Turbo 无疑是更明智的选择。在大多数情况下，除非你需要的输出可以通过一个简单的提示就得到，否则 GPT-4 Turbo 在成本和性能上几乎总是更胜一筹。

当然，我们实际上并不需要在这两个模型之间做出选择，因为还有新推出的 GPT-3.5 Turbo 模型可以考虑。这个新模型的成本比 GPT-4 Turbo 高出 10.41 至 12.88 倍，但在性能方面，GPT-4 Turbo 的响应时间大约只有 GPT-3.5 Turbo 的一半。

只考虑当前这一代的模型时，选择就变得不那么明显了。

## 
案例研究：文档审查

我们在 Crimson 最近推出了一个新功能，能够根据特定的评分标准来评估输入的文档。尽管 GPT-4 Turbo（GPT-4 Turbo）有能力单次提示下完成文档评分，但从经济和可扩展性角度考虑，我们选择使用 GPT-3.5 Turbo（GPT-3.5 Turbo）。


	
	文档审查功能的屏幕截图。所审查的文档质量高，分数也反映了这一点。

展示我们新的文档审查功能如何工作

对于这种文档审查应用，绕过较小型号 GPT-3.5 Turbo 的局限性相对容易。我们做法是：评分标准的每个项目都有各自的评分提示，并且这些提示可以同时运行（并行处理！）。然后，这些单独的提示结果会被送到最后的提示中，用来生成反馈。


	
	Crimson 使用 GPT-3.5 Turbo 进行文档审查的具体流程。这张图表展示了如何在各项标准评分并行完成后，汇总并整合这些评分以产生反馈。

因此，我们的“调用栈 (call stack)”仅有两个提示深度。鉴于 GPT-4 Turbo 的处理速度仅为 GPT-3.5 Turbo 的一半，这个选择是合理的。但重要的不仅是提示的数量，更关键的是输出 Token（Token）的数量。在大多数情况下，大语言模型 (LLM) 的响应时间几乎是线性的，取决于在关键流程中生成的 Token 数量。

而且很明显，我们每个更小、更受限制的提示生成的内容要比单个大型 GPT-4 Turbo 提示的内容少。至少在并行处理的每个评分提示中，我们只需要输出一个分数，而不是像之前那样需要顺序输出所有分数，这样可以节省不少 Token。

在实际操作中，我们的关键流程输出的 Token 数量还可以进一步减少。我们采用了思维链提示 (chain-of-thought prompting) 来获得更好的效果，当模型一次只需考虑评分标准中的一个方面时，其“思维”过程可以更加简洁。

我们通常能在 6 秒左右的时间内，使用 GPT-3.5 Turbo 生成一条评价。而 GPT-4 Turbo 的生成时间通常在 17 秒左右。但仅仅比较 Token 生成速度的直接基准测试，并不能完全展现出全部情况：将 `gpt-3.5-turbo-1106` 升级到 `gpt-4-1106-preview` 时，预期的性能下降约为 2.12 倍，这只是在一个相似场景下的测量结果。

值得一提的是，我们用于 GPT-3.5 Turbo 的架构也同样适用于 GPT-4 Turbo；并非一定要在大模型的单一提示中完成所有任务。但当我们的架构在较小模型上运行良好时，就没有必要改变，这通常是长时间架构优化后的常态。

最终，我们不仅节约了相当一部分成本，还显著提升了用户体验。六秒的响应时间几乎即时，对于终端用户而言并不显得过于漫长。

至少在我们迄今为止开发的应用中，文档审查是一个相对简单的任务。你并不真正需要更大模型的高级推理能力，因为我们希望用户能够几乎实时地编辑他们的文档，因此对性能的要求非常严格。

像这种情况下的用例，GPT-3.5 Turbo 仍然非常合适。但在更复杂的问题上，我不再认为避免使用 GPT-4 Turbo 是个好主意。对于你和你的公司而言，减少提示工程的工作量，承担 GPT-4 Turbo 较高的成本，以便更频繁地发布产品，从经济角度看是更合理的。

## 
输入与输出比率及模型的选择

我们研究了输入与输出 Token 比率在成本分析中的应用，发现它们也是选择合适模型的重要指标。直观上，输入与输出比率高的应用更适合长提示（而非简短的补全），因此 GPT-4 Turbo 特别适用于这类场景。

实际上，我有一个具体的标准：在使用 GPT-3.5 系列模型时，我从未部署过输入与输出比率达到或超过 **17.5:1** 的应用。所有这类比率的特性都是使用 GPT-4 Turbo 来实现的。

深入分析这种直觉，我们可以发现两个关键因素：

**一次性处理大量数据变得简单。** 当你处理海量数据时——即拥有大量输入 Token——使用 GPT-3.5 就意味着你需要进行多轮的排序、筛选和总结，来应对其较小的上下文限制。

虽然使用 GPT-4 Turbo 时你可能仍需进行这些处理，但它在开发过程中的便捷性是显而易见的。

在 GPT-3.5 的环境中，你必须大量减少数据量，然后才能看到最终输出的示例。而在 GPT-4 的环境中，你可以立刻得到一个输出，然后利用这个输出来智能地优化你的预处理流程。

**GPT-4 Turbo 在处理“中段忽略”问题上更加高效。** 语言模型常常会忽视提示中间的指令，这个问题随着提示长度的增加而加剧。GPT-4 Turbo 虽未能完全解决这一问题，但它在处理更长上下文时的性能衰减程度较之前有了显著改善。

Greg Kamradt 的测量表明，在一项简单的回忆测试中，性能一直表现出色，直到输入 Token 达到 73K。这是个相当优秀的成果！在这项基准测试中，你基本上能够处理相当于两个完整大小的`gpt-4-32k`上下文，然后才会遇到问题。

简而言之，如果你的输入与输出 Token 的比例非常高，那么你的应用场景很可能非常适合使用 GPT-4 Turbo，无论是从成本还是模型性能的角度看都是如此。

## 
结论

直到现在，我都不太倾向于推荐在实际应用中使用 GPT-4 模型，但技术的进步使得这些模型的应用变得更加可行。尽管 GPT-4 Turbo 目前还处于预览阶段，但它在速率限制方面已经取得了重大改进，我预计不久后 OpenAI 将会宣布它正式适用于生产环境。

与 2022 年 7 月的 GPT-3.5 Turbo 模型相比，转换到 GPT-4 Turbo 将使成本增加约 7.74 倍，且在相同架构下性能降低 50%。

但 GPT-4 模型的真正价值在于，它们能够通过更少的提示和更简洁的架构达到良好的效果。在我的经验中，一个 GPT-4 的提示往往能完成 3-4 个 GPT-3.5 提示的工作量。考虑到这一点，GPT-4 Turbo 将适合许多应用场景的成本效益。

然而，GPT-4 并不是 GPT-3.5 的直接升级。在性能要求严格的应用场景中，或者问题足够简单，可以为 GPT-3.5 重新设计架构的情况下，投入资源进行提示优化仍然是值得的。

## 常见问题解答 (FAQ)

### GPT-4 现在适合直接上生产吗？
文章结论是：主流 GPT-4 模型已经非常适用于生产环境，原因是速率限制、性能和定价都明显改善。但作者也明确指出，GPT-4 Turbo 还未达到同等成熟度，是否上线仍要结合具体场景评估。

### 为什么 GPT-4 的实际成本不能只看单价？
因为总成本取决于两项：Token 总量，以及输入和输出 Token 的比例。输出 Token 通常更贵，若业务输出占比高，GPT-4 Turbo 的综合成本会明显上升；输入占比高的场景则差距相对较小。

### 如何判断自己的项目适不适合用 GPT-4 Turbo？
先实际测量输入/输出 Token 比例，再结合性能需求判断。文章给出的经验是：若场景输入远多于输出，例如 22.5:1 这类比例，GPT-4 Turbo 更容易控制成本；但若输出占比高，成本压力会更大。

---
探索 2,800+ 全球实用 AI 工具与官方直达入口：[语宙 AI 导航 (https://ai.paooo.com/)](https://ai.paooo.com/)
