# GPT-4 现在是否已经足够划算？[译]

- Link: https://paooo.com/ai-study/8487/
- Published: 2024-08-14T12:17:29+08:00
- Author: 宝玉的分享

⚡ [Prompt](https://paooo.com/ai-image-prompts/) 语宙 AI 导读 · 30 秒核心看点

 * GPT-4 从“只适合原型”逐步走向可生产使用，关键变化是限流、速度和价格同步改善。
 * 成本判断不能只看单价，还要看输入/输出 Token 比例；不同业务场景差异很大。
 * 在高输入、低输出场景下，GPT-4 Turbo 的相对成本更可控，但整体仍显著高于 GPT-3.5。

我通常使用 GPT 的方式是，先用 GPT-4 来快速搭建一个原型，然后不断优化，直到解决方案
能够在 GPT-3.5 模型上运行。

阅读目录

 * [GPT 价格历史](https://paooo.com/ai-study/8487/#gpt-%e4%bb%b7%e6%a0%bc%e5%8e%86%e5%8f%b2)
 * [现实世界中的输入与输出比例](https://paooo.com/ai-study/8487/#%e7%8e%b0%e5%ae%9e%e4%b8%96%e7%95%8c%e4%b8%ad%e7%9a%84%e8%be%93%e5%85%a5%e4%b8%8e%e8%be%93%e5%87%ba%e6%af%94%e4%be%8b)
 * [价格比较](https://paooo.com/ai-study/8487/#%e4%bb%b7%e6%a0%bc%e6%af%94%e8%be%83)
 * [案例研究：文档审查](https://paooo.com/ai-study/8487/#%e6%a1%88%e4%be%8b%e7%a0%94%e7%a9%b6%e6%96%87%e6%a1%a3%e5%ae%a1%e6%9f%a5)
 * [输入与输出比率及模型的选择](https://paooo.com/ai-study/8487/#%e8%be%93%e5%85%a5%e4%b8%8e%e8%be%93%e5%87%ba%e6%af%94%e7%8e%87%e5%8f%8a%e6%a8%a1%e5%9e%8b%e7%9a%84%e9%80%89%e6%8b%a9)
 * [结论](https://paooo.com/ai-study/8487/#%e7%bb%93%e8%ae%ba)

这个方法在我的实践中非常高效，它的一个重要好处是能迅速筛选出那些“行不通”的项目——
如果你在几天内都无法使项目在 GPT-4 的基础上运行起来，那么这个项目可能就不值得进一步
深入。

实际上，这就是我在 2023 年全年向合作公司推荐的工作流程。GPT-4 有一些问题，使得将
其应用于实际生产环境并不理想。

我对 GPT-4 的具体担忧包括：

 1. 直到几个月前，[OpenAI](https://paooo.com/tag/openai/) 本身还表示 GPT-4 尚未准备
    好投入生产使用。他们的官方建议是将其用于原型设计阶段。
 2. 长期以来，GPT-4 的请求速率限制非常严格。以前，它的上限仅为每分钟 200 个请求，而
    现在已经提升至每分钟 10,000 个。
 3. GPT-4 一直比 GPT-3.5 慢。我在 6 月对模型进行的基准测试显示，GPT-4 相比 GPT-3.5 
    的令牌间延迟高出 3 倍。
 4. 在历史上，GPT-4 的成本_远高于_ GPT-3.5。例如，2023 年 3 月，对于一个平均应用来说，
    GPT-3.5 的成本仅为 GPT-4 的五分之一。

自 2023 年 3 月起，这些因素都发生了显著的变化。请求速率限制、性能和定价都有了大幅
提升，主流的 GPT-4 模型现已非常适用于生产环境——尽管 GPT-4 Turbo 还未达到这一水平。

##  GPT 价格历史

回顾一下，GPT 模型的成本如何随时间变化：

 |  模型 |  每千个输入 Token 的价格 |  每千个输出 Token 的价格 |  
  |  `gpt-4-1106-preview` |  0.0100 美元 |  0.0300 美元 |  
 |  `gpt-4-0613` |  0.0300 美元 |  0.0600 美元 |  
 |  `gpt-4-0314` |  0.0300 美元 |  0.0600 美元 |  
 |  `gpt-3.5-turbo-1106` |  0.0010 美元 |  0.0020 美元 |  
 |  `gpt-3.5-turbo-16k-0613` |  0.0030 美元 |  0.0040 美元 |  
 |  `gpt-3.5-turbo-0613` |  0.0015 美元 |  0.0020 美元 |  
 |  `gpt-3.5-turbo-0301` |  0.0020 美元 |  0.0020 美元 |

跨不同模型进行成本比较需要考虑两个维度的定价因素：你预计的 Token 使用总量和输入输出
Token 的比例。

第一个指标很直观：你的 OpenAI 账单会随着使用量的增加而线性上升。而第二个指标则涉及
不同应用场景下的成本差异。以 11 月的模型为例，GPT-4 Turbo 的输出 Token 成本是输入
Token 的三倍，而 GPT-3.5 Turbo 的输出 Token 则是输入 Token 的两倍。

这意味着，对于输出 Token 使用量大的应用来说，GPT-4 Turbo 相较于 GPT-3.5 Turbo 会
更加昂贵。相比之下，输入 Token 使用较多的应用会发现成本差异较小。

##  现实世界中的输入与输出比例

当 Sam Altman 宣布 GPT-4 Turbo 相较于七月的 GPT-4 模型降价时，他提到平均 API 用户
的成本将减少约 2.75 倍。根据这个数据反推，我们可以得出平均输入与输出的 Token 比例
大约为 9:1。

这个比例只是一个大致的平均值。OpenAI 有众多客户，他们的工作内容各不相同。在规划你的
业务时，依赖这个 9:1 的比例可能不太可靠，因为实际的比例可能会有很大的差异。

以 Crimson Education 的产品为例，我观察到的输入与输出比例从 22.5:1 到 2.6:1 不等，
这取决于具体功能。我个人观察到的最大比例是 22.5:1，但在其他情况下，我也看到过低至
1.47:1 的比例。

在开发和生产过程中实际测量和跟踪输入与输出 Token 的比例是极其重要的。因为现实世界中
的比例变化极大，所以很难给出一个普适的标准比例。

如果我们只考虑成本而忽略模型的性能，那么具有 22.5:1 Token 比例的功能与 GPT-4 Turbo
非常匹配，因为我们可以通过这种方式最小化相对较高的输出 Token 成本。

##  价格比较

基于这些考量，这里是 11 月 GPT-4 Turbo 模型（`gpt-4-1106-preview`）在不同输入：输出
比率下相对成本的详细分析。表中的“相对价格”一栏显示了 GPT-4 Turbo 相对于其他模型的
额外成本；例如，在 9:1 输入：输出 Token 比率下，使用 GPT-4 Turbo 的综合成本是使用
11 月 GPT-3.5 Turbo 模型的成本的 10.91 倍。

 |  输入：输出比率 |  模型 |  相对价格 |  
  |  1.47:1 |  `gpt-3.5-turbo-1106` |  12.88 |  
 |  `gpt-3.5-turbo-0613` |  10.63 |  
 |  `gpt-4-0613` |  0.43 |  
 |  9:1 |  `gpt-3.5-turbo-1106` |  10.91 |  
 |  `gpt-3.5-turbo-0613` |  7.74 |  
 |  `gpt-4-0613` |  0.36 |  
 |  22.5:1 |  `gpt-3.5-turbo-1106` |  10.41 |  
 |  `gpt-3.5-turbo-0613` |  7.13 |  
 |  `gpt-4-0613` |  0.35 |

明确地说，7 月 GPT-4 模型的成本是同期 GPT-3.5 模型的 20 倍，但性能仅为三分之一，
这对我来说是难以接受的。我并不认为它适合投入实际应用，因为几乎在所有场合，只要适当
地使用提示，GPT-3.5 Turbo 就能够达到与 GPT-4 相似的效果。这种在价格和性能上的巨大
差异令人震惊。

但最新的模型变化大大改变了这一判断。

当我们将 GPT-4 Turbo 与 7 月份的模型相比较时，我发现差距已经显著缩小了。到目前为止，
我一直很高兴地在这些模型上进行工作。在成本上，GPT-4 Turbo 是 7.13 至 10.63 倍于 
7 月份的 GPT-3.5 Turbo 模型，但在每个 Token 之间的响应时间上，它仅比 GPT-3.5 Turbo
模型慢 26.2%。

如果你必须在 GPT-4 Turbo 和上一代 GPT-3.5 Turbo 模型中做出选择，那么 GPT-4 Turbo
无疑是更明智的选择。在大多数情况下，除非你需要的输出可以通过一个简单的提示就得到，
否则 GPT-4 Turbo 在成本和性能上几乎总是更胜一筹。

当然，我们实际上并不需要在这两个模型之间做出选择，因为还有新推出的 GPT-3.5 Turbo
模型可以考虑。这个新模型的成本比 GPT-4 Turbo 高出 10.41 至 12.88 倍，但在性能方面，
GPT-4 Turbo 的响应时间大约只有 GPT-3.5 Turbo 的一半。

只考虑当前这一代的模型时，选择就变得不那么明显了。

##  案例研究：文档审查

我们在 Crimson 最近推出了一个新功能，能够根据特定的评分标准来评估输入的文档。尽管
GPT-4 Turbo（GPT-4 Turbo）有能力单次提示下完成文档评分，但从经济和可扩展性角度考虑，
我们选择使用 GPT-3.5 Turbo（GPT-3.5 Turbo）。

![文档审查功能的屏幕截图。所审查的文档质量高，分数也反映了这一点。](https://paooo.
com/wp-content/uploads/2024/08/CrimsonApp-DocumentReview.webp)

文档审查功能的屏幕截图。所审查的文档质量高，分数也反映了这一点。

展示我们新的文档审查功能如何工作

对于这种文档审查应用，绕过较小型号 GPT-3.5 Turbo 的局限性相对容易。我们做法是：评
分标准的每个项目都有各自的评分提示，并且这些提示可以同时运行（并行处理！）。然后，
这些单独的提示结果会被送到最后的提示中，用来生成反馈。

![Crimson 使用 GPT-3.5 Turbo 进行文档审查的具体流程。这张图表展示了如何在各项标准
评分并行完成后，汇总并整合这些评分以产生反馈。](https://paooo.com/wp-content/uploads/
2024/08/documentreview-pipeline.svg)

Crimson 使用 GPT-3.5 Turbo 进行文档审查的具体流程。这张图表展示了如何在各项标准评
分并行完成后，汇总并整合这些评分以产生反馈。

因此，我们的“调用栈 (call stack)”仅有两个提示深度。鉴于 GPT-4 Turbo 的处理速度仅
为 GPT-3.5 Turbo 的一半，这个选择是合理的。但重要的不仅是提示的数量，更关键的是输出
Token（Token）的数量。在大多数情况下，大语言模型 (LLM) 的响应时间几乎是线性的，取决
于在关键流程中生成的 Token 数量。

而且很明显，我们每个更小、更受限制的提示生成的内容要比单个大型 GPT-4 Turbo 提示的
内容少。至少在并行处理的每个评分提示中，我们只需要输出一个分数，而不是像之前那样
需要顺序输出所有分数，这样可以节省不少 Token。

在实际操作中，我们的关键流程输出的 Token 数量还可以进一步减少。我们采用了思维链提示(
chain-of-thought prompting) 来获得更好的效果，当模型一次只需考虑评分标准中的一个
方面时，其“思维”过程可以更加简洁。

我们通常能在 6 秒左右的时间内，使用 GPT-3.5 Turbo 生成一条评价。而 GPT-4 Turbo 的
生成时间通常在 17 秒左右。但仅仅比较 Token 生成速度的直接基准测试，并不能完全展现
出全部情况：将 `gpt-3.5-turbo-1106` 升级到 `gpt-4-1106-preview` 时，预期的性能下降
约为 2.12 倍，这只是在一个相似场景下的测量结果。

值得一提的是，我们用于 GPT-3.5 Turbo 的架构也同样适用于 GPT-4 Turbo；并非一定要在
[大模型](https://paooo.com/ai-study/)的单一提示中完成所有任务。但当我们的架构在较
小模型上运行良好时，就没有必要改变，这通常是长时间架构优化后的常态。

最终，我们不仅节约了相当一部分成本，还显著提升了用户体验。六秒的响应时间几乎即时，
对于终端用户而言并不显得过于漫长。

至少在我们迄今为止开发的应用中，文档审查是一个相对简单的任务。你并不真正需要更大
模型的高级推理能力，因为我们希望用户能够几乎实时地编辑他们的文档，因此对性能的要求
非常严格。

像这种情况下的用例，GPT-3.5 Turbo 仍然非常合适。但在更复杂的问题上，我不再认为避免
使用 GPT-4 Turbo 是个好主意。对于你和你的公司而言，减少提示工程的工作量，承担 GPT-
4 Turbo 较高的成本，以便更频繁地发布产品，从经济角度看是更合理的。

##  输入与输出比率及模型的选择

我们研究了输入与输出 Token 比率在成本分析中的应用，发现它们也是选择合适模型的重要
指标。直观上，输入与输出比率高的应用更适合长提示（而非简短的补全），因此 GPT-4 Turbo
特别适用于这类场景。

实际上，我有一个具体的标准：在使用 GPT-3.5 系列模型时，我从未部署过输入与输出比率
达到或超过 **17.5:1** 的应用。所有这类比率的特性都是使用 GPT-4 Turbo 来实现的。

深入分析这种直觉，我们可以发现两个关键因素：

**一次性处理大量数据变得简单。** 当你处理海量数据时——即拥有大量输入 Token——使用 
GPT-3.5 就意味着你需要进行多轮的排序、筛选和总结，来应对其较小的上下文限制。

虽然使用 GPT-4 Turbo 时你可能仍需进行这些处理，但它在开发过程中的便捷性是显而易见
的。

在 GPT-3.5 的环境中，你必须大量减少数据量，然后才能看到最终输出的示例。而在 GPT-
4 的环境中，你可以_立刻_得到一个输出，然后利用这个输出来智能地优化你的预处理流程。

**GPT-4 Turbo 在处理“中段忽略”问题上更加高效。** 语言模型常常会忽视提示中间的指令，
这个问题随着提示长度的增加而加剧。GPT-4 Turbo 虽未能_完全_解决这一问题，但它在处理
更长上下文时的性能衰减程度较之前有了显著改善。

Greg Kamradt 的测量表明，在一项简单的回忆测试中，性能一直表现出色，直到输入 Token
达到 73K。这是个相当优秀的成果！在这项基准测试中，你基本上能够处理相当于两个完整
大小的`gpt-4-32k`上下文，然后才会遇到问题。

简而言之，如果你的输入与输出 Token 的比例非常高，那么你的应用场景很可能非常适合使用
GPT-4 Turbo，无论是从成本还是模型性能的角度看都是如此。

##  结论

直到现在，我都不太倾向于推荐在实际应用中使用 GPT-4 模型，但技术的进步使得这些模型
的应用变得更加可行。尽管 GPT-4 Turbo 目前还处于预览阶段，但它在速率限制方面已经取得
了重大改进，我预计不久后 OpenAI 将会宣布它正式适用于生产环境。

与 2022 年 7 月的 GPT-3.5 Turbo 模型相比，转换到 GPT-4 Turbo 将使成本增加约 7.74
倍，且在相同架构下性能降低 50%。

但 GPT-4 模型的真正价值在于，它们能够通过更少的提示和更简洁的架构达到良好的效果。
在我的经验中，一个 GPT-4 的提示往往能完成 3-4 个 GPT-3.5 提示的工作量。考虑到这一点，
GPT-4 Turbo 将适合许多应用场景的成本效益。

然而，GPT-4 并不是 GPT-3.5 的直接升级。在性能要求严格的应用场景中，或者问题足够简单，
可以为 GPT-3.5 重新设计架构的情况下，投入资源进行提示优化仍然是值得的。

❓ 常见问题解答（FAQ）

GPT-4 现在适合直接上生产吗？

文章结论是：主流 GPT-4 模型已经非常适用于生产环境，原因是速率限制、性能和定价都明显
改善。但作者也明确指出，GPT-4 Turbo 还未达到同等成熟度，是否上线仍要结合具体场景
评估。

为什么 GPT-4 的实际成本不能只看单价？

因为总成本取决于两项：Token 总量，以及输入和输出 Token 的比例。输出 Token 通常更
贵，若业务输出占比高，GPT-4 Turbo 的综合成本会明显上升；输入占比高的场景则差距相对
较小。

如何判断自己的项目适不适合用 GPT-4 Turbo？

先实际测量输入/输出 Token 比例，再结合性能需求判断。文章给出的经验是：若场景输入
远多于输出，例如 22.5:1 这类比例，GPT-4 Turbo 更容易控制成本；但若输出占比高，成本
压力会更大。

🔬 语宙深潜追问 · 进阶实操拆解

怎么判断 GPT-4 的性价比阈值？

先按任务拆分：高价值、低容错、长文本推理优先用 GPT-4；高频、低复杂度请求可切更便宜
模型。再用单次成本、延迟、失败率和人工返工率四项算总成本，别只看 token 单价。

GPT-4 Turbo 何时值得切换？

当你的场景更看重吞吐和上下文长度，而不是极致稳定性时再切。建议先做 A/B：对比准确
率、超时率、工具调用成功率和用户满意度，若收益不明显，就继续用主力 GPT-4。

🗳️ 读者观点微投票 · 您的实战立场是？

GPT-4 现在更适合直接上生产吗？

🕸️ 语宙向量知识图谱 · 语义强关联深度内链

[⚡ 所属权威专题：OpenAI GPT 与 Sora 生态 →](https://paooo.com/topics/openai-gpt-sora/)

 * [RAG 与 GPT-4 的上下文窗口比较：准确性、成本和响应速度 [译]](https://paooo.com/ai-study/7061/)
 * [OpenAI发布GPT-5.6模型系列:Sol、Terra、Luna三版本上线，主打网络安全与高性价比](https://paooo.com/aigc-news/29028/)
 * [2024 AI 预测 [译]](https://paooo.com/ai-study/8439/)
 * [GPT-5.4 mini – OpenAI推出的最强小型模型](https://paooo.com/aigc-news/38554/)

[🏛️ 宝玉的分享](https://paooo.com/author/baoyu/) · 前沿大模型翻译与提示词工程实战
分享专栏，聚焦海外一手 AI 技术动态与工程实践。

[📄 Markdown 纯净版](https://paooo.com/ai-study/8487/?format=md)

💡 这篇内容对您有启发吗？

[📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/)

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)
