# 大语言模型 API 市场的变迁之路 [译]

- Link: https://paooo.com/ai-study/7096/
- Published: 2024-05-07T18:18:37+08:00
- Author: 宝玉的分享

⚡ [Prompt](https://paooo.com/ai-image-prompts/) 语宙 AI 导读 · 30 秒核心看点

 * LLM API 市场正从单一垄断走向分层竞争，高端模型保留溢价，低端市场快速价格下探。
 * 开源重量级模型与托管方案正在压缩利润空间，效率提升会被竞争对手同步追赶。
 * 长期看，API 定价将更接近算力与电力成本，模型能力差距会决定高端市场边界。

FINBARR TIMBERS

2023 年 12 月 13 日

在我踏入机器学习的世界之前，我是一名专攻经济学的研究生，那时候的我日复一日地研究
OLS 问题（直到现在，我一闭眼就能看到那个经常推导的 OLS 方程—— `(X'X)^-1X'y`）。我的
研究领域是反垄断理论，特别是在垂直整合这一块。这段经历给了我一个独到的视角去思考
一个问题：随着越来越多公司加入这个领域，大语言模型 API 市场将如何发展？

这个市场的起点可以追溯到 OpenAI 发布了 [ChatGPT](https://paooo.com/tag/chatgpt/)，
他们迅速实现了 13 亿美元的收入。但在去年的这个时候，大语言模型 API 市场几乎还是一片
空白，几乎没有任何竞争。那时，Bard 还未面世，Claude 也是如此，而 Gemini 不过是 Sundar
心中的一个小小愿景。OpenAI 几乎垄断了整个市场，基本上独占了所有价值。

但在过去的这一年，我们看到了市场的变化。除了顶级产品之外，大语言模型几乎没有形成
任何护城河。GPT-4 是唯一没有竞争对手的模型，但竞争者已经在暗中觊觎——比如 Gemini 
Ultra、Llama 3，还有那个神秘且即将问世、规模比中等还要大的 Mistral 模型。而在 GPT
3.5 这个级别，你已经有了多种托管选择，甚至可以自己来托管。这种情况自然限制了任何
公司能够标定的价格。

通常，公司会在认为能获得超过他们最低盈利门槛的利润时进入一个新市场。公司规模越大，
他们所需的利润门槛就越低。比如我，一个个体经营者，如果要开始提供大语言模型的微调
服务，最初我需要设定较高的利润率，因为我需要在一个相对较小的客户群中摊分成本。但
随着我的业务扩大，我就能够在更大的客户群中分摊成本，并且有更多资金投入到优化中，
这使得我能够以更低的成本提供大语言模型服务，具体方式包括：

 * 进行量化
 * 直接购买芯片而不是租用
 * 模型精简
 * _自主制造_芯片

每当你通过优化提高工作流程的效率，你的利润空间也随之增加。听起来不错！意味着每个
Token 能带来更多利润。但实际情况并非如此简单。在一个理想化的、拥有球形奶牛的假设
环境中，这的确成立。但是，正如你在提升 Token 服务效率上的投资，你的竞争对手们也在
进行相同的努力，这不断侵蚀着你的利润。用 Ben Horowitz 的方式来说，你必须不断奔跑，
才能保持不后退。

这表明，在同质化的大语言模型 (LLM) 市场中，将展开一场关于效率的激烈竞争，各公司都在
争夺能够实现最低投资回报率的地位。

在著名的商业战略著作《创新者的窘境》(The Innovator’s Dilemma) 中，有一个关于技术
颠覆如何发生的经典案例，这个案例摘自《纽约客》杂志对作者 Clayton Christensen 的介绍：

![大语言模型 API 市场的变迁之路 [译]](https://paooo.com/wp-content/uploads/2024/
05/httpssubstack-post-media.s3.amazonaws.compublicimagesd40caa01-9f04-47cb-ac76-
392b804cf46b_1498x868.webp)

> 他按动遥控器，屏幕上出现了第一张幻灯片。他解释道：“对于没多少钢铁制造经验的人来说，
> 历史上主要有两种制钢方式。大部分的钢铁都是由规模庞大的综合钢铁公司生产的。另一种
> 方法则是建立小型钢厂。在小型钢厂里，通过电炉熔炼废钢，这样的炉子在这个房间里可以
> 放下四个。小型钢厂的关键优势在于，其生产成本比综合钢厂低 20%。设想一下，如果你是
> 某钢铁公司的 CEO，在最好的年份里，你的净利润只有 2% 到 4%。那么面对一种可以减少
> 20% 制造成本的技术，你难道不会采纳吗？但奇怪的是，世界上没有一家综合钢铁公司投资
> 建立小型钢厂。如今，除了一家外，其余的综合钢厂都破产了。这就说明，即便是看似明智
> 的决策，对于聪明人来说也可能是无法实现的。”

在钢铁制造的世界里，历史上，钢材主要在庞大的综合钢铁厂中生产，它们生产高品质的钢材，
保持着合理的利润。然而，电动小型钢厂的出现改变了这一格局。这些小型钢厂最初以较低
的成本生产低质量的钢材。大型钢铁厂商对此不予理会，继续专注于制造高品质、高利润的
钢材。但随着时间的推进，这些电动小型钢厂逐渐掌握了生产更高品质钢材的技术，向高端
市场发展，并最终推翻了大型综合钢厂的统治（例如，美国钢铁公司——曾是美国市值第 16 
大的企业——在 2014 年被移出标普 500 指数）。

LLM（大语言模型）的比喻很直观。大型实验室致力于开发性能最优的模型，虽然它们昂贵但
效果卓越，超越所有其他模型。但这也意味着高昂的成本，为了支付这些 $900k 工程师 的
薪水，你得有足够的利润。在市场的另一端，由 Meta 和 r/LocalLlama 领衔的开源社区正在
制作高质量的模型，并探索如何在 超低功耗的设备上运行这些模型。预计，开源重量级模型
会在保持质量的同时降低成本，对大型实验室的利润造成压力。例如，Together 推出的 Mixtral
托管版本，价格比 Mistral 自家版本低 70%。

![大语言模型 API 市场的变迁之路 [译]](https://paooo.com/wp-content/uploads/2024/
05/httpssubstack-post-media.s3.amazonaws.compublicimages0388f07a-71b8-4d4b-9cf3-
02dfcf21adb1_1188x304.webp)

因此，市场将分为两部分：高端市场将拥有价格更高、质量更好的模型，而低端市场则有价格
更低、质量较差的模型。对于开源重量级模型，我们可以预见它们的价格将会趋近于 GPU 和
电力的成本，随着 GPU 市场竞争的加剧，这可能最终仅限于电力成本。

那么，这些 API 的潜在购买者会是怎样的？如果我们将 LLM（大语言模型）能执行的任务按
经济价值从高到低排名，那么有多少任务实际上需要高度复杂的模型？虽然在某些情况下可能
必须使用 GPT-4，但这种需求阈值不太可能保持不变。开放重量模型将继续其稳步上升的趋势，
挑战大型实验室的利润空间。随着使得在不同模型 API 之间无缝切换变得更加简单的工具的
出现，开发者们将更倾向于选择能够完成他们任务的成本最低的模型。比如，当使用 LLM 进行
简短代码补全时，你真的需要最大型、最高级的模型吗？可能并非如此。

此外，那些在消费市场上取得巨大成功的公司，最终可能会反对向其他公司支付大量利润，
并开始开发自己的模型。我们看到，像 Harvey 和 Cursor 这样的公司，它们是最早接触 GPT-
4 的公司之一，开始招募 研究科学家 和 工程师，为他们培养训练自己的基础模型的人才。
由于 API 费用可能是这些公司的主要开支，他们自然会尽一切努力来尽可能降低成本。

如果你正在打造自己的模型，你可以募集一轮投资来支持自己的模型开发，这种一次性的资本
支出可以用来提高整体利润率。谷歌的 TPU 计划就是一个例子。通过在定制硅芯片上投资数
十亿美元，他们可以避免支付 Nvidia 的昂贵费用。

因此，结论是，只要任务足够简单，能够被开放重量模型解决，LLM API 市场将趋向于最低
成本。如果你的任务极其复杂，需要最优秀的模型，你只能选择支付给 [OpenAI](https://paooo.com/tag/openai/)。
对于其他人，微调过的 Mistral 7B 是一个不错的选择。

🧭 文中关联 [AI 工具](https://ai.paooo.com/)官网与参数卡（语宙 AI 导航）

**ChatGPT ↗**

OpenAI 研发的通用人工智能对话大模型，支持多模态交互与深度推理。

**Llama 3 ↗**

Meta最新开源推出的新一代大模型。

**Claude ↗**

Anthropic 打造的新一代安全人工智能模型，具备超长上下文理解能力，最强代码伴侣。

❓ 常见问题解答（FAQ）

大语言模型 API 市场为什么会降价？

因为模型能力逐渐同质化，尤其是 GPT-3.5 级别已有多种托管和自托管选择，价格很难维持
高溢价。与此同时，开源重量级模型和更高效的部署方式不断把成本压向 GPU 与电力。

文章如何看待开源大模型的竞争力？

文章认为开源重量级模型会持续提升质量并降低成本，逐步挤压大型实验室的利润空间。像
托管版 Mixtral 这类方案，已经能以更低价格提供接近的能力。

LLM API 市场未来会怎么分层？

作者判断市场会分成高端与低端两层：高端由更强、更贵的模型占据，低端则由更便宜、质量
略低的模型竞争。随着竞争加剧，低端价格可能逼近算力和电力成本。

🔬 语宙深潜追问 · 进阶实操拆解

如何判断该选闭源还是开源 API？

先看你的约束：若追求极致效果、稳定 SLA 和工具生态，闭源高端模型仍更省心；若看重成本、
可控性和私有化，优先评估开源权重+托管推理。实际应按任务分层，核心链路用高端模型，
批量与低风险任务用便宜模型。

API 价格战下怎么做成本优化？

把成本拆成推理、上下文和失败重试三部分优化：缩短提示词、缓存高频结果、做模型路由
与分级调用，并对长上下文任务改用检索增强。若吞吐稳定，直接比较每百万 token 成本与
GPU 利用率，别只看标价。

🗳️ 读者观点微投票 · 您的实战立场是？

大模型 API 价格战会把谁先卷出局？

🕸️ 语宙向量知识图谱 · 语义强关联深度内链

[⚡ 所属权威专题：OpenAI GPT 与 Sora 生态 →](https://paooo.com/topics/openai-gpt-sora/)

 * [大语言模型推理的价格战 – 靠规模取胜？[译]](https://paooo.com/ai-study/8479/)
 * [高效大语言模型推理 [译]](https://paooo.com/ai-study/8438/)
 * [AI 之后软件开发领域的 3 个预测 [译]](https://paooo.com/ai-study/7070/)
 * [为忙碌人士准备的大语言模型（LLM）速览 [译]](https://paooo.com/ai-study/7073/)

[🏛️ 宝玉的分享](https://paooo.com/author/baoyu/) · 前沿大模型翻译与提示词工程实战
分享专栏，聚焦海外一手 AI 技术动态与工程实践。

[📄 Markdown 纯净版](https://paooo.com/ai-study/7096/?format=md)

💡 这篇内容对您有启发吗？

[📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/)

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)
