# 大语言模型推理的价格战 – 靠规模取胜？[译] - Link: https://paooo.com/ai-study/8479/ - Published: 2024-08-10T12:19:01+08:00 - Author: 宝玉的分享 ⚡ [Prompt](https://paooo.com/ai-image-prompts/) 语宙 AI 导读 · 30 秒核心看点 * Mixtral 以更低定价挑战 GPT-3.5，推理市场已进入明显的价格战阶段。 * 真正的利润不在“开放模型本身”，而在分发渠道、安全合规与全栈训练/微调服务。 * 即便在乐观假设下，Mixtral 的 API 也很可能接近亏损运行，靠规模化引流而非高毛利。 ### Mixtral 在 H100, MI300X, H200, A100 上的混合推理成本，及推测性解码 目前除了 [OpenAI](https://paooo.com/tag/openai/)，还有五家公司的模型在多个基准测试 中超越了 GPT-3.5，这些公司包括 Mistral Mixtral、Inflection-2、Anthropic Claude 2、 Google Gemini Pro 和 X.AI Grok。更令人惊讶的是，Mistral 和 X.AI 仅靠不到 20 人的 团队便取得了这样的成就。此外，我们还预计 Meta、Databricks、01.AI (Yi)、百度和字节 跳动很快也会实现超过 GPT-3.5 的性能。当然，这些成绩都是在基准测试中获得的，而且据说 有些公司是在评估数据上进行训练的……但不必太过纠结于这个_**小**_细节。 阅读目录 - [Mixtral 在 H100, MI300X, H200, A100 上的混合推理成本，及推测性解码](https://paooo.com/ai-study/8479/#mixtral-%e5%9c%a8-h100-mi300x-h200-a100-%e4%b8%8a%e7%9a%84%e6%b7%b7%e5%90%88%e6%8e%a8%e7%90%86%e6%88%90%e6%9c%ac%e5%8f%8a%e6%8e%a8%e6%b5%8b%e6%80%a7%e8%a7%a3%e7%a0%81) * [推测性解码 / Medusa](https://paooo.com/ai-study/8479/#%e6%8e%a8%e6%b5%8b%e6%80%a7%e8%a7%a3%e7%a0%81-medusa) * [量化技术](https://paooo.com/ai-study/8479/#%e9%87%8f%e5%8c%96%e6%8a%80%e6%9c%af) * [H200 & MI300X 性能分析](https://paooo.com/ai-study/8479/#h200-amp-mi300x-%e6%80%a7%e8%83%bd%e5%88%86%e6%9e%90) 对于关注此事的人来说，从现在起短短几个月内，将会有总共 11 家公司加入这一行列。显而易见， GPT-3.5 级别模型的预训练已经变得非常普及。OpenAI 仍然是 GPT-4 的领头羊，但这种领先 优势已大幅缩减。尽管我们认为最高端模型将占据大部分长期价值，但次一级别的模型在质量 和成本上也将在市场上创造出价值数十亿美元的细分市场，尤其是经过微调之后。 那么，如果这些模型无处不在，哪些公司能从中获利呢？ 那些通过完整的软件即服务或社交媒体直接接触客户，从而拥有独特分销渠道的公司将具有 优势。那些为他人提供全方位训练或微调服务，帮助他们处理从数据到服务的每个阶段的公司， 将具有优势。能够提供数据保护并确保所有模型使用合法的公司，也将具有优势。而那些仅仅 提供开放模型服务的公司则不会有竞争优势。 一些显著的优势可以从 Microsoft 的 Azure GPT API 与 OpenAI 的对比中看出。在公共和 私有实例的推理量方面，Microsoft 的表现超过了 OpenAI 自身的 API。对于谨慎的企业来说， Microsoft 提供的安全性、数据保障以及服务合同捆绑是非常重要的。此外，这些保护措施 还使得滥用行为者更容易逃避责任，正如 ByteDance 使用 Azure GPT-4 来训练他们即将推出 的大语言模型 (LLMs) 所示。 事实是，如果你不是市场的领头羊，那么你必须采取低价策略来吸引客户。例如，Google 在 其 GPT-3.5 竞争产品 Gemini Pro 上，每分钟提供 60 次免费 API 调用。Google 在这方面 并不孤单，事实上，如今几乎所有人都在大语言模型 (LLM) 推理上亏本。 纯粹开放模型的服务已经变得非常普遍。尽管开展这种服务的主要开支很大，但初始的资本 需求并不高。有许多次级云服务提供了优惠的定价（这主要是因为他们对投资回报的期望过 高），但使用这些服务可能需要承担一定的安全风险。 对公司而言，租赁一些 GPU 并开始利用 vLLM 和 TensorRT-LLM 等库在 Nvidia 和 AMD 的 GPU 上运行开源模型变得轻而易举。PyTorch 在推理 (inference) 性能上也越来越快，因此 进入这一领域的门槛正急剧降低。相关的一点是，可以查看 Nvidia 和 AMD 在 LLM 推理性能 方面，关于 MI300 与 H100 的激烈公开争论。AMD 对此的回应让 Nvidia 感到相当尴尬，因为 Nvidia 最初发布了一个具有误导性的博客文章。 随着 Mistral 推出的 Mixtral，推理成本出现了一场激烈的价格竞争。这主要是由那些燃烧 风险资本、希望通过规模化运营来实现盈利的初创公司所推动。OpenAI 的 GPT-3.5 Turbo 模型的运行成本本质上比 Mixtral 要低很多，OpenAI 之所以能维持较高的利润率，主要得益 于他们能够实现非常高的批处理规模。这种高批量处理的能力是其他用户基础较小的竞争者 所不具备的。 OpenAI 对每百万输入 Token 的收费为 1.00 美元，每百万输出 Token 的收费为 2.00 美元。 尽管运营成本更高，但拥有更高质量模型的 Mistral 为了吸引客户，其定价必须低于 OpenAI。 因此，Mistral 对每百万输入 Token 的收费为 0.65 美元，每百万输出 Token 的收费为 1.96 美元。实际上，他们的定价策略是被市场力量所左右的，这种定价更多地受市场驱动，而非 Mistral 运行推理（inference）的成本和目标投资回报率。需要注意的是，下面的性能数据 是基于现有模型上自定义推理堆栈所达到的，而非我们与大量部署者讨论过的尚未优化的 TensorRT- LLM 或 vLLM。由于 Mistral 尚未开发出高度优化的自定义推理堆栈，他们的性能甚至低于 以下数据。 ![大语言模型推理的价格战 - 靠规模取胜？[译]](https://paooo.com/wp-content/uploads/ 2024/08/d86587993a9ff2427cd1491bada18408df9f98a2.webp) 我们稍后将详细探讨这些数字，但总体来说，即使在极为乐观的情况下，假设两个 H100 GPU 以 BF16 格式持续全天候运行，每小时成本为 1.95 美元，Mistral 仍然只是勉强维持运营， 并且使用了相当大的批量处理（batch size）。当然，您可以直接测试 API，会发现他们的 Token 处理速度相当快，这意味着他们并未使用如此大的批量处理。因此，他们的 API 很可能 是以亏损为代价的市场引导策略，这在逻辑上是必要的，因为要想在有强大现有竞争者的市场 中吸引客户，就必须采取这种策略。Mistral 的中期目标可能是希望通过增加交易量，最终 在硬件和软件成本降低后实现盈利。 Mistral 不愿落后，各方都急于以更低的价格提供 Mixtral 模型的推理服务。每隔几小时， 就有新公司宣布其定价。首先是 Together，提出每百万 Token 输出收费 0.60 美元，不收 输入成本。紧随其后的是 Perplexity，定价为 0.14 美元输入/0.56 美元输出，然后是 Anyscale 提出 0.50 美元输出。最后 Deepinfra 出价 0.27 美元输出……我们本以为这就是极限了……但 随后 OpenRouter 免费提供了此服务！需要指出的是，他们宣称的每秒 Token 数量实际上是 无法实现的，并且施加了极其严格的速率限制，以至于几乎无法进行测试。 所有这些推理服务目前都处于亏损状态。 需要注意的是，2x H100 实际上并不是运行 Mixtral 模型推理的最佳选择。实际上，由于 2x A100 80GB 在每美元带宽上大约高出 32%（假设内存带宽利用率相似），它更具成本效益。 A100 显著较低的浮点运算性能（FLOPS）对推理性能的影响也不大。值得注意的是，在目前 这样崩溃的定价水平下，即使是 2xA100 也无法实现盈利。在本报告的后续部分，我们还将 展示 H200 和 MI300X 在推理方面带来的巨大优势。 ![大语言模型推理的价格战 - 靠规模取胜？[译]](https://paooo.com/wp-content/uploads/ 2024/08/c803ce1000a2c68839dd037a9f5d49802b6e6fd3.webp) 因为 Mixtral 是一种集成了多个专家系统的模型，所以当你增加处理批次的大小时，它的工作 方式会发生显著变化。在只处理单个数据批次的情况下，每次前向传播只会激活模型中很小 一部分的参数，这让模型即使在较低的带宽和每个 Token 的浮点运算次数 (FLOPS) 下也能 展现出强大的处理能力。但这种理想情况只有在你处理的数据批次大小为 1 且拥有足够的内存 容量来容纳整个模型时才能实现。 随着处理批次大小的增加，模型中更多的专家系统将被启用，这就要求在每次前向传播时， 整个模型的所有参数都需要被读取。同时，每个解码的 Token 仍然只会经过两个专家系统的 处理。因此，像 Mixtral 和 GPT-4 这样的基于专家系统的模型 (MoE 模型) 相比于密集型 模型来说，对带宽的需求更高。 ![大语言模型推理的价格战 - 靠规模取胜？[译]](https://paooo.com/wp-content/uploads/ 2024/08/55b91082858fc08223f06f303f68331aa69f805e.webp) 这对于大语言模型 (LLM) 的推理过程有着重大的影响，因为与密集型模型相比，成本的缩放 方式大相径庭。简而言之，对于 MoE 模型，虽然提高处理批次的大小仍然可以减少成本，但 由于需要更多的内存带宽，其成本降低的幅度不及密集型模型那么显著。这也是为什么基础 模型不能无限增加更多专家系统的主要原因之一。在大规模推理成本方面，理想情况是使用 高批次大小进行处理，但与密集型模型相比，MoE 模型从中获得的好处并不那么显著。 Given Together 在上述竞争中显然拥有最佳的推理引擎，尤其是在可靠性、首个 Token 生成 时间、每秒生成 Token 数量、无人为设定的低速率限制方面表现突出，而且他们坚决不会像 其他提供商那样在用户不知情的情况下隐秘地改变模型的量化方式，因此我们决定深入探讨 他们的解决方案，将其作为基准产品进行评估。 我们在过去几天对他们的测试平台和 API 进行了分析。在设置温度为 0 并使用非常规律的 长序列时，我们达到了每个序列大约 170 个 Token 每秒的处理峰值。而在处理同样长度但 难度更高、温度设为 2 的查询时，我们的处理速度只能达到每秒大约 80 个 Token。 请注意，实际上，由于 Together 服务于众多用户且批处理规模相当大，所以前面提到的数据 实际上比看起来要差。上文提及的每秒 Token 数量是在展示理想情况下的小批量处理场景。 我们的研究显示，相比使用基于 H100 的系统，Together 使用 2xA100 80GB 系统会更合适。 温度和性能测试也表明，Together 采用了一种名为“推测性解码”的技术。 ## **推测性解码 / Medusa** 关于推测性解码，我们之前已经有了更详尽的说明。简单来说，推测性解码是指在一个大型 且运行较慢的模型前，先运行一个小型且快速的初稿模型。这个初稿模型会向更大、更慢的 审阅模型提供多种预测，帮助它提前生成多个 Token。[大模型](https://paooo.com/ai-study/) 随后会一次性检查这些提前生成的预测，而不是像平常那样逐个生成 Token。审阅模型可能 会采纳初稿模型的建议，一次生成多个 Token，或者拒绝这些建议，按照常规方式逐个生成 Token。 推测性解码的主要目的是减少生成每个 Token 所需的内存带宽。遗憾的是，类似推测性解码 的技术在诸如 Mixtral 这样的混合专家模型上并不能显著提升性能。这是因为随着批处理规模 的扩大，你需要的内存带宽也会增加，因为初稿模型的不同建议需要发送到不同的专家那里。 同样，混合专家模型上的预填充 Token 相对于密集型模型来说成本更高。 回到之前提到的温度问题。LLM 的温度实际上是一个控制创造性或随机性的滑块。我们之所以 测试了高低不同的温度，是因为在低温度下，初稿模型更有可能正确生成审阅模型会接受的 Token。但在高温度下，审阅模型的反应更加无规律，因此初稿模型很难提前准确预测 Token。 调整温度是衡量模型实际每秒 Token 生成速率的众多方法之一，如果不这样做，像推测性解码 这样的技术会干扰任何逆向工程或性能分析的尝试。 ## **量化技术** 量化技术的应用能显著提升模型运行的速度和成本效率。但如果处理不当，量化可能会严重 降低模型质量。一般来说，对模型进行量化处理后，需要进行精细的微调 (fine-tune)。然而， 目前市场上一些低成本的供应商并未进行这一必要的微调步骤，他们往往半途而废地进行量化， 忽视了模型的准确性。这些低价供应商的模型，与 16 位 Mixtral 模型相比，生成的输出质量 远不如后者。 ![大语言模型推理的价格战 - 靠规模取胜？[译]](https://paooo.com/wp-content/uploads/ 2024/08/8abf5b3e3e1030817590d35df3638f553b20d13c.webp) 我们相信，研究人员可以在不损害模型质量的前提下，使用 FP8 格式进行模型推理。但我们 认为，对于这些大型模型来说，使用 INT4 格式进行推理将是不可行的。此外，使用 FP8 格式 的推理仍然需要两个 H100 或 A100 GPU，因为处理的 Token 数量每秒远低于大多数聊天应用 所需的 40-50+ 用户水平，并且需要考虑到 KVCache 的大小限制。 ## H200 & MI300X 性能分析 即将推出的 H200 和 MI300X 将带来变革。它们分别配备了 141GB 和 196GB 的内存，以及 比 H100 和 A100 更高的内存带宽。在我们的模型中，与市面上的 A100 和 H100 相比，H200 和 MI300X 的每 Token 成本更具优势。我们发现，摒弃张量并行性（目前 Nvidia 的 NCCL 实现在全归约方面表现很差）将带来巨大的好处。 接下来，我们将展示这些系统在成本效益方面的性能。请注意，这些系统目前仍处于初步部署 阶段。我们预计，就像一些主要提供商使用基于 H100 系统的高度优化的自定义推理堆栈一样。 目前，Nvidia 的闭源 TensorRT-LLM 和 AMD 的相对开放的 vLLM 集成策略并未直接提供此类 优化，但我们预期这会随着时间的推移而改变。 🧭 文中关联 [AI 工具](https://ai.paooo.com/)官网与参数卡（语宙 AI 导航） **Google Gemini ↗** Google Gemini 是一款由 Google 提供的智能 AI 助手，可协助处理工作、学习和家庭事务。 **Anthropic ↗** Anthropic：人工智能安全和研究公司，面向大语言模型场景提供便捷实用的在线功能支持， 涵盖智能工具等实用方向 **PyTorch ↗** PyTorch：开源的机器学习库，面向AI 开发平台场景提供便捷实用的在线功能支持，涵盖智能 工具等实用方向。 ❓ 常见问题解答（FAQ） Mixtral 的推理成本为什么会引发价格战？ 因为它以低于 OpenAI 的价格提供接近或更高的模型能力，迫使市场跟进降价。文章指出， 当前很多 LLM 推理服务都在亏本竞争，价格更多由市场份额争夺而非真实成本决定。 大语言模型推理服务谁更容易赚钱？ 更容易赚钱的是拥有独特分发渠道、能提供全栈训练/微调服务、并具备数据保护与合规能力 的公司。单纯提供开放模型 API 的服务商，通常缺乏明显竞争优势。 为什么说开放模型服务门槛正在降低？ 因为租 GPU、部署 vLLM 或 TensorRT-LLM、在 Nvidia 和 AMD GPU 上运行开源模型已变得 相对容易，PyTorch 推理性能也在提升。这使得更多公司能快速进入市场，进一步压低价格。 🔬 语宙深潜追问 · 进阶实操拆解 推理价格战里真正的护城河是什么？ 单靠模型能力很难长期守住利润，护城河通常来自分发渠道、企业客户关系、数据安全合规 和全栈交付能力。能把推理嵌入业务流程、提供稳定 SLA 和私有化部署的厂商，更容易把低价 流量转成长期收入。 如何评估一个推理服务是否真划算？ 不要只看每百万 token 单价，要一起算吞吐、延迟、上下文长度、失败率、峰值稳定性和隐 性运维成本。对企业场景，真正的成本往往是集成、审计、缓存和重试，而不是裸 API 价格。 🗳️ 读者观点微投票 · 您的实战立场是？ 大模型推理降价后，谁最先被卷死？ 🕸️ 语宙向量知识图谱 · 语义强关联深度内链 [🐋 所属权威专题：DeepSeek 深度实战与部署 →](https://paooo.com/topics/deepseek/) * [大语言模型 API 市场的变迁之路 [译]](https://paooo.com/ai-study/7096/) * [Anthropic Fable 5 训练成本三倍于开源模型，未来面临挑战](https://paooo.com/aigc-news/34855/) * [阿里Qwen3-Max-Thinking发布：万亿参数推理模型如何叫板GPT-5.2？](https://paooo.com/aigc-news/11817/) * [OpenAI祭出价格战：GPT-5.6 Luna暴降80%，性价比正面硬刚DeepSeek V4 Pro](https://paooo.com/aigc-news/39747/) [🏛️ 宝玉的分享](https://paooo.com/author/baoyu/) · 前沿大模型翻译与提示词工程实战 分享专栏，聚焦海外一手 AI 技术动态与工程实践。 [📄 Markdown 纯净版](https://paooo.com/ai-study/8479/?format=md) 💡 这篇内容对您有启发吗？ [📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/) **🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词 咒语库 [🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/) [📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)