# Mixtral 8x7B — 混合专家模型（Mixtral of Experts） [译]

- Link: https://paooo.com/ai-study/7088/
- Published: 2024-05-15T18:18:33+08:00
- Author: 宝玉的分享

⚡ [Prompt](https://paooo.com/ai-image-prompts/) 语宙 AI 导读 · 30 秒核心看点

 * 采用稀疏 MoE 架构，总参数 467 亿，但每个 Token 仅激活 129 亿参数，显著降低推理
   成本与延迟。
 * 在多项基准中表现强劲：整体超越 Llama 2 70B，推理速度快 6 倍，部分场景可对标 GPT-
   3.5。
 * Instruct 版经监督微调与 DPO 训练，MT-Bench 得分 8.30，适合需要高质量指令跟随的
   开源部署。

一款高品质的稀疏专家混合模型

阅读目录

 * [开源模型的新篇章：采用稀疏架构](https://paooo.com/ai-study/7088/#%e5%bc%80%e6%ba%90%e6%a8%a1%e5%9e%8b%e7%9a%84%e6%96%b0%e7%af%87%e7%ab%a0%e9%87%87%e7%94%a8%e7%a8%80%e7%96%8f%e6%9e%b6%e6%9e%84)
 * [性能对比](https://paooo.com/ai-study/7088/#%e6%80%a7%e8%83%bd%e5%af%b9%e6%af%94)
 * [指导模型](https://paooo.com/ai-study/7088/#%e6%8c%87%e5%af%bc%e6%a8%a1%e5%9e%8b)
 * [利用开源部署栈推广 Mixtral](https://paooo.com/ai-study/7088/#%e5%88%a9%e7%94%a8%e5%bc%80%e6%ba%90%e9%83%a8%e7%bd%b2%e6%a0%88%e6%8e%a8%e5%b9%bf-mixtral)
 * [在我们平台上体验 Mixtral](https://paooo.com/ai-study/7088/#%e5%9c%a8%e6%88%91%e4%bb%ac%e5%b9%b3%e5%8f%b0%e4%b8%8a%e4%bd%93%e9%aa%8c-mixtral)
 * [致谢](https://paooo.com/ai-study/7088/#%e8%87%b4%e8%b0%a2)

Mistral AI 团队，2023 年 12 月 11 日

Mistral AI 团队致力于为开发者社区提供顶尖的开源模型。在 AI 领域，要实现突破，不仅
要超越现有的架构和训练方法，更重要的是让社区能够利用创新模型，激发新的发明和应用。

今日，团队隆重推出 Mixtral 8x7B——一款高品质的稀疏专家混合模型（SMoE），这款模型拥有
开放的权重，且在 Apache 2.0 协议下授权。在众多基准测试中，Mixtral 的表现超越了 Llama
2 70B，推理速度快 6 倍。它是目前最强大的具有宽松许可证的开放权重模型，在成本与性能
的平衡上表现最佳，尤其在大多数标准基准测试中，其表现可与 GPT3.5 相媲美。

Mixtral 的主要能力包括：

 * 能够流畅处理 32k 个 Token 的上下文。
 * 支持多种语言，包括英语、法语、意大利语、德语和西班牙语。
 * 在代码生成领域表现出色。
 * 可以调整为遵循指令的模型，在 MT-Bench 上获得了 8.3 分的高分。

####  开源模型的新篇章：采用稀疏架构

Mixtral 是一个采用稀疏专家混合网络的模型，它是一个仅包含解码器的模型。在这个模型
中，前馈块从 8 组不同的参数组中进行选择。对于每一层的每个 Token，一个路由网络会挑选
两组“专家”处理 Token，并将它们的输出结果进行加法组合。

这种技术让模型在增加参数数量的同时，有效控制了成本和延迟，因为模型每处理一个 Token
只会使用部分参数。具体来说，Mixtral 总共有 467 亿参数，但每个 Token 只用到了其中
的 129 亿。因此，它在处理输入和生成输出时，无论是速度还是成本，都相当于一个 129 
亿参数的模型。

Mixtral 的预训练是在开放网络提取的数据基础上完成的，其中专家和路由器的训练是同时
进行的。

####  性能对比

我们把 Mixtral 与 Llama 2 系列和 GPT3.5 的基础模型进行了比较。在大部分的性能测试
中，Mixtral 不仅达到了 Llama 2 70B 的水平，甚至在很多方面超越了它和 GPT3.5。

![性能总览](https://paooo.com/wp-content/uploads/2024/05/overview.webp)

性能总览

接下来的图表展示了模型在质量和计算成本之间的平衡。不论是 Mistral 7B 还是 Mixtral
8x7B，都是相比 Llama 2 系列更加高效的模型家族成员。

![性能提升示意图](https://paooo.com/wp-content/uploads/2024/05/scaling.webp)

性能提升示意图

下面这个表格详细列出了上图的测试结果。

![详细性能对比](https://paooo.com/wp-content/uploads/2024/05/open_models.webp)

详细性能对比

**关于幻觉和偏见。** 为了发现并通过微调或偏好建模修正潜在问题，我们对基础模型在 
TruthfulQA、BBQ 和 BOLD 上的表现进行了评估。

![BBQ 和 BOLD 性能测试](https://paooo.com/wp-content/uploads/2024/05/bbq_bold.webp)

BBQ 和 BOLD 性能测试

相较于 Llama 2，Mixtral 在 TruthfulQA 测试中更加真实（73.9% 对比 50.2%），并且在
BBQ 测试中显示出更少的偏见。总的来说，与 Llama 2 相比，Mixtral 在 BOLD 测试中展现
了更多的正面情绪，且各方面的波动程度相似。

**语言能力。** Mixtral 8x7B 精通包括法语、德语、西班牙语、意大利语和英语在内的多种
语言。

![多语言性能测试](https://paooo.com/wp-content/uploads/2024/05/multilingual.webp)

多语言性能测试

####  指导模型

我们推出了专门优化的 Mixtral 8x7B Instruct 模型，它通过监督式微调和直接偏好优化（
DPO）被训练以更准确地遵循指令。在 MT-Bench 测试中，该模型得分高达 8.30，成为目前
最优秀的开源模型之一，其性能可与 GPT3.5 媲美。

需要注意的是，Mixtral 可以通过特定提示来排除一些输出，这在需要严格内容控制的应用
构建中非常有用，具体示例可见这里。恰当的偏好调整同样可以达到这一目的。但请记住，
如果没有这样的提示，模型将按照给定的指令行事。

####  利用开源部署栈推广 Mixtral

为了使社区能够通过全开源的技术栈运行 Mixtral，我们向 vLLM 项目提交了改进，该项目
融合了 Megablocks CUDA 核心技术，以便高效进行推理计算。

通过 Skypilot，用户可以在云端的任何实例上部署 vLLM API 端点。

####  在我们平台上体验 Mixtral

目前，我们的 _mistral-small_ API 端点正在使用 Mixtral 8x7B 版本，现已在 beta 测试
版中提供。您可以注册以抢先体验所有的生成式 AI 和 Embedding 功能。

 * 下载 Mixtral-8x7B-v0.1 Base model: https://huggingface.co/mistralai/Mixtral-8x7B-
   v0.1
 * 下载 Mixtral-8x7B-v0.1 Instruct model: https://huggingface.co/mistralai/Mixtral-
   8x7B-Instruct-v0.1

####  致谢

我们要感谢 CoreWeave 和 Scaleway 团队在我们模型训练过程中给予的技术支持。

🧭 文中关联 [AI 工具](https://ai.paooo.com/)官网与参数卡（语宙 AI 导航）

**LLaMA ↗**

Meta（Facebook）推出的AI大语言模型。

**LLaMA ↗**

在线AI大模型微调平台，零代码、可视化操作。

❓ 常见问题解答（FAQ）

Mixtral 8x7B 和 Llama 2 70B 哪个更强？

文中结论是 Mixtral 8x7B 在大多数基准测试中达到或超过 Llama 2 70B，且推理速度更快、
成本更低。它通过稀疏专家路由，只激活部分参数来实现更好的效率平衡。

Mixtral 8x7B 为什么推理更快？

因为它采用稀疏专家混合架构，每个 Token 只调用 8 个专家中的 2 个参与计算。虽然总参数
达 467 亿，但单次推理只使用约 129 亿参数，所以速度和成本更接近中等规模模型。

Mixtral Instruct 版适合什么场景？

Instruct 版经过监督式微调和 DPO 训练，更擅长遵循指令，MT-Bench 得分 8.30。适合对话
助手、内容生成、代码辅助以及需要更强可控性的开源应用部署。

🔬 语宙深潜追问 · 进阶实操拆解

MoE 模型落地最难的是什么？

难点不只是算力，而是路由稳定性、推理栈兼容和服务监控。落地时要重点观察专家命中率、
延迟波动和冷启动成本；如果业务对一致性要求高，先做灰度和回退机制，再考虑全面替换。

开放权重模型如何评估真实收益？

别只看基准分数，要同时算吞吐、延迟、显存占用和单位请求成本。对代码、多语言和批量
推理场景，MoE 往往更有优势；但若是低延迟单轮问答，简单架构有时更省心。

🗳️ 读者观点微投票 · 您的实战立场是？

Mixtral 这种 MoE，值得替代[大模型](https://paooo.com/ai-study/)主力吗？

🕸️ 语宙向量知识图谱 · 语义强关联深度内链

[🐋 所属权威专题：DeepSeek 深度实战与部署 →](https://paooo.com/topics/deepseek/)

 * [Llama3.1 – Meta最新发布的最强开源AI模型](https://paooo.com/aigc-news/27706/)
 * [Mistral 3大模型重磅发布：MoE架构、675B参数、多模态开源，定义AI效率新标杆](https://paooo.com/aigc-news/12828/)
 * [Phi-3.5 – 微软推出的新一代AI模型，mini、MoE混合和视觉模型](https://paooo.com/aigc-news/27382/)
 * [万亿参数开源模型进入性价比时代！Mistral Large 4正式开源：首创Le Chonk架构、编程Token消耗减半与三档RL推理实战全景拆解](https://paooo.com/trends/40566/)

[🏛️ 宝玉的分享](https://paooo.com/author/baoyu/) · 前沿大模型翻译与提示词工程实战
分享专栏，聚焦海外一手 AI 技术动态与工程实践。

[📄 Markdown 纯净版](https://paooo.com/ai-study/7088/?format=md)

💡 这篇内容对您有启发吗？

[📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/)

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)
