Prompt 语宙Prompt 语宙
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
阅读: Mixtral 8x7B — 混合专家模型(Mixtral of Experts) [译]
Share
通知 阅读更多
Font Resizer字体
Font Resizer字体
Prompt 语宙Prompt 语宙
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
已有帐户? 登陆
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
多语言性能测试
Prompt 语宙 > 强化 AI 学习 > Mixtral 8x7B — 混合专家模型(Mixtral of Experts) [译]
强化 AI 学习

Mixtral 8x7B — 混合专家模型(Mixtral of Experts) [译]

宝玉的分享
最近更新: 2026年5月23日 下午6:28
AI编程 Llama 大模型微调 开源大模型
SHARE
⚡ Prompt 语宙 AI 导读 · 30 秒核心看点
  • 采用稀疏 MoE 架构,总参数 467 亿,但每个 Token 仅激活 129 亿参数,显著降低推理成本与延迟。
  • 在多项基准中表现强劲:整体超越 Llama 2 70B,推理速度快 6 倍,部分场景可对标 GPT-3.5。
  • Instruct 版经监督微调与 DPO 训练,MT-Bench 得分 8.30,适合需要高质量指令跟随的开源部署。

一款高品质的稀疏专家混合模型

阅读目录
  • 开源模型的新篇章:采用稀疏架构
  • 性能对比
  • 指导模型
  • 利用开源部署栈推广 Mixtral
  • 在我们平台上体验 Mixtral
  • 致谢

Mistral AI 团队,2023 年 12 月 11 日

Mistral AI 团队致力于为开发者社区提供顶尖的开源模型。在 AI 领域,要实现突破,不仅要超越现有的架构和训练方法,更重要的是让社区能够利用创新模型,激发新的发明和应用。

今日,团队隆重推出 Mixtral 8x7B——一款高品质的稀疏专家混合模型(SMoE),这款模型拥有开放的权重,且在 Apache 2.0 协议下授权。在众多基准测试中,Mixtral 的表现超越了 Llama 2 70B,推理速度快 6 倍。它是目前最强大的具有宽松许可证的开放权重模型,在成本与性能的平衡上表现最佳,尤其在大多数标准基准测试中,其表现可与 GPT3.5 相媲美。

Mixtral 的主要能力包括:

  • 能够流畅处理 32k 个 Token 的上下文。
  • 支持多种语言,包括英语、法语、意大利语、德语和西班牙语。
  • 在代码生成领域表现出色。
  • 可以调整为遵循指令的模型,在 MT-Bench 上获得了 8.3 分的高分。

开源模型的新篇章:采用稀疏架构

Mixtral 是一个采用稀疏专家混合网络的模型,它是一个仅包含解码器的模型。在这个模型中,前馈块从 8 组不同的参数组中进行选择。对于每一层的每个 Token,一个路由网络会挑选两组“专家”处理 Token,并将它们的输出结果进行加法组合。

这种技术让模型在增加参数数量的同时,有效控制了成本和延迟,因为模型每处理一个 Token 只会使用部分参数。具体来说,Mixtral 总共有 467 亿参数,但每个 Token 只用到了其中的 129 亿。因此,它在处理输入和生成输出时,无论是速度还是成本,都相当于一个 129 亿参数的模型。

Mixtral 的预训练是在开放网络提取的数据基础上完成的,其中专家和路由器的训练是同时进行的。

性能对比

我们把 Mixtral 与 Llama 2 系列和 GPT3.5 的基础模型进行了比较。在大部分的性能测试中,Mixtral 不仅达到了 Llama 2 70B 的水平,甚至在很多方面超越了它和 GPT3.5。

性能总览
性能总览

接下来的图表展示了模型在质量和计算成本之间的平衡。不论是 Mistral 7B 还是 Mixtral 8x7B,都是相比 Llama 2 系列更加高效的模型家族成员。

性能提升示意图
性能提升示意图

下面这个表格详细列出了上图的测试结果。

详细性能对比
详细性能对比

关于幻觉和偏见。 为了发现并通过微调或偏好建模修正潜在问题,我们对基础模型在 TruthfulQA、BBQ 和 BOLD 上的表现进行了评估。

BBQ 和 BOLD 性能测试
BBQ 和 BOLD 性能测试

相较于 Llama 2,Mixtral 在 TruthfulQA 测试中更加真实(73.9% 对比 50.2%),并且在 BBQ 测试中显示出更少的偏见。总的来说,与 Llama 2 相比,Mixtral 在 BOLD 测试中展现了更多的正面情绪,且各方面的波动程度相似。

语言能力。 Mixtral 8x7B 精通包括法语、德语、西班牙语、意大利语和英语在内的多种语言。

多语言性能测试
多语言性能测试

指导模型

我们推出了专门优化的 Mixtral 8x7B Instruct 模型,它通过监督式微调和直接偏好优化(DPO)被训练以更准确地遵循指令。在 MT-Bench 测试中,该模型得分高达 8.30,成为目前最优秀的开源模型之一,其性能可与 GPT3.5 媲美。

需要注意的是,Mixtral 可以通过特定提示来排除一些输出,这在需要严格内容控制的应用构建中非常有用,具体示例可见这里。恰当的偏好调整同样可以达到这一目的。但请记住,如果没有这样的提示,模型将按照给定的指令行事。

利用开源部署栈推广 Mixtral

为了使社区能够通过全开源的技术栈运行 Mixtral,我们向 vLLM 项目提交了改进,该项目融合了 Megablocks CUDA 核心技术,以便高效进行推理计算。

通过 Skypilot,用户可以在云端的任何实例上部署 vLLM API 端点。

在我们平台上体验 Mixtral

目前,我们的 mistral-small API 端点正在使用 Mixtral 8x7B 版本,现已在 beta 测试版中提供。您可以注册以抢先体验所有的生成式 AI 和 Embedding 功能。

  • 下载 Mixtral-8x7B-v0.1 Base model: https://huggingface.co/mistralai/Mixtral-8x7B-v0.1

  • 下载 Mixtral-8x7B-v0.1 Instruct model: https://huggingface.co/mistralai/Mixtral-8x7B-Instruct-v0.1

致谢

我们要感谢 CoreWeave 和 Scaleway 团队在我们模型训练过程中给予的技术支持。

🧭 文中关联 AI 工具官网与参数卡(语宙 AI 导航)
LLaMA ↗
Meta(Facebook)推出的AI大语言模型。
LLaMA ↗
在线AI大模型微调平台,零代码、可视化操作。
❓ 常见问题解答(FAQ)
Mixtral 8x7B 和 Llama 2 70B 哪个更强?

文中结论是 Mixtral 8x7B 在大多数基准测试中达到或超过 Llama 2 70B,且推理速度更快、成本更低。它通过稀疏专家路由,只激活部分参数来实现更好的效率平衡。

Mixtral 8x7B 为什么推理更快?

因为它采用稀疏专家混合架构,每个 Token 只调用 8 个专家中的 2 个参与计算。虽然总参数达 467 亿,但单次推理只使用约 129 亿参数,所以速度和成本更接近中等规模模型。

Mixtral Instruct 版适合什么场景?

Instruct 版经过监督式微调和 DPO 训练,更擅长遵循指令,MT-Bench 得分 8.30。适合对话助手、内容生成、代码辅助以及需要更强可控性的开源应用部署。

🔬 语宙深潜追问 · 进阶实操拆解
MoE 模型落地最难的是什么?

难点不只是算力,而是路由稳定性、推理栈兼容和服务监控。落地时要重点观察专家命中率、延迟波动和冷启动成本;如果业务对一致性要求高,先做灰度和回退机制,再考虑全面替换。

开放权重模型如何评估真实收益?

别只看基准分数,要同时算吞吐、延迟、显存占用和单位请求成本。对代码、多语言和批量推理场景,MoE 往往更有优势;但若是低延迟单轮问答,简单架构有时更省心。

🗳️ 读者观点微投票 · 您的实战立场是?
Mixtral 这种 MoE,值得替代大模型主力吗?
🕸️ 语宙向量知识图谱 · 语义强关联深度内链
🐋 所属权威专题:DeepSeek 深度实战与部署 →
  • Llama3.1 – Meta最新发布的最强开源AI模型
  • Mistral 3大模型重磅发布:MoE架构、675B参数、多模态开源,定义AI效率新标杆
  • Phi-3.5 – 微软推出的新一代AI模型,mini、MoE混合和视觉模型
  • 万亿参数开源模型进入性价比时代!Mistral Large 4正式开源:首创Le Chonk架构、编程Token消耗减半与三档RL推理实战全景拆解
🏛️ 宝玉的分享 · 前沿大模型翻译与提示词工程实战分享专栏,聚焦海外一手 AI 技术动态与工程实践。
📄 Markdown 纯净版
💡 这篇内容对您有启发吗?
📡 RSS 订阅✨ 提交 AI 工具 / 合作
🚀 Prompt 语宙 AI 创作者生态:探索 2,800+ 全球实用 AI 工具与高精度生图提示词咒语库
🧭 语宙 AI 导航 (ai.paooo.com)🎨 AI 生图 Prompt 库📚 核心专题导航⚡ AIGC 早报生成器
ProductBot
智能体进化新刻度:字节Seed发布EdgeBench基准测试
StableAnimator – 复旦联合微软等机构推出的端到端身份一致性视频扩散框架
GO-1 – 智元机器人推出的首个通用具身基座模型
Step-1o Vision – 阶跃星辰推出的原生端到端视觉理解模型
TAGGED:AI编程Llama大模型微调开源大模型
分享
Email 复制链接 打印
Share
宝玉的分享 头像
By宝玉的分享
Follow:
前沿大模型翻译与提示词工程实战分享专栏,聚焦海外一手 AI 技术动态与工程实践。
上一篇 为块稀疏运算优化的矩阵乘法示例。 深入解析“混合专家模型(Mixtral of Experts)” [译]
下一篇 功能标记(Feature Flags)管理指南 [译] 功能标记(Feature Flags)管理指南 [译]
Ad image
Ad image

最近更新

WordPress 7.2版本更新与默认随机重定向、Secrets API撤回及MCP核心能力拆解封面图
官方博客竟把关闭过滤器写错了!WordPress 7.2前瞻全拆解:默认/random/暗藏隐私与SEO风险、Secrets API紧急撤回与3项MCP只读能力落地
AI 工具
Anthropic上市募资与算力长约的隐喻:现金光环上升,数据中心暗链延伸,治理水晶承受张力与阻力冲击。
募资超1070亿美元却背负9000亿算力长约!Anthropic史上最大IPO背后的三大隐忧:1040亿年内亏损、地方抵制潮与PBC治理死结
AIGC 资讯
微软Copilot与Claude/ChatGPT价格战隐喻:发光玻璃表格堡垒守住Excel,数据流高效汇聚,企业AI竞争升级
3000万付费仅吃下4.5亿席位不到7%!微软Ignite正面叫板Claude与ChatGPT:月均30美元VS 205美元价格战与Excel保卫战全拆解
AIGC 资讯
联想AI推理时代的端边云全栈算力插画:玻璃拟态服务器核心发光,光流连接云端与边缘节点,呈现营收与订单增长动能。
AI营收暴涨80%且握5300亿服务器订单!联想Q2单季营收首破2000亿、净利狂飙166%:端边云全栈算力如何接住推理时代红利?
AIGC 资讯

相关推荐

蚂蚁开源万亿参数思考大模型Ring-1T:性能逼近GPT-5,领跑开源推理新纪元
AI 工具AIGC 资讯

蚂蚁开源万亿参数思考大模型Ring-1T:性能逼近GPT-5,领跑开源推理新纪元

Prompt 语宙研究院
AI编程 HuggingFace OpenAI 开源 开源大模型 强化学习 推理能力 蚂蚁集团
编程与写作 [译]
强化 AI 学习

编程与写作 [译]

宝玉的分享
AI办公效率 AI智能体 AI编程 大模型微调
Step 3.7 Flash – 阶跃星辰开源的新一代 Flash 模型
AIGC 资讯

Step 3.7 Flash – 阶跃星辰开源的新一代 Flash 模型

Prompt 语宙研究院
AI编程 Claude Claude Code Cursor 开源大模型
"注意力", "Transformers", 在神经网络的 "大语言模型" 中 [译]
强化 AI 学习

“注意力”, “Transformers”, 在神经网络的 “大语言模型” 中 [译]

宝玉的分享
AI智能体 Llama 大模型微调 开源大模型
/ Prompt 语宙 /

探索生成式 AI 的无限创作潜能,一站式获取前沿 AIGC 资讯、高阶 Prompt 咒语与全球实用 AI 工具。

核心专栏

  • 语宙 AI 工具导航
  • EVA 视觉抠图工坊Hot
  • 出海数字营销宝典
  • AI 生图咒语灵感库
  • 24H 硅谷 AI 情报流

生态与服务

  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作

标签

开源大模型 AI智能体 AI办公效率 AI绘画提示词 OpenAI 大模型微调 Midjourney AI编程 stable diffusion AI视频生成 ChatGPT 3D与空间智能 HuggingFace AI音频与语音 RAG检索增强 Claude Flux AIGC Gemini 通义千问 Anthropic Llama Cursor DeepSeek Prompt AI Agent Kimi 智谱AI 具身智能 YouTube
Prompt 语宙Prompt 语宙
Follow US
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.