# Mellum2 – JetBrains 开源的混合专家模型

- Link: https://paooo.com/aigc-news/18604/
- Published: 2026-06-07T18:03:36+08:00
- Author: Prompt 语宙研究院

⚡ [Prompt](https://paooo.com/ai-image-prompts/) 语宙 AI 导读 · 30 秒核心看点

 * 12B MoE 仅激活 2.5B 参数，专为代码与软件工程工作流优化，推理成本更低。
 * 支持 Thinking/Non-thinking 双模式、工具调用与子 [Agent](https://paooo.com/trends/)
   协作，适合复杂自动化流程。
 * LiveCodeBench v6 Thinking 得分 69.9，且 Apache 2.0 开源可商用，适合企业私有部署。

## Mellum2是什么

Mellum2 是 JetBrains 开源的面向软件工程系统的新机器学习模型。模型每 token 仅激活
2.5B 参数，专为软件工程 AI 工作流优化，支持代码生成、智能路由、子 Agent 调用及私有
化部署。凭借低延迟、高吞吐和低成本特性，Mellum2 在 LiveCodeBench 等代码评测中表现
领先，是构建企业级 AI 编程助手和自动化工作流的高性能选择。

阅读目录

 * [Mellum2是什么](https://paooo.com/aigc-news/18604/#mellum2%e6%98%af%e4%bb%80%e4%b9%88)
 * [Mellum2的主要功能](https://paooo.com/aigc-news/18604/#mellum2%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd)
 * [Mellum2的技术原理](https://paooo.com/aigc-news/18604/#mellum2%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86)
 * [Mellum2的核心优势](https://paooo.com/aigc-news/18604/#mellum2%e7%9a%84%e6%a0%b8%e5%bf%83%e4%bc%98%e5%8a%bf)
 * [Mellum2的同类竞品对比](https://paooo.com/aigc-news/18604/#mellum2%e7%9a%84%e5%90%8c%e7%b1%bb%e7%ab%9e%e5%93%81%e5%af%b9%e6%af%94)
 * [Mellum2的应用场景](https://paooo.com/aigc-news/18604/#mellum2%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af)

![Mellum2](https://paooo.com/wp-content/uploads/2026/06/Mellum2-website1-1.avif)

## Mellum2的主要功能

 * **智能代码生成**：基于代码和自然语言数据训练，支持代码补全、函数生成与重构建议。
 * **双模式推理**：提供 Thinking（深度思考）与 Non-thinking（快速响应）两种模式，
   按需切换。
 * **工作流路由与摘要**：充当 AI 工作流的智能路由器，负责任务分发、文档摘要与中间
   推理。
 * **工具调用与 Agent 协作**：支持子 Agent 调用和工具链集成，可嵌入复杂自动化流程。
 * **本地私有部署**：可在企业内网或本地设备独立运行，无需依赖外部 API。

## Mellum2的技术原理

 * **MoE 稀疏架构**：采用 64 专家、每 token 激活 8 个专家的 Mixture-of-Experts 设计，
   总参数量 12B，实际激活仅 2.5B，使推理成本接近 2.5B 密集模型。结合 Grouped-Query
   Attention 与 滑动窗口注意力，显著压缩显存占用并加速解码。引入多 Token 预测头（
   Multi-Token Prediction），作为辅助预训练目标提升性能，充当投机解码的内置 Draft
   模型，进一步降低延迟。
 * **三阶段课程预训练**：在约 10.6 万亿 Token 上进行训练，数据配比从通用网页数据
   逐步过渡到精选代码与数学内容，形成渐进式课程。用 Muon 优化器 配合 FP8 混合精度，
   采用 Warmup-Hold-Decay（线性衰减至零）学习率调度，在训练效率与模型稳定性之间取得
   平衡。
 * **长上下文扩展**：预训练基础模型通过 Layer-Selective YaRN 将上下文窗口扩展至 
   128K，仅对关键层进行位置编码插值，避免全层微调带来的性能损失。

## Mellum2的核心优势

 * **MoE 高效架构**：12B 总参数仅激活 2.5B，显著降低推理成本，实现高吞吐、低延迟
 * **垂直领域专精**：放弃多模态，专注代码与自然语言，在软件工程场景下更精准、更轻
   量
 * **生产级性能**：在 LiveCodeBench v6 代码评测中 Thinking 模式得分 69.9，领先同
   级别开源模型
 * **完全开源可商用**：Apache 2.0 协议，可自由实验、微调及大规模商用部署
 * **企业隐私友好**：支持完全本地化运行，满足代码安全与数据合规要求

## Mellum2的同类竞品对比

  |  对比维度 |  **Mellum2** |  [**Qwen3.5-9B**](https://ai-bot.cn/qwen3-5/) |  **SeedCoder-8B** |  
   |  **模型架构** |  12B MoE（64 专家，8 激活，2.5B 活跃参数） |  9B 密集模型（Dense） |  8B 密集模型（Dense） |  
 |  **开源协议** |  **Apache 2.0**（完全可商用） |  开源（可商用） |  未明确/部分受限 |  
 |  **模态支持** |  仅文本 + 代码（垂直专精） |  文本、代码、图像、视频（多模态通用） |  仅代码（单领域） |  
 |  **每 Token 计算量** |  **≈2.5B 参数**（极低） |  9B 参数（全量激活） |  8B 参数（全量激活） |  
 |  **LiveCodeBench v6** |  **69.9**（Thinking） |  68.3（Thinking） |  28.1（Non-thinking） |  
 |  **BFCL V4 工具调用** |  45.6（Thinking） |  42.7（Thinking） |  N/A（不支持） |  
 |  **AIME 数学推理** |  58.4（Thinking） |  **73.4**（Thinking） |  0（不支持） |  
 |  **上下文长度** |  128K（YaRN 扩展） |  128K+ |  通常 4K-8K |  
 |  **推理模式** |  双模式：Thinking + Non-thinking |  双模式：Thinking + Non-thinking |  仅 Non-thinking |

## Mellum2的应用场景

 * **智能代码补全与生成**：在 IDE 中提供实时代码补全、函数生成、代码重构与编辑建议，
   替代传统自动补全工具。
 * **调试与错误诊断**：辅助开发者定位 Bug、分析堆栈信息、生成修复方案，降低调试时间
   成本。
 * **多步推理与复杂任务分解**：在 Agent 工作流中承担中间推理节点，将复杂需求拆解
   为可执行的子任务序列。
 * **工具调用与函数编排**：通过 Function Calling 连接外部 API、数据库或开发工具，
   实现自动化构建、测试与部署流程。
 * **对话式编程助手**：用自然语言交互方式解答技术问题、解释代码逻辑、推荐最佳实践，
   充当 24/7 技术顾问。

❓ 常见问题解答（FAQ）

Mellum2适合做什么场景？

Mellum2 主要面向软件工程场景，适合代码补全、函数生成、重构建议、调试诊断、工作流
路由、工具调用和 Agent 协作，也适合企业内网私有部署的编程助手与自动化流程。

Mellum2为什么推理成本更低？

它采用 MoE 稀疏架构，总参数 12B，但每个 token 仅激活 2.5B 参数，因此计算量更接近
小模型，同时结合 GQA、滑动窗口注意力和多 Token 预测进一步降低延迟。

Mellum2和通用[大模型](https://paooo.com/ai-study/)相比有什么优势？

它不追求多模态通用能力，而是聚焦代码与自然语言的垂直场景，因此在软件工程任务上更
轻量、更高效；同时支持双模式推理、长上下文和本地部署，更适合企业落地。

🔬 语宙深潜追问 · 进阶实操拆解

MoE 模型怎么选路由策略？

路由要优先保证任务稳定性和专家分工清晰，可用负载均衡损失、top-k 路由和任务标签辅助
训练；代码场景里还要关注工具调用、补全与重构是否被正确分配到不同专家，避免“会答但
不稳”。

企业部署 Mellum2 要注意什么？

重点看显存占用、量化精度、并发吞吐和审计能力。上线前最好做私有数据微调、离线评测
和安全隔离；若要接 IDE 或代理工具，还要限制外部网络访问，避免代码与提示词泄露。

🗳️ 读者观点微投票 · 您的实战立场是？

MoE 代码模型该拼极致性能还是部署友好？

🕸️ 语宙向量知识图谱 · 语义强关联深度内链

[🐋 所属权威专题：DeepSeek 深度实战与部署 →](https://paooo.com/topics/deepseek/)

 * [吞吐逼近 Qwen3.5 翻倍！JetBrains 开源 12B 编程智能体模型 Mellum2.1：首创数百万沙盒真实 RL 训练，激活仅 2.5B+内置 MTP 提速](https://paooo.com/aigc-news/40165/)
 * [小红书hi lab重磅开源dots.llm1：1420亿参数MoE大模型，性能对标Qwen2.5-72B](https://paooo.com/aigc-news/14968/)
 * [美团开源LongCat-Flash-Lite：685亿参数MoE大模型，仅激活30亿参数实现256K超长上下文推理](https://paooo.com/aigc-news/11782/)
 * [LongCat-2.0 – 美团开源的新一代万亿参数语言模型](https://paooo.com/aigc-news/24127/)

[🏛️ Prompt 语宙研究院](https://paooo.com/author/paooo-research/) · Prompt 语宙研究院（
paooo.com Research）专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示
词工程（Prompt Engineering）与全球高增长 AI 生产力工具实测追踪，致力于为中文开发
者与创作者提供一手、可复现的深度技术洞察。

[📄 Markdown 纯净版](https://paooo.com/aigc-news/18604/?format=md)

💡 这篇内容对您有启发吗？

[📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/)

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)
