Prompt 语宙Prompt 语宙
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
阅读: Mellum2 – JetBrains 开源的混合专家模型
Share
通知 阅读更多
Font Resizer字体
Font Resizer字体
Prompt 语宙Prompt 语宙
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
已有帐户? 登陆
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
Mellum2 – JetBrains 开源的混合专家模型
Prompt 语宙 > AIGC 资讯 > Mellum2 – JetBrains 开源的混合专家模型
AIGC 资讯

Mellum2 – JetBrains 开源的混合专家模型

Prompt 语宙研究院
最近更新: 2026年6月7日 下午6:03
AI智能体 AI编程 大模型微调 开源大模型
SHARE
⚡ Prompt 语宙 AI 导读 · 30 秒核心看点
  • 12B MoE 仅激活 2.5B 参数,专为代码与软件工程工作流优化,推理成本更低。
  • 支持 Thinking/Non-thinking 双模式、工具调用与子 Agent 协作,适合复杂自动化流程。
  • LiveCodeBench v6 Thinking 得分 69.9,且 Apache 2.0 开源可商用,适合企业私有部署。

Mellum2是什么

Mellum2 是 JetBrains 开源的面向软件工程系统的新机器学习模型。模型每 token 仅激活 2.5B 参数,专为软件工程 AI 工作流优化,支持代码生成、智能路由、子 Agent 调用及私有化部署。凭借低延迟、高吞吐和低成本特性,Mellum2 在 LiveCodeBench 等代码评测中表现领先,是构建企业级 AI 编程助手和自动化工作流的高性能选择。

阅读目录
  • Mellum2是什么
  • Mellum2的主要功能
  • Mellum2的技术原理
  • Mellum2的核心优势
  • Mellum2的同类竞品对比
  • Mellum2的应用场景

Mellum2

Mellum2的主要功能

  • 智能代码生成:基于代码和自然语言数据训练,支持代码补全、函数生成与重构建议。
  • 双模式推理:提供 Thinking(深度思考)与 Non-thinking(快速响应)两种模式,按需切换。
  • 工作流路由与摘要:充当 AI 工作流的智能路由器,负责任务分发、文档摘要与中间推理。
  • 工具调用与 Agent 协作:支持子 Agent 调用和工具链集成,可嵌入复杂自动化流程。
  • 本地私有部署:可在企业内网或本地设备独立运行,无需依赖外部 API。

Mellum2的技术原理

  • MoE 稀疏架构:采用 64 专家、每 token 激活 8 个专家的 Mixture-of-Experts 设计,总参数量 12B,实际激活仅 2.5B,使推理成本接近 2.5B 密集模型。结合 Grouped-Query Attention 与 滑动窗口注意力,显著压缩显存占用并加速解码。引入多 Token 预测头(Multi-Token Prediction),作为辅助预训练目标提升性能,充当投机解码的内置 Draft 模型,进一步降低延迟。
  • 三阶段课程预训练:在约 10.6 万亿 Token 上进行训练,数据配比从通用网页数据逐步过渡到精选代码与数学内容,形成渐进式课程。用 Muon 优化器 配合 FP8 混合精度,采用 Warmup-Hold-Decay(线性衰减至零)学习率调度,在训练效率与模型稳定性之间取得平衡。
  • 长上下文扩展:预训练基础模型通过 Layer-Selective YaRN 将上下文窗口扩展至 128K,仅对关键层进行位置编码插值,避免全层微调带来的性能损失。

Mellum2的核心优势

  • MoE 高效架构:12B 总参数仅激活 2.5B,显著降低推理成本,实现高吞吐、低延迟
  • 垂直领域专精:放弃多模态,专注代码与自然语言,在软件工程场景下更精准、更轻量
  • 生产级性能:在 LiveCodeBench v6 代码评测中 Thinking 模式得分 69.9,领先同级别开源模型
  • 完全开源可商用:Apache 2.0 协议,可自由实验、微调及大规模商用部署
  • 企业隐私友好:支持完全本地化运行,满足代码安全与数据合规要求

Mellum2的同类竞品对比

对比维度 Mellum2 Qwen3.5-9B SeedCoder-8B
模型架构 12B MoE(64 专家,8 激活,2.5B 活跃参数) 9B 密集模型(Dense) 8B 密集模型(Dense)
开源协议 Apache 2.0(完全可商用) 开源(可商用) 未明确/部分受限
模态支持 仅文本 + 代码(垂直专精) 文本、代码、图像、视频(多模态通用) 仅代码(单领域)
每 Token 计算量 ≈2.5B 参数(极低) 9B 参数(全量激活) 8B 参数(全量激活)
LiveCodeBench v6 69.9(Thinking) 68.3(Thinking) 28.1(Non-thinking)
BFCL V4 工具调用 45.6(Thinking) 42.7(Thinking) N/A(不支持)
AIME 数学推理 58.4(Thinking) 73.4(Thinking) 0(不支持)
上下文长度 128K(YaRN 扩展) 128K+ 通常 4K-8K
推理模式 双模式:Thinking + Non-thinking 双模式:Thinking + Non-thinking 仅 Non-thinking

Mellum2的应用场景

  • 智能代码补全与生成:在 IDE 中提供实时代码补全、函数生成、代码重构与编辑建议,替代传统自动补全工具。
  • 调试与错误诊断:辅助开发者定位 Bug、分析堆栈信息、生成修复方案,降低调试时间成本。
  • 多步推理与复杂任务分解:在 Agent 工作流中承担中间推理节点,将复杂需求拆解为可执行的子任务序列。
  • 工具调用与函数编排:通过 Function Calling 连接外部 API、数据库或开发工具,实现自动化构建、测试与部署流程。
  • 对话式编程助手:用自然语言交互方式解答技术问题、解释代码逻辑、推荐最佳实践,充当 24/7 技术顾问。
❓ 常见问题解答(FAQ)
Mellum2适合做什么场景?

Mellum2 主要面向软件工程场景,适合代码补全、函数生成、重构建议、调试诊断、工作流路由、工具调用和 Agent 协作,也适合企业内网私有部署的编程助手与自动化流程。

Mellum2为什么推理成本更低?

它采用 MoE 稀疏架构,总参数 12B,但每个 token 仅激活 2.5B 参数,因此计算量更接近小模型,同时结合 GQA、滑动窗口注意力和多 Token 预测进一步降低延迟。

Mellum2和通用大模型相比有什么优势?

它不追求多模态通用能力,而是聚焦代码与自然语言的垂直场景,因此在软件工程任务上更轻量、更高效;同时支持双模式推理、长上下文和本地部署,更适合企业落地。

🔬 语宙深潜追问 · 进阶实操拆解
MoE 模型怎么选路由策略?

路由要优先保证任务稳定性和专家分工清晰,可用负载均衡损失、top-k 路由和任务标签辅助训练;代码场景里还要关注工具调用、补全与重构是否被正确分配到不同专家,避免“会答但不稳”。

企业部署 Mellum2 要注意什么?

重点看显存占用、量化精度、并发吞吐和审计能力。上线前最好做私有数据微调、离线评测和安全隔离;若要接 IDE 或代理工具,还要限制外部网络访问,避免代码与提示词泄露。

🗳️ 读者观点微投票 · 您的实战立场是?
MoE 代码模型该拼极致性能还是部署友好?
🕸️ 语宙向量知识图谱 · 语义强关联深度内链
🐋 所属权威专题:DeepSeek 深度实战与部署 →
  • 吞吐逼近 Qwen3.5 翻倍!JetBrains 开源 12B 编程智能体模型 Mellum2.1:首创数百万沙盒真实 RL 训练,激活仅 2.5B+内置 MTP 提速
  • 小红书hi lab重磅开源dots.llm1:1420亿参数MoE大模型,性能对标Qwen2.5-72B
  • 美团开源LongCat-Flash-Lite:685亿参数MoE大模型,仅激活30亿参数实现256K超长上下文推理
  • LongCat-2.0 – 美团开源的新一代万亿参数语言模型
🏛️ Prompt 语宙研究院 · Prompt 语宙研究院(paooo.com Research)专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示词工程(Prompt Engineering)与全球高增长 AI 生产力工具实测追踪,致力于为中文开发者与创作者提供一手、可复现的深度技术洞察。
📄 Markdown 纯净版
💡 这篇内容对您有启发吗?
📡 RSS 订阅✨ 提交 AI 工具 / 合作
🚀 Prompt 语宙 AI 创作者生态:探索 2,800+ 全球实用 AI 工具与高精度生图提示词咒语库
🧭 语宙 AI 导航 (ai.paooo.com)🎨 AI 生图 Prompt 库📚 核心专题导航⚡ AIGC 早报生成器
Crawl4AI – 基于Python的异步爬虫框架,高效同时处理多个网页
局外人/边缘人(Outsider)思维与人工智能时代 [译]
Fixblurry.photos AI照片修复
ChatGPT 悄悄给文笔设了道墙:不再模仿在世作家文笔
[AI生图咒语] 例54 – 人物角色设定图
TAGGED:AI智能体AI编程大模型微调开源大模型
分享
Email 复制链接 打印
Share
Prompt 语宙研究院 头像
ByPrompt 语宙研究院
Follow:
Prompt 语宙研究院(paooo.com Research)专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示词工程(Prompt Engineering)与全球高增长 AI 生产力工具实测追踪,致力于为中文开发者与创作者提供一手、可复现的深度技术洞察。
上一篇 MAI-Code-1-Flash – 微软推出的轻量级代码生成模型 MAI-Code-1-Flash – 微软推出的轻量级代码生成模型
下一篇 Bernini – 字节跳动开源的统一视频生成与编辑框架 Bernini – 字节跳动开源的统一视频生成与编辑框架
Ad image
Ad image

最近更新

NVIDIA Vera Rubin 亮相 MLPerf 评测并在训练与端点测试中领先
单GPU训练性能翻倍且智能体每瓦吞吐暴增10倍!NVIDIA Vera Rubin首战MLPerf大获全胜:DeepSeek-V3千卡扩展效率97%与Agentic端点推理全景深度拆解
AIGC 资讯
美国商务部大楼与半导体出口管制新规
算力超1200万TPP即触发许可且限期90天整改!美国商务部突发全球数据中心新规:封死离岸云端远程租用算力与废止AI扩散规则全景深度拆解
AIGC 资讯
AI 原生 CRM 初创公司 Dreamteam 获 5300 万美元融资,挑战 Salesforce 与 HubSpot
斩获5300万美元对标Salesforce!前Freshworks高管创办AI原生CRM Dreamteam:基于Company Brain虚拟记忆与自动化智能体流水线深度拆解
AI 工具
Optimizely 谈营销智能体落地:企业需将审核从输出转向输入
告别Vibe Coding虚火!Optimizely解密企业级营销智能体落地法则:从“输出审核”走向“输入约束”、专用Harness架构与800落地页规模化实战
最新趋势

相关推荐

GoodWeBot – 基于 RPA 技术开源的 AI 微信机器人
AIGC 资讯

GoodWeBot – 基于 RPA 技术开源的 AI 微信机器人

Prompt 语宙研究院
AI办公效率 AI智能体 开源大模型
上海AI Lab开源Intern-S2-Preview:35B参数科学大模型,比肩万亿参数,首次实现晶体结构生成
AI 工具AIGC 资讯

上海AI Lab开源Intern-S2-Preview:35B参数科学大模型,比肩万亿参数,首次实现晶体结构生成

Prompt 语宙研究院
Intern-S2-Preview 上海AI Lab 多模态大模型 开源模型 科学大模型
我听过的最棒的调试故事 [译]
强化 AI 学习

我听过的最棒的调试故事 [译]

宝玉的分享
AI办公效率 AI编程 大模型微调
ControlNeXt – AI图像和视频可控生成框架
AIGC 资讯

ControlNeXt – AI图像和视频可控生成框架

Prompt 语宙研究院
AI视频生成 ComfyUI PyTorch stable diffusion 大模型微调
/ Prompt 语宙 /

探索生成式 AI 的无限创作潜能,一站式获取前沿 AIGC 资讯、高阶 Prompt 咒语与全球实用 AI 工具。

核心专栏

  • Remaker AI
  • BGRemaker 抠图Hot
  • AIGC 工具
  • Prompt 咒语生成器
  • 去水印工具

生态与服务

  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作

标签

开源大模型 AI智能体 AI办公效率 AI绘画提示词 OpenAI 大模型微调 Midjourney AI编程 stable diffusion AI视频生成 ChatGPT 3D与空间智能 HuggingFace AI音频与语音 RAG检索增强 Claude Flux AIGC Gemini 通义千问 Anthropic Llama Cursor DeepSeek Prompt AI Agent Kimi 智谱AI 具身智能 YouTube
Prompt 语宙Prompt 语宙
Follow US
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.