京东开源JoyAI-LLM-Flash：48B参数MoE架构，3B激活参数实现128K超长上下文与高效推理

💡 站外导读：在追求模型性能与部署效率平衡的AI竞赛中，如何以更低的计算成本实现更强的智能？京东开源的JoyAI-LLM-Flash给出了一个创新答案：它采用混合专家架构，总参数48B，但每个token仅激活3B参数，大幅降低推理成本。模型支持128K超长上下文，解决了长文档处理的痛点，并创新性地将纤维丛理论引入强化学习，结合多Token预测技术提升吞吐量。这不仅为端侧设备本地化AI助手铺平了道路，也为大规模企业级Agent应用提供了高效、经济的解决方案，直击当前大模型落地应用的核心挑战。

JoyAI-LLM-Flash是什么

JoyAI-LLM-Flash 是京东开源的中型指令大模型，采用混合专家（MoE）架构，总参数量 48B，激活参数量仅 3B，支持 128K 超长上下文。模型创新性地引入 FiberPO 优化框架——首次将纤维丛理论应用于强化学习，结合 Muon 优化器进行 SFT、DPO 及 RL 训练；同时采用稠密多 Token 预测（MTP）技术，相较非 MTP 版本吞吐量提升 1.3-1.7 倍。基于 20 万亿 Token 预训练数据，JoyAI-LLM-Flash 在前沿知识理解、逻辑推理、代码生成及智能体交互等任务上表现出色，适用于端侧高效推理、企业级 Agent 开发及长文本处理等场景。

JoyAI-LLM-Flash的主要功能

• 超长上下文处理：支持 128K Token 上下文长度，可处理长文档、长对话及复杂多轮交互任务。
• 高效 MoE 推理：总参数量 48B，激活参数仅 3B，256 个专家动态路由，每 Token 激活 8 个专家，兼顾性能与低推理成本。
• 多 Token 预测（MTP）：采用稠密 MTP 技术，吞吐量较非 MTP 版本提升 1.3-1.7 倍，显著提升生成效率。
• 代码生成能力：基于 20 万亿 Token 预训练，擅长逻辑推理与代码生成，支持多种编程语言辅助开发。
• 智能体交互：针对 Agent 场景优化，支持复杂任务规划、工具调用及多步骤推理。
• 前沿知识理解：覆盖广泛领域知识，具备强大的语义理解和知识问答能力。
• 指令遵循优化：通过 SFT、DPO 及 RL 多阶段训练，精准理解并执行用户指令。

JoyAI-LLM-Flash的技术原理

• 混合专家架构（MoE）：采用稀疏激活的 MoE 设计，总参数量 48B 但每 Token 仅激活 3B 参数，通过 256 个专家模块动态路由（每 Token 选择 8 个专家），大幅降低推理成本的同时保持高性能。
• 稠密多 Token 预测（Dense MTP）：创新性地引入稠密 MTP 机制，单次前向传播并行预测多个未来 Token，解决传统模型规模扩展时的不稳定问题，吞吐量提升 1.3-1.7 倍。
• FiberPO 优化框架：首次将纤维丛理论（Fiber Bundle Theory）引入强化学习优化，结合 Muon 优化器进行参数更新，提升训练稳定性和收敛效率。
• 多阶段训练策略：采用 SFT（监督微调）+ DPO（直接偏好优化）+ RL（强化学习）三阶段训练流程，逐步优化模型的指令遵循能力和输出质量。
• MLA 注意力机制：使用多头潜在注意力（Multi-head Latent Attention），隐藏维度 2048，支持 32 头注意力，高效处理长序列依赖关系。
• SwiGLU 激活函数：采用 SwiGLU 作为非线性激活，结合 129K 词表大小，提升模型表达能力和训练稳定性。

JoyAI-LLM-Flash的项目地址

• HuggingFace模型库：https://huggingface.co/jdopensource/JoyAI-LLM-Flash

JoyAI-LLM-Flash的应用场景

• 端侧高效推理：激活参数仅 3B，适合部署在手机、IoT 设备等资源受限的端侧场景，实现本地化 AI 助手。
• 智能客服系统：支持 128K 超长上下文，可处理复杂多轮对话，适用于电商、金融等领域的大规模客服自动化。
• 代码辅助开发：擅长逻辑推理与代码生成，可为开发者提供实时代码补全、Bug 修复及技术文档解读。
• 企业级 Agent 平台：针对智能体交互优化，支持任务规划、工具调用及多步骤推理，适用于 RPA、自动化办公等场景。
• 长文档处理：128K 上下文能力支持论文分析、合同审查、研报总结等需要处理大量文本的专业场景。
• 内容创作辅助：基于 20 万亿 Token 预训练，可辅助撰写营销文案、产品描述、新闻稿件等商业内容。