# 京东开源JoyAI-LLM-Flash：48B参数MoE架构，3B激活参数实现128K超长上下文与高效推理

- Link: https://paooo.com/aigc-news/11451/
- Published: 2026-06-11T06:12:22+08:00
- Author: Prompt 语宙研究院

⚡ [Prompt](https://paooo.com/ai-image-prompts/) 语宙 AI 导读 · 30 秒核心看点

 * 48B总参数、3B激活参数的MoE设计，显著降低推理成本。
 * 支持128K超长上下文，适合长文档、长对话与复杂[Agent](https://paooo.com/trends/)
   任务。
 * FiberPO+MTP带来训练优化与1.3-1.7倍吞吐提升，强调高效落地。

> **💡 站外导读：**在追求模型性能与部署效率平衡的AI竞赛中，如何以更低的计算成本实现
> 更强的智能？京东开源的JoyAI-LLM-Flash给出了一个创新答案：它采用混合专家架构，总
> 参数48B，但每个token仅激活3B参数，大幅降低推理成本。模型支持128K超长上下文，解决
> 了长文档处理的痛点，并创新性地将纤维丛理论引入强化学习，结合多Token预测技术提升
> 吞吐量。这不仅为端侧设备本地化AI助手铺平了道路，也为大规模企业级Agent应用提供了
> 高效、经济的解决方案，直击当前大模型落地应用的核心挑战。

## JoyAI-LLM-Flash是什么

JoyAI-LLM-Flash 是京东开源的中型指令[大模型](https://paooo.com/ai-study/)，采用混合
专家（MoE）架构，总参数量 48B，激活参数量仅 3B，支持 128K 超长上下文。模型创新性
地引入 FiberPO 优化框架——首次将纤维丛理论应用于强化学习，结合 Muon 优化器进行 SFT、
DPO 及 RL 训练；同时采用稠密多 Token 预测（MTP）技术，相较非 MTP 版本吞吐量提升 
1.3-1.7 倍。基于 20 万亿 Token 预训练数据，JoyAI-LLM-Flash 在前沿知识理解、逻辑推理、
代码生成及智能体交互等任务上表现出色，适用于端侧高效推理、企业级 Agent 开发及长文本
处理等场景。

阅读目录

 * [JoyAI-LLM-Flash是什么](https://paooo.com/aigc-news/11451/#joyaillmflash%e6%98%af%e4%bb%80%e4%b9%88)
 * [JoyAI-LLM-Flash的主要功能](https://paooo.com/aigc-news/11451/#joyaillmflash%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd)
 * [JoyAI-LLM-Flash的技术原理](https://paooo.com/aigc-news/11451/#joyaillmflash%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86)
 * [JoyAI-LLM-Flash的项目地址](https://paooo.com/aigc-news/11451/#joyaillmflash%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80)
 * [JoyAI-LLM-Flash的应用场景](https://paooo.com/aigc-news/11451/#joyaillmflash%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af)
       * [📝 站长洞察 (Editor’s Insight)](https://paooo.com/aigc-news/11451/#%f0%9f%93%9d-%e7%ab%99%e9%95%bf%e6%b4%9e%e5%af%9f-editor8217s-insight)

![JoyAI-LLM-Flash](https://paooo.com/wp-content/uploads/2026/05/JoyAI-LLM-Flash-
1.avif)

## JoyAI-LLM-Flash的主要功能

 * **超长上下文处理**：支持 128K Token 上下文长度，可处理长文档、长对话及复杂多轮
   交互任务。
 * **高效 MoE 推理**：总参数量 48B，激活参数仅 3B，256 个专家动态路由，每 Token 
   激活 8 个专家，兼顾性能与低推理成本。
 * **多 Token 预测（MTP）**：采用稠密 MTP 技术，吞吐量较非 MTP 版本提升 1.3-1.7 
   倍，显著提升生成效率。
 * **代码生成能力**：基于 20 万亿 Token 预训练，擅长逻辑推理与代码生成，支持多种
   编程语言辅助开发。
 * **智能体交互**：针对 Agent 场景优化，支持复杂任务规划、工具调用及多步骤推理。
 * **前沿知识理解**：覆盖广泛领域知识，具备强大的语义理解和知识问答能力。
 * **指令遵循优化**：通过 SFT、DPO 及 RL 多阶段训练，精准理解并执行用户指令。

## JoyAI-LLM-Flash的技术原理

 * **混合专家架构（MoE）**：采用稀疏激活的 MoE 设计，总参数量 48B 但每 Token 仅激活
   3B 参数，通过 256 个专家模块动态路由（每 Token 选择 8 个专家），大幅降低推理成本
   的同时保持高性能。
 * **稠密多 Token 预测（Dense MTP）**：创新性地引入稠密 MTP 机制，单次前向传播并行
   预测多个未来 Token，解决传统模型规模扩展时的不稳定问题，吞吐量提升 1.3-1.7 倍。
 * **FiberPO 优化框架**：首次将纤维丛理论（Fiber Bundle Theory）引入强化学习优化，
   结合 Muon 优化器进行参数更新，提升训练稳定性和收敛效率。
 * **多阶段训练策略**：采用 SFT（监督微调）+ DPO（直接偏好优化）+ RL（强化学习）
   三阶段训练流程，逐步优化模型的指令遵循能力和输出质量。
 * **MLA 注意力机制**：使用多头潜在注意力（Multi-head Latent Attention），隐藏维
   度 2048，支持 32 头注意力，高效处理长序列依赖关系。
 * **SwiGLU 激活函数**：采用 SwiGLU 作为非线性激活，结合 129K 词表大小，提升模型
   表达能力和训练稳定性。

## JoyAI-LLM-Flash的项目地址

 * **HuggingFace模型库**：https://huggingface.co/jdopensource/JoyAI-LLM-Flash

## JoyAI-LLM-Flash的应用场景

 * **端侧高效推理**：激活参数仅 3B，适合部署在手机、IoT 设备等资源受限的端侧场景，
   实现本地化 AI 助手。
 * **智能客服系统**：支持 128K 超长上下文，可处理复杂多轮对话，适用于电商、金融等
   领域的大规模客服自动化。
 * **代码辅助开发**：擅长逻辑推理与代码生成，可为开发者提供实时代码补全、Bug 修复
   及技术文档解读。
 * **企业级 Agent 平台**：针对智能体交互优化，支持任务规划、工具调用及多步骤推理，
   适用于 RPA、自动化办公等场景。
 * **长文档处理**：128K 上下文能力支持论文分析、合同审查、研报总结等需要处理大量
   文本的专业场景。
 * **内容创作辅助**：基于 20 万亿 Token 预训练，可辅助撰写营销文案、产品描述、新闻
   稿件等商业内容。

#### 📝 站长洞察 (Editor’s Insight)

京东此次开源JoyAI-LLM-Flash，标志着大模型竞赛从’规模军备’转向’效能实用’的关键拐点。
其MoE架构的精细设计（48B总参/3B激活）直击企业级部署的核心痛点——推理成本。更值得玩味
的是其技术融合：将深奥的纤维丛理论（FiberPO）引入RL优化，是理论驱动工程创新的典范；
而稠密MTP技术显著提升吞吐量，意味着在同等硬件条件下，模型能处理更多并发请求。这精准
呼应了AI落地的三大趋势：端侧智能的崛起（3B激活参数适配边缘设备）、长上下文成为刚
需（128K支撑复杂Agent任务与文档处理），以及开源模型开始系统性优化’最后一公里’的部署
效率。京东此举不仅是技术实力展示，更是以开源生态抢占智能体时代基础设施标准的战略
布局，预示着行业将从’比谁大’转向’比谁更会用’。

🧭 文中关联 [AI 工具](https://ai.paooo.com/)官网与参数卡（语宙 AI 导航）

**HuggingFace ↗**

HuggingFace：AI模型开发社区，面向大语言模型场景提供便捷实用的在线功能支持，涵盖大
模型等实用方向。

❓ 常见问题解答（FAQ）

JoyAI-LLM-Flash适合哪些应用场景？

它适合端侧本地化AI助手、企业级Agent平台、智能客服、代码辅助开发和长文档处理等场景。
由于仅激活3B参数且支持128K上下文，兼顾低成本推理与复杂任务处理能力。

JoyAI-LLM-Flash为什么推理效率更高？

核心原因是MoE稀疏激活架构：总参数48B，但每个Token仅激活3B参数，并通过256个专家动态
路由。同时，稠密MTP技术可提升吞吐量1.3-1.7倍，进一步提高生成效率。

JoyAI-LLM-Flash的技术亮点是什么？

主要亮点包括128K超长上下文、FiberPO优化框架、Muon优化器、多阶段SFT/DPO/RL训练，以及
MTP技术。这些设计共同提升了模型的稳定性、指令遵循能力和部署效率。

🔬 语宙深潜追问 · 进阶实操拆解

MoE模型落地最该关注什么？

别只看总参数，要看激活参数、路由稳定性和实际吞吐。企业部署时，真正决定成本的是显
存占用、并发表现和长上下文下的延迟曲线。

长上下文适合哪些企业任务？

适合合同审阅、知识库问答、长报告分析和多轮Agent任务。关键不是“能塞多少字”，而是能否
在长输入里稳定抓住关键信息并保持推理一致性。

🗳️ 读者观点微投票 · 您的实战立场是？

128K长上下文，企业最该买单的是什么？

🕸️ 语宙向量知识图谱 · 语义强关联深度内链

 * [小米MiMo-V2-Flash开源大模型：150亿参数击败Claude 4.5，推理成本仅2.5%](https://paooo.com/aigc-news/12701/)
 * [阿里通义Qwen3-30B-A3B-Thinking-2507开源：305亿参数MoE推理模型，性能超GPT-4o，消费级硬件可部署](https://paooo.com/aigc-news/14335/)
 * [科大讯飞星火X2-Flash MoE大模型发布：30B参数对标万亿级性能，Agent时代性价比之王](https://paooo.com/aigc-news/10748/)
 * [Ling 3.0 Flash – 蚂蚁百灵推出的轻量级 MoE 推理模型](https://paooo.com/aigc-news/38950/)

[🏛️ Prompt 语宙研究院](https://paooo.com/author/paooo-research/) · Prompt 语宙研究院（
paooo.com Research）专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示
词工程（Prompt Engineering）与全球高增长 AI 生产力工具实测追踪，致力于为中文开发
者与创作者提供一手、可复现的深度技术洞察。

[📄 Markdown 纯净版](https://paooo.com/aigc-news/11451/?format=md)

💡 这篇内容对您有启发吗？

[📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/)

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)
