# 京东开源xLLM：国产芯片AI推理框架，服务-引擎分离架构实现端云一体高效部署

- Link: https://paooo.com/aigc-news/13350/
- Published: 2026-06-19T13:42:22+08:00
- Author: 站外新闻

> **💡 站外导读：**在国产大模型蓬勃发展的浪潮中，如何将强大模型高效、低成本地部署
> 在国产算力上，成为制约产业规模化落地的核心痛点。传统推理框架往往在异构硬件适配、
> 显存管理、计算效率上存在瓶颈。京东开源的xLLM框架应运而生，它直击这一痛点，通过
> 创新的服务-引擎分离架构，为国产芯片提供了高性能、易部署的智能推理引擎，旨在打通
> 从模型训练到业务应用的‘最后一公里’。

## xLLM是什么

xLLM 是京东开源的高效智能推理框架，专为国产芯片优化，支持端云一体部署。框架用服务-
引擎分离架构，服务层负责请求调度与容错，引擎层专注运算优化，具备多流并行、图融合、
动态负载均衡等特性。xLLM 支持[大模型](https://paooo.com/ai-study/)、多模态模型及
生成式推荐等多种场景，提供高性能、低成本的推理服务，助力智能客服、实时推荐、内容
生成等业务高效落地，推动大语言模型在国产芯片上的规模化应用。

阅读目录

 * [xLLM是什么](https://paooo.com/aigc-news/13350/#xllm%e6%98%af%e4%bb%80%e4%b9%88)
 * [xLLM的主要功能](https://paooo.com/aigc-news/13350/#xllm%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd)
 * [如何使用xLLM](https://paooo.com/aigc-news/13350/#%e5%a6%82%e4%bd%95%e4%bd%bf%e7%94%a8xllm)
 * [xLLM的项目地址](https://paooo.com/aigc-news/13350/#xllm%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80)
 * [xLLM的应用场景](https://paooo.com/aigc-news/13350/#xllm%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af)
       * [📝 站长洞察 (Editor’s Insight)](https://paooo.com/aigc-news/13350/#%f0%9f%93%9d-%e7%ab%99%e9%95%bf%e6%b4%9e%e5%af%9f-editor8217s-insight)

![xLLM](https://paooo.com/wp-content/uploads/2026/05/xLLM-website-1.avif)

## xLLM的主要功能

 * **全图化 / 多层流水线执行编排**：通过框架层异步解耦调度、模型图层计算通信异步
   并行及算子内核层深度流水优化，实现多层流水线执行编排，减少计算空泡并提升整体推理
   效率。
 * **动态 Shape 的图执行优化**：用参数化与多图缓存方法实现动态尺寸适配，结合受管
   控的显存池和自定义算子集成，提升静态图灵活性并保障显存安全复用，优化动态输入处理
   性能。
 * **MoE 算子优化**：针对 MoE 模型，实现 GroupMatmul 和 Chunked Prefill 算子优化，
   分别提升计算效率和长序列输入的处理能力，增强模型推理性能。
 * **高效显存优化**：采用离散物理内存与连续虚拟内存的映射管理，按需分配内存空间，
   智能调度内存页复用，减少内存碎片与分配延迟，适配国产芯片算子，提升显存利用效率。
 * **全局多级 KV Cache 管理**：实现多级缓存的 KV 智能卸载与预取，构建以 KV Cache
   为中心的分布式存储架构，优化多节点间 KV 的智能传输路由，提升缓存效率和数据传输
   性能。
 * **算法优化**：通过投机推理优化和 MoE 专家动态负载均衡，实现多核并行提升效率，
   动态调整专家分布，优化算法性能，提升推理吞吐量和负载均衡能力。

## 如何使用xLLM

 * **环境准备**：
    - **下载镜像**：根据硬件设备（如 A2、A3 等）和架构（x86 或 arm），选择合适的
      Docker 镜像。例如，对于 A2 设备（x86 架构），可以下载 `xllm/xllm-ai:0.6.0-
      dev-hb-rc2-x86` 镜像。如果下载失败，尝试备用源 `quay.io/jd_xllm/xllm-ai:0.6.0-
      dev-hb-rc2-x86`。
    - **创建容器**：创建启动容器时，需要挂载必要的设备和目录，确保容器能访问硬件
      资源和数据。包括设备文件（如 `/dev/davinci0`、`/dev/davinci_manager` 等）、
      模型文件路径、驱动路径等。
 * **安装编译**：
    - **安装依赖**：
       * **克隆仓库**：进入容器后，克隆 xLLM 的官方仓库，初始化子模块。
       * **配置 vcpkg**：如果镜像中没有预装 vcpkg，手动克隆 vcpkg 仓库，设置环境
         变量 `VCPKG_ROOT` 指向 vcpkg 的安装路径。
       * **安装 Python 依赖**：用清华大学的 Python 镜像源安装 xLLM 所需的 Python
         依赖，升级 `setuptools` 和 `wheel`。
    - **编译**：
       * **编译生成可执行文件**：运行编译命令，生成可执行文件。默认情况下，编译目标
         是 A2 设备。如果需要编译为其他设备（如 A3 或 MLU），通过添加参数指定设备
         类型。
       * **生成 whl 包**：如果需要生成 Python 的 whl 包，运行相应的编译命令，生成
         的 whl 包将保存在 `dist/` 目录下。
 * **模型加载**：
    - **准备模型文件**：将模型文件准备好，放置在容器可以访问的路径中，例如 `/mnt/
      cfs/9n-das-admin/llm_models`。
    - **加载模型**：使用 xLLM 提供的接口加载模型。模型加载后，即可进行推理任务。
 * **推理调用**：通过 xLLM 提供的推理接口，输入文本或其他数据，即可获得推理结果。
   推理接口根据加载的模型进行计算，返回结果。

## xLLM的项目地址

 * **项目官网**：https://xllm.readthedocs.io/
 * **GitHub仓库**：https://github.com/jd-opensource

## xLLM的应用场景

 * **智能客服**：快速响应用户咨询，提供准确的解答和建议，提升客户满意度和客服效率。
 * **实时推荐**：基于用户行为数据，实时生成个性化推荐内容，提高用户参与度和转化率。
 * **内容生成**：xLLM 能生成高质量的文本内容，如新闻、文章、创意文案等，助力内容
   创作。
 * **多模态应用**：支持多模态模型（如文本 + 图像），用在图像描述生成、视觉问答等
   场景。
 * **生成式推荐**：结合生成式技术，生成更丰富、更个性化的推荐结果，提升用户体验。

#### 📝 站长洞察 (Editor’s Insight)

xLLM的开源，标志着头部互联网厂商正从‘用模型’向‘造基础设施’深度进军。它不仅仅是又
一个推理引擎，而是瞄准了‘国产算力生态’这一战略高地。其‘服务-引擎分离’设计极具前瞻性，
将分布式调度与单卡极致优化解耦，这正是应对未来模型规模指数增长和异构计算常态化的
关键。特别值得关注的是其对MoE（混合专家）架构的深度优化，这直指下一代大模型的核心
范式。结合其‘端云一体’的野心，xLLM很可能成为连接云端大模型与边缘/终端设备的关键中间
件，其影响将远超单一工具范畴，是观察中国AI基础设施自主化进程的一个重要样本。

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,000+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[⚡ AIGC 早报生成器](https://paooo.com/mtool/)