# 上海AI Lab开源XTuner V1：支持1T参数MoE模型训练，显存吞吐双杀传统方案 - Link: https://paooo.com/aigc-news/13676/ - Published: 2026-06-21T13:12:22+08:00 - Author: 站外新闻 > **💡 站外导读：**随着大模型参数规模突破千亿甚至万亿，训练效率与显存瓶颈成为制约 > AI创新的核心挑战。传统3D并行方案在超大模型训练中面临通信开销大、负载不均、显存 > 不足等问题，严重拖慢研发进度。上海人工智能实验室开源XTuner V1，正是为解决这些痛点 > 而生——它通过系统性优化，让千亿级MoE模型训练更高效、更易用，为学术界和工业界打开 > 新大门。 ## XTuner V1是什么 XTuner V1 是上海人工智能实验室开源的新一代[大模型](https://paooo.com/ai-study/)训练 引擎，基于 PyTorch FSDP 开发，针对超大模型训练中的显存、通信和负载问题进行系统性 优化，支持 1T 参数量级 MoE 模型训练，能在 200B 量级模型上实现训练吞吐超越传统 3D 并行方案。XTuner V1 与华为昇腾技术团队合作，进一步提升训练效率，实现更高的模型浮点 运算利用率。XTuner V1 为学术界和工业界提供高性能、低门槛、易扩展的大模型训练方案。 阅读目录 * [XTuner V1是什么](https://paooo.com/aigc-news/13676/#xtuner-v1%e6%98%af%e4%bb%80%e4%b9%88) * [XTuner V1的主要功能](https://paooo.com/aigc-news/13676/#xtuner-v1%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd) * [XTuner V1的技术原理](https://paooo.com/aigc-news/13676/#xtuner-v1%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86) * [XTuner V1的项目地址](https://paooo.com/aigc-news/13676/#xtuner-v1%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80) * [XTuner V1的应用场景](https://paooo.com/aigc-news/13676/#xtuner-v1%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af) * [📝 站长洞察 (Editor’s Insight)](https://paooo.com/aigc-news/13676/#%f0%9f%93%9d-%e7%ab%99%e9%95%bf%e6%b4%9e%e5%af%9f-editor8217s-insight) ![XTuner V1](https://paooo.com/wp-content/uploads/2026/05/XTuner-V1-website1-1.avif) ## XTuner V1的主要功能 * **高效训练超大模型**：支持1T参数量级的MoE模型训练，在200B以上量级的混合专家模型 中，训练吞吐超越传统3D并行训练方案。 * **优化显存使用**：通过自动Chunk Loss机制和Async Checkpointing Swap技术，有效降低 显存峰值，无需借助序列并行技术实现200B参数量级MoE模型训练64K长度序列。 * **掩盖通信开销**：用极致的显存优化提升单次迭代的最大序列长度，增加每层计算耗时 以掩盖参数聚合的通信耗时；通过Intra-Node Domino-EP降低参数聚合通信量，掩盖专家 并行带来的额外通信开销。 * **实现DP负载均衡**：对每n个step内的已拼接好的序列进行排序，使每次计算时不同DP 的最长子序列长度接近，减少因变长注意力导致的计算空泡。 * **适配多种硬件**：与华为昇腾技术团队合作，在Ascend A3 NPU超节点上进行深度优化， 充分用超节点硬件特性，在理论算力落后NVIDIA H800近20%的情况下，能实现训练吞吐反 超H800近5%，MFU反超20%以上。 ## XTuner V1的技术原理 * **基于PyTorch FSDP开发**：PyTorch FSDP（Fully Shard Data Parallel）是数据并行 策略，将模型参数均匀切分到每张卡上，通过提前聚合参数和重新切分参数节省显存。XTuner V1在FSDP的基础上进行深度优化，解决其通信量大的问题。 * **显存优化**： - **自动Chunk Loss机制**：针对计算损失函数时的计算图，开发支持多种训练场景和 多种硬件的自动Chunk Loss机制，有效降低显存峰值。 - **Async Checkpointing Swap**：在模型前向计算开始时，将重计算需要保存的激活 值从Device搬运到Host，释放显存；在反向传播时，提前将激活值从Host搬运回Device， 反向传播结束后释放显存，进一步优化显存使用。 * **通信掩盖**： - **增加计算耗时掩盖通信耗时**：通过极致的显存优化，提升单次迭代的最大序列长度， 增加每层计算的耗时，使计算耗时大于通信耗时，掩盖通信开销，避免计算空泡。 - **Intra-Node Domino-EP**：针对因显存或通信带宽受限的训练场景，通过Intra-Node Domino-EP降低每一层聚合参数的通信量，掩盖因引入专家并行带来的额外通信开销。 * **DP负载均衡**：大模型训练时，将多条句子拼接至一个固定长度，计算时使用变长注意力 机制。XTuner V1通过对每n个step内的已拼接好的序列进行排序，使每次计算时不同DP的 最长子序列长度接近，减少因变长注意力导致的计算空泡，提高训练效率。 ## XTuner V1的项目地址 * **项目官网**：https://xtuner.readthedocs.io/zh-cn/latest/ * **GitHub仓库**：https://github.com/InternLM/xtuner ## XTuner V1的应用场景 * **自然语言处理（NLP）领域**：用在训练超大规模的语言模型，如GPT、BERT等，提升模型 的语言理解和生成能力，应用于机器翻译、文本生成、情感分析等任务。 * **计算机视觉（CV）领域**：在图像识别、目标检测等任务中，训练大规模的视觉模型， 如ResNet、Transformer等，提高模型的准确性和效率。 * **多模态学习**：结合语言和视觉信息，训练多模态模型，如CLIP等，用在图像描述生成、 视觉问答等任务，提升模型对复杂场景的理解能力。 * **强化学习**：在长序列的强化学习任务中，如机器人控制、游戏AI等，XTuner V1能够 高效处理长序列数据，加速模型训练，提高策略学习的效率。 #### 📝 站长洞察 (Editor’s Insight) XTuner V1的发布标志着大模型训练工具链进入‘深度定制优化’新阶段。它并非简单封装现有 框架，而是针对FSDP在通信、显存、负载三方面瓶颈进行外科手术式改造，体现了从‘能用’ 到‘好用’的工程思维飞跃。与华为昇腾的合作尤其值得关注——在国产算力生态仍面临软件适 配难题的背景下，这种‘硬件特性深度挖掘+算法协同优化’的路径，为国产AI基础设施突围提供 了范本。长远看，大模型竞争已从‘模型参数军备赛’转向‘训练效率持久战’，XTuner V1这类 开源引擎将降低超大模型训练门槛，加速技术民主化。我们判断，未来能系统性解决‘显存- 通信-计算’三角平衡问题的框架，将在产业落地中占据关键位置。 **🚀 Prompt 语宙 AI 创作者生态：**探索 2,000+ 全球实用 AI 工具与高精度生图提示词 咒语库 [🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/) [⚡ AIGC 早报生成器](https://paooo.com/mtool/)