# 单卡吞吐飙升86%且总参数达1.6万亿！美团重磅开源原生多模态大模型LongCat-2.5：首创W4A4 FlatQuant量化与百万上下文长程Agent技术全景拆解

- Link: https://paooo.com/ai-tool/41695/
- Published: 2026-11-10T20:06:11+08:00
- Author: 站外新闻

> **💡 站外导读：**在大模型竞争全面迈向万亿参数与长程具身智能体（Long-Horizon Agent）
> 的当下，计算基础设施的显存墙与带宽瓶颈已成为企业落地的致命卡点。美团龙猫团队开
> 源的 LongCat-2.5，不仅以 1.6 万亿总参数和每 Token 激活 480 亿参数的稀疏 MoE 架构
> 攻克了端到端 Visual Coding 与全自动软件工程，更关键的是通过长序列 SFT 分片与 W4A4
> 原生 INT4 矩阵量化，实现了单卡吞吐较传统 DDP 暴增 86% 的系统级突破，让国产单卡
> 显存不足 80GB 的算力集群也能跑通万亿超大模型。

![美团开源原生多模态大模型LongCat-2.5技术全景](https://paooo.com/wp-content/uploads/
2026/11/sre-curated-1794312363380-230.avif)

阅读目录

 * [一、万亿参数与稀疏 MoE 创新：LongCat-2.5 的核心规格矩阵](https://paooo.com/ai-tool/41695/#%e4%b8%80%e4%b8%87%e4%ba%bf%e5%8f%82%e6%95%b0%e4%b8%8e%e7%a8%80%e7%96%8f-moe-%e5%88%9b%e6%96%b0longcat25-%e7%9a%84%e6%a0%b8%e5%bf%83%e8%a7%84%e6%a0%bc%e7%9f%a9%e9%98%b5)
 * [二、原生多模态表征：告别外挂 ViT，视觉与文本共享主干神经](https://paooo.com/ai-tool/41695/#%e4%ba%8c%e5%8e%9f%e7%94%9f%e5%a4%9a%e6%a8%a1%e6%80%81%e8%a1%a8%e5%be%81%e5%91%8a%e5%88%ab%e5%a4%96%e6%8c%82-vit%e8%a7%86%e8%a7%89%e4%b8%8e%e6%96%87%e6%9c%ac%e5%85%b1%e4%ba%ab%e4%b8%bb%e5%b9%b2)
 * [三、突破 80GB 显存墙：W4A4 FlatQuant 量化与长序列 SFT 86% 吞吐跃迁](https://paooo.com/ai-tool/41695/#%e4%b8%89%e7%aa%81%e7%a0%b4-80gb-%e6%98%be%e5%ad%98%e5%a2%99w4a4-flatquant-%e9%87%8f%e5%8c%96%e4%b8%8e%e9%95%bf%e5%ba%8f%e5%88%97-sft-86-%e5%90%9e%e5%90%90%e8%b7%83%e8%bf%81)
    - [1. 原生 INT4 矩阵运算与 FlatQuant 精度保护](https://paooo.com/ai-tool/41695/#1-%e5%8e%9f%e7%94%9f-int4-%e7%9f%a9%e9%98%b5%e8%bf%90%e7%ae%97%e4%b8%8e-flatquant-%e7%b2%be%e5%ba%a6%e4%bf%9d%e6%8a%a4)
    - [2. FSDP 双重分片与混合并行重构](https://paooo.com/ai-tool/41695/#2-fsdp-%e5%8f%8c%e9%87%8d%e5%88%86%e7%89%87%e4%b8%8e%e6%b7%b7%e5%90%88%e5%b9%b6%e8%a1%8c%e9%87%8d%e6%9e%84)
 * [四、从代码重构到商业办公：端到端交付的工业级场景落地](https://paooo.com/ai-tool/41695/#%e5%9b%9b%e4%bb%8e%e4%bb%a3%e7%a0%81%e9%87%8d%e6%9e%84%e5%88%b0%e5%95%86%e4%b8%9a%e5%8a%9e%e5%85%ac%e7%ab%af%e5%88%b0%e7%ab%af%e4%ba%a4%e4%bb%98%e7%9a%84%e5%b7%a5%e4%b8%9a%e7%ba%a7%e5%9c%ba%e6%99%af)
       * [📝 站长洞察 (Editor’s Insight)](https://paooo.com/ai-tool/41695/#%f0%9f%93%9d-%e7%ab%99%e9%95%bf%e6%b4%9e%e5%af%9f-editor8217s-insight)

## 一、万亿参数与稀疏 MoE 创新：LongCat-2.5 的核心规格矩阵

2026 年 11 月 10 日，美团正式宣布以 **MIT 顶级开源协议** 开源全新一代旗舰模型 LongCat-
2.5。该模型面向长时程自主[智能体](https://paooo.com/trends/)（Long-Horizon Agent）
任务研发，完全支持企业商业化推理部署与全量二次微调训练，且权重已全量上线 HuggingFace
并开放官方 API 访问渠道。

在核心架构设计上，LongCat-2.5 采用了万亿级稀疏混合专家（MoE）体系。模型总体参数规模
达到惊人的 **1.6 万亿**，但在实际推理与前向传播过程中，每个 Token 仅动态激活约 **
480 亿参数**。这种超高稀疏度的路由策略，在保持顶级模型认知容量的同时，大幅降低了
推理阶段的算力消耗与延迟抖动，原生支持高达 **1,000,000（一百万）Token** 的超长上下文
窗口。

  |  核心指标维度 |  LongCat-2.5 规格参数 |  工程价值与落地意义 |  
   |  **总体参数规模** |  1.6 万亿 (1.6 Trillion) MoE |  具备承载超大规模多领域知识的底座容量 |  
 |  **动态激活参数** |  约 480 亿 (48B) / Token |  单 Token 运算开销仅相当于中型稠密模型 |  
 |  **有效上下文窗口** |  100 万 Token 原生支持 |  支持吞吐数十万行企业级大型 Monorepo 仓库 |  
 |  **开源协议标准** |  MIT License (完全商用免授权) |  彻底免除商业集成与衍生分发知识产权风险 |  
 |  **推理量化方案** |  W4A4 + FlatQuant 专用融合算子 |  原生 INT4 执行，精度损失接近于 0 |  
 |  **训练吞吐优化** |  FSDP 双重分片 + 混合词表并行 |  长序列 SFT 阶段较 DDP 基线吞吐暴涨 86% |

## 二、原生多模态表征：告别外挂 ViT，视觉与文本共享主干神经

在多模态架构的演进路线上，很多模型依然采用类似 CLIP/ViT 的外挂视觉投影器。这种外
挂方式在复杂图文混排与长流程界面识别中存在严重的信息瓶颈与跨模态对齐误差。LongCat-
2.5 彻底重构了整条训练链路，确立了**原生多模态统一主干**：

 * **残差向量量化 (RVQ) 离散编码：**视觉表征层将输入的视觉信号离散化为多层级离散
   Token，对原生分辨率特征执行逐级残差向量量化，层层递进补足像素细节与语义信息；
 * **视觉码本与 LLM 主干联合训练：**视觉编码器与主干 Transformer 采用端到端联合反向
   传播更新，视觉 Token 与自然语言 Token 在同一隐空间内由核心注意力矩阵无差别处理；
 * **离线 Token 缓存优化：**针对频繁访问的企业级 UI 截图与静态设计素材，视觉 Token
   支持离线持久化缓存，重复调用时无需重新执行前置图像编码，大幅节约算力成本。

## 三、突破 80GB 显存墙：W4A4 FlatQuant 量化与长序列 SFT 86% 吞吐跃迁

对于工业界而言，如何将万亿参数模型真正部署落地，考验的是严密的 SRE 级分布式系统工程。
目前国内数据中心普遍面临单卡显存受限（常见规格小于或等于 80GB）以及跨节点互联带宽
紧张的现实瓶颈。美团研发团队通过两大核心工程手段实现了降本增效：

### 1. 原生 INT4 矩阵运算与 FlatQuant 精度保护

推理端采用了 **W4A4（权重 4bit、激活 4bit）** 极致压缩方案。所有专家层权重与动态
激活值均被精准量化至 4bit，并直接由 GPU 硬件底层的 INT4 矩阵乘法单元原生执行。针对
MoE 架构中由于激活值离群点导致的量化掉点难题，美团引入了 FlatQuant 优化算法对激活
离群通道进行平滑重缩放，使下游各类基准任务的表现与未量化的 FP16/BF16 浮点基线几乎
完全持平，配合定制的 Tensor Core 融合算子，大幅削减了显存带宽占用。

### 2. FSDP 双重分片与混合并行重构

在长序列监督微调（SFT）训练阶段，长文本与大图片生成的极长序列会导致显存消耗呈指数
级爆炸。团队通过**全分片数据并行（FSDP）双重分片策略**与**混合词表并行（Hybrid Vocabulary
Parallelism）**，将模型状态、优化器状态与庞大的 Embedding 权重均匀分散到算力集群
中。实测基准数据表明，在国产 AI 加速芯片集群的长序列 SFT 场景下，单卡吞吐量较标准
DDP（Distributed Data Parallel）基线**整整提升了 86%**，为业界开源万亿[大模型](https://paooo.com/ai-study/)
在异构国产算力上的高吞吐落地树立了标杆。

## 四、从代码重构到商业办公：端到端交付的工业级场景落地

得益于万亿稀疏底座与百万 Token 上下文支持，LongCat-2.5 在企业级智能体自动化任务中
表现亮眼：

 * **全自动软件工程 (NL2Repo)：**能够直接吞入整个复杂的微服务工程仓库，跨模块定位
   长链路 Bug，自动补全单元测试并生成合规的代码审查（PR）；
 * **端到端 Visual Coding：**直接根据高保真产品原型图或即席手绘草图，自主生成符合
   生产级规范的前端组件与响应式交互逻辑；
 * **商业级智能决策助手：**结合企业内部长达数百页的经营报表与财务审计文档，端到端
   交付专业分析报告、演示文稿及决策看板。

#### 📝 站长洞察 (Editor’s Insight)

在 2026 年大模型进入深水区的今天，参数规模的军备竞赛正在悄然转向“系统工程效率与异
构硬件适配”的真刀真枪拼杀。美团选择以最开放的 MIT 协议将 1.6 万亿参数的 LongCat-
2.5 完整贡献给开源社区，其最具战略价值的突破并不单单是刷高评测榜单，而是向全行业
证明了——即使在单卡显存受限（<=80GB）的国产算力底座上，只要配合精密设计的 W4A4 FlatQuant
量化与长序列分片通信拓扑，万亿 MoE 模型的 SFT 吞吐同样能激增 86%。这种扎扎实实的
SRE 级工程交付，对于正在摆脱算力卡脖子困局、渴望自建企业级长程智能体闭环的广大中国
科技公司而言，无疑是一剂极其宝贵的开源强心针。

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,000+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[⚡ AIGC 早报生成器](https://paooo.com/mtool/)