Prompt 语宙Prompt 语宙
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
阅读: 1.6万亿参数激活仅480亿!美团重磅发布LongCat-2.5:首创RVQ多层级离散视觉、国产显存自研FSDP与W4A4全景技术拆解
Share
通知 阅读更多
Font Resizer字体
Font Resizer字体
Prompt 语宙Prompt 语宙
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
已有帐户? 登陆
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
美团 LongCat-2.5 原生多模态模型架构与离散视觉 Token 机制
Prompt 语宙 > AI 工具 > 1.6万亿参数激活仅480亿!美团重磅发布LongCat-2.5:首创RVQ多层级离散视觉、国产显存自研FSDP与W4A4全景技术拆解
AI 工具

1.6万亿参数激活仅480亿!美团重磅发布LongCat-2.5:首创RVQ多层级离散视觉、国产显存自研FSDP与W4A4全景技术拆解

Prompt 语宙研究院
最近更新: 2026年11月2日 下午12:06
LongCat-2.5 Terminal Bench W4A4量化 原生多模态 残差向量量化 美团龙猫
SHARE
🎯 2分钟看懂LongCat-2.5如何用RVQ离散视觉、48B稀疏激活和国产FSDP,在80GB显存约束下提升多模态与智能体能力。
⚡ Prompt 语宙 AI 导读 · 30 秒核心看点
  • 1.6T MoE 稀疏基座,单 Token 仅激活约 48B 参数,兼顾规模与推理效率。
  • 首创 RVQ 多层级离散视觉表征,原生分辨率下处理图像/视频,减少 Token 爆炸。
  • 自研国产超节点 FSDP 与 W4A4 推理量化,面向 80GB 以下显存环境提升训练与部署可行性。

💡 站外导读:在多模态与长时程智能体(Long-horizon Agents)的技术演进中,传统视觉编码器与大语言模型的“松耦合拼接”往往导致高分辨率图像 Token 爆炸与语义理解断层,而在国产算力集群中更面临单卡显存不足 80GB 的残酷工程天花板。美团龙猫(LongCat)团队正式揭晓新一代 1.6 万亿参数原生多模态模型 LongCat-2.5,单 Token 激活仅约 480 亿参数,通过首创的残差向量量化(RVQ)离散视觉表征与全自研国产超节点 FSDP 双重分片架构,在降低算力门槛的同时实现了端到端智能体复杂任务的跨越式突破。

随着大模型从单一问答交互向具备真实环境执行能力的“自主智能体(Autonomous Agents)”演化,工业界对模型的长时程规划、长序列代码生成以及跨模态环境理解提出了近乎苛刻的要求。然而,千亿甚至万亿参数模型的预训练与推理往往受限于算力硬件规格,特别是国产智算芯片普遍面临单卡显存不足 80GB 的物理约束。

阅读目录
  • 一、 架构跃迁:1.6T MoE 稀疏基座与 RVQ 多层级离散视觉表征
  • 二、 Agentic RL 训练回路:可验证环境与防 Reward Hacking 机制
    • 1. 自动化任务生成与真实环境沙箱
    • 2. 异步 Partial Rollout 策略与抗作弊约束
  • 三、 算力底座突破:单卡显存不足 80GB 下的双重分片 FSDP 与超节点拓扑
  • 四、 推理端 W4A4 极限能效:Prefill/Decode 吞吐飙升超 42%
  • 五、 权威基准评测:Terminal Bench v4.0 力压 GPT-5.6-Sol
      • 📝 站长洞察 (Editor’s Insight)

美团龙猫(LongCat)核心研究团队于 2026 年 11 月 2 日正式官宣并开源 LongCat-2.5。该模型总参数量高达 1.6 万亿,但得益于极具创新的稀疏混合专家(MoE)路由设计,每生成一个 Token 仅激活约 480 亿(48B)参数。目前在线体验与开发者 API 已正式上线,GitHub 与 Hugging Face 权重正在全面同步。本文将从原生多模态表征、强化学习链路、国产算力分布式并行与 W4A4 推理量化四大维度,深入剖析其底层技术突破。

一、 架构跃迁:1.6T MoE 稀疏基座与 RVQ 多层级离散视觉表征

传统的“视觉语言模型(VLM)”大多采用类似 CLIP 或 SigLIP 的预训练视觉塔,将图像特征通过投影层线性映射后直接喂给语言解码器。这种设计在处理高分辨率复杂屏幕或动态网页交互时,不仅会产生数十万个长上下文 Token,还会造成视觉与文本语义空间的严重割裂。

LongCat-2.5 从底层彻底颠覆了拼接范式,采用原生多模态(Native Multimodal)统一建模路线:

  • 残差向量量化(Residual Vector Quantization, RVQ):沿用 LongCat-Next 的语义对齐编码器,将连续的视觉像素信号转换为多层级的离散视觉 Token。
  • 原生分辨率自适应离散化:图像与视屏无需强行缩放剪裁,直接在原生分辨率下进行切片离散化,并通过离线视觉 Token 预计算机制,使得主干模型可以像处理自然语言文本一样无缝吞吐视觉序列。
  • 码本 Embedding 与主干联合梯度更新:视觉码本(Codebook Embedding)与主语言解码器完全联合训练,并在激活约 3B 参数的小型 MoE 验证子模块上实现了视觉与文本概念的深层语义空间交织。
美团 LongCat-2.5 原生多模态模型架构与离散视觉 Token 机制
图 1:美团 LongCat-2.5 原生多模态模型架构与离散视觉 Token 机制

二、 Agentic RL 训练回路:可验证环境与防 Reward Hacking 机制

在智能体长程任务中,单纯依赖高质量人类示范的 SFT(监督微调)存在明显的上限瓶颈。LongCat-2.5 全面导入了闭环的 Agentic RL(智能体强化学习)训练体系,构建了一套自动化数据合成与动态校验流水线:

1. 自动化任务生成与真实环境沙箱

训练流水线从 GitHub 真实代码仓库以及美团内部真实业务场景中提取数万项复杂工程问题,自动合成可交互的容器沙箱与包含严格断言的测试用例。每项任务均需通过严格的 fail-to-pass(修改前测试失败、修复后测试通过)与 pass-to-pass(不破坏原有存量测试)双向校验,彻底杜绝虚假合成数据注入。

2. 异步 Partial Rollout 策略与抗作弊约束

针对智能体任务长尾分布显著、部分复杂用例耗时极长的痛点,LongCat-2.5 采用了 Partial Rollout 异步采样策略,有效缓解了长尾等待开销并抑制了梯度样本的陈旧性。更为关键的是,为了根治强化学习中常见的 Reward Hacking(奖励作弊)现象,训练环境强制执行了三大防线:

  1. 物理断网隔离:阻断智能体通过外网获取测试答案或预训练泄漏资源;
  2. 彻底清除 Git 提交历史:防止 Agent 通过反查 Commit Log 逆向提取已知 Bug 修复补丁;
  3. LLM Judge 独立监督:引入高阶仲裁模型对执行动作链的合理性进行全生命周期审计。

三、 算力底座突破:单卡显存不足 80GB 下的双重分片 FSDP 与超节点拓扑

在算力自主可控的时代浪潮下,如何利用国产智算卡(多数显存规格在 32GB 至 64GB 之间,无法比拟海外 80GB/192GB 旗舰)高效训练万亿参数大模型,是国内顶级实验室面临的核心考题。

美团工程团队针对国产硬件特征量身定制了超节点(Super-node)并行拓扑与双重分片 FSDP 引擎:

  • 双重分片优化:在传统 FSDP(Fully Sharded Data Parallel)的参数与梯度分片基础上,深度打通了节点内高速互联总线与跨节点 RDMA 网络的层级通信,实现了激活值与优化器状态的二次精细切分。
  • 长序列 SFT 吞吐跃升:在长上下文智能体代码与跨模态多轮轨迹微调中,单卡有效吞吐量较标准的 DDP 基线狂飙 86%,一举击穿了显存溢出(OOM)瓶颈。

四、 推理端 W4A4 极限能效:Prefill/Decode 吞吐飙升超 42%

不仅要训得起,更要在生产环境中用得起。在部署推理阶段,LongCat-2.5 落地了业界极其领先的 W4A4 权重量化与激活值量化方案,将高达 1.6 万亿的 MoE 专家权重以及前向激活值全部压缩至 4-bit 精度:

推理性能核心指标 W8A8 INT8 基线 LongCat-2.5 W4A4 方案 实际能效提升幅度
Prefill 阶段吞吐量 1.0x 基准 1.433x +43.30% ⬆️
Decode 生成吞吐量 1.0x 基准 1.428x +42.77% ⬆️
首字延迟 (TTFT) 基线延迟 显著压降 -15.91% ⬇️
单 Token 耗时 (TPOT) 基线耗时 极致平滑 -19.72% ⬇️
GMM(分组矩阵乘)算子 原生算子 深度汇编自研加速 平均提速 1.73 倍
美团 LongCat-2.5 Terminal Bench 与各项核心权威评测基准成绩对比
图 2:美团 LongCat-2.5 Terminal Bench 与各项核心权威评测基准成绩对比

五、 权威基准评测:Terminal Bench v4.0 力压 GPT-5.6-Sol

在权威的多模态与智能体公开评测集上,LongCat-2.5 展现了统治级的硬核工程能力:

  • 终端与系统级交互:在衡量真实 Bash 终端操作能力的 Terminal Bench v2.1 中拿下 88.4 的高分;在难度大幅提升的 Terminal Bench v4.0 中取得 38.5 分,以明显优势超越了此前由 GPT-5.6-Sol 保持的 37.3 分历史纪录;
  • 网页与自动化浏览:BrowseComp 斩获 91.9 分,AutomationBench 拿下 51.8 分,充分验证了离散视觉表征在处理 DOM 树与 UI 界面交互时的抗畸变优势;
  • 协议与空间智能:在智能体开放生态协议 MCP Atlas 中录得 83.1 分,3DCodeBench 取得 55.4 分,视觉数学 MathVision 达到 96.5 分,网页视觉转换 Vision2Web 达 78.6 分。

📝 站长洞察 (Editor’s Insight)

LongCat-2.5 的横空出世,标志着国内大模型竞技场正在完成关键的范式跃迁:从单纯堆叠全注意力密度的参数虚火,转向面向真实工业长程任务的高能效工程实战。尤其令人瞩目的是美团在基础设施维度的工程攻坚——在没有海外顶级 GPU 集群支持的前提下,通过双重分片 FSDP 与超节点底层优化,将国产硬件逼出了 86% 的单卡吞吐增量;同时,通过 RVQ 将多模态统一为纯离散序列,彻底解决了视觉长上下文的计算爆炸难题。对于正在构建云端协同、端到端 Agentic 系统的企业而言,这种“存算解耦、稀疏激活、W4A4 极致能效”的系统化架构,才是支撑智能体走出实验室、大规模融入产业生产力的坚实基石。

🧭 文中关联 AI 工具官网与参数卡(语宙 AI 导航)
LongCat ↗
美团推出的自研大模型AI对话平台。
❓ 常见问题解答(FAQ)
LongCat-2.5 的核心技术突破是什么?

核心突破在于原生多模态建模、RVQ 多层级离散视觉表征,以及面向国产算力的自研双重分片 FSDP 架构。它在保持 1.6T 总参数规模的同时,将单 Token 激活量控制在约 480 亿。

LongCat-2.5 为什么适合长时程智能体任务?

因为它引入了闭环 Agentic RL 训练体系,结合真实环境沙箱、fail-to-pass 与 pass-to-pass 校验、异步 Partial Rollout 和独立 LLM Judge 监督,更适合代码修复、复杂规划和长序列执行。

LongCat-2.5 对国产显存环境有什么意义?

文章强调其针对单卡显存不足 80GB 的国产硬件约束做了工程优化,通过超节点拓扑和双重分片 FSDP 降低训练门槛,并配合 W4A4 推理量化提升部署可行性。

🔬 语宙深潜追问 · 进阶实操拆解
W4A4 量化最怕哪些精度损失?

最容易受影响的是长链路推理、细粒度多模态对齐和边界样本判断。落地时应先做分层评测:核心决策链保留更高精度,非关键路径再用更激进量化,避免“一刀切”导致整体可用性下降。

RVQ 多层视觉适合什么产品?

适合需要压缩视觉 token、同时保留结构信息的产品,比如长视频理解、工业质检和多模态智能体。它能把视觉信息分层编码,减少显存压力,但前提是任务本身对空间细节有明确收益。

🗳️ 读者观点微投票 · 您的实战立场是?
1.6万亿参数模型真能下沉落地吗?
🕸️ 语宙向量知识图谱 · 语义强关联深度内链
  • 1.6万亿参数激活48B、AutomationBench力压Claude!美团重磅发布LongCat-2.5多模态大模型:深度拆解原生视觉Token、长程RL与国产算力W4A4实战架构
  • 单卡吞吐飙升86%且总参数达1.6万亿!美团重磅开源原生多模态大模型LongCat-2.5:首创W4A4 FlatQuant量化与百万上下文长程Agent技术全景拆解
  • 1.6万亿MoE巨兽每Token仅激活480亿!美团LongCat-2.5重磅发布:国产算力超节点集群训练、原生多模态离散Token与长程编程智能体全景技术拆解
  • LongCat-2.0 – 美团开源的新一代万亿参数语言模型
🌐 English Executive Summary — Meituan LongCat-2.5: 1.6T MoE with RVQ Vision and FSDP/W4A4 for Low-Memory Deployment

Meituan has open-sourced LongCat-2.5, a long-context multimodal model built on a 1.6T-parameter MoE backbone where only ~48B parameters are activated per token. It introduces a first-of-its-kind RVQ multilevel discrete vision representation to process images/videos at native resolution while reducing token explosion, paired with a homegrown FSDP sharding strategy and W4A4 quantization to enable training and deployment on GPUs with under 80GB memory.

  • MoE sparsity: ~1.6T total parameters with ~48B activated per token for improved inference efficiency.
  • RVQ multilevel discrete vision reduces token growth by operating at native resolution for image/video inputs.
  • Custom FSDP + W4A4 quantization targets practical deployment on sub-80GB VRAM hardware.
🏛️ Prompt 语宙研究院 · Prompt 语宙研究院(paooo.com Research)专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示词工程(Prompt Engineering)与全球高增长 AI 生产力工具实测追踪,致力于为中文开发者与创作者提供一手、可复现的深度技术洞察。
📄 Markdown 纯净版
💡 这篇内容对您有启发吗?
📡 RSS 订阅✨ 提交 AI 工具 / 合作
🚀 Prompt 语宙 AI 创作者生态:探索 2,800+ 全球实用 AI 工具与高精度生图提示词咒语库
🧭 语宙 AI 导航 (ai.paooo.com)🎨 AI 生图 Prompt 库📚 核心专题导航⚡ AIGC 早报生成器
Smol Developer
小红书FireRed-OCR重磅开源:2B参数模型击败GPT-5.2,重塑文档结构解析新范式
Kilo CLI 1.0 正式发布:开源AI命令行工具,支持500+模型,实现跨平台智能体编程
登顶Artificial Analysis全球第一!谷歌DeepMind重磅发布Gemini 4 Carbon:首创长线自主智能体架构、网络安全全生命周期SOTA与超长程编程全景评测
Seed Prover 1.5:字节跳动AI数学推理新突破,IMO金牌水平背后的核心技术解析
TAGGED:LongCat-2.5Terminal BenchW4A4量化原生多模态残差向量量化美团龙猫
分享
Email 复制链接 打印
Share
Prompt 语宙研究院 头像
ByPrompt 语宙研究院
Follow:
Prompt 语宙研究院(paooo.com Research)专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示词工程(Prompt Engineering)与全球高增长 AI 生产力工具实测追踪,致力于为中文开发者与创作者提供一手、可复现的深度技术洞察。
上一篇 Space Bunny 匿名免费 AI 大模型在 OpenRouter 平台的控制台界面 上线3天登顶OpenRouter调用榜首!神秘免费大模型Space Bunny深度评测:百万上下文、极速MoE架构与MiniMax逆向溯源全景拆解
下一篇 彻底终结各自为战与无休止谈判!OpenAI、谷歌、微软与Anthropic联手制定通用拒爬标准:IETF统一robots.txt退出机制全景技术拆解 彻底终结各自为战与无休止谈判!OpenAI、谷歌、微软与Anthropic联手制定通用拒爬标准:IETF统一robots.txt退出机制全景技术拆解
Ad image
Ad image

最近更新

Latent Space 对话 Black Forest Labs 核心创始人 Andreas Blattmann 与 Dustin Podell:从 FLUX 到视觉智能与世界动作模型
视觉智能为什么不能只靠静态图片?对话Black Forest Labs创始人:FLUX 3音画联合训练、扩散与自回归之争及世界动作模型全拆解
强化 AI 学习
Google 官方详解网站迁移至 CDN 如何避免爬虫流量激增打崩源站与误封 Googlebot 导致搜索掉收录
刚切上CDN源站反被爬虫打崩?Google官方拆解迁移翻车悖论:冷缓存雪崩、验证码误杀与预热止血指南
AI 工具
GitHub 正式上线 Repository insights 页面,集中展示 Copilot 代码审查采纳率与评论分类统计结果
AI代码审查到底有没有被采纳?GitHub上线Repository insights与repos-1-day API:四维信号、力度趋势及统计陷阱全拆解
AI 工具
Forrester AI 颠覆评估模型 17 大技术与服务品类分布图:呈现受颠覆、中立、争夺与加速四类市场象限及细分赛道数量
80%技术市场面临AI重塑冲击!Forrester拆解200+细分赛道颠覆矩阵:四大象限与Top 20合同采购谈判实战
最新趋势

相关推荐

Embedditor
AI 工具

Embedditor

remaker
AI办公效率 AI智能体 RAG检索增强 开源大模型
智元机器人发布GO-2具身智能大模型:首创动作思维链+异步双系统,LIBERO基准测试全面SOTA
AI 工具AIGC 资讯

智元机器人发布GO-2具身智能大模型:首创动作思维链+异步双系统,LIBERO基准测试全面SOTA

Prompt 语宙研究院
GO-2 LIBERO 具身智能 动作思维链 智元机器人
Clevis
AI 工具

Clevis

remaker
AI办公效率 AI智能体 AI编程
Lensa AI Magic Avatars 魔法头像
AI 工具

Lensa AI Magic Avatars 魔法头像

remaker
AI办公效率 AI绘画提示词 ChatGPT
/ Prompt 语宙 /

探索生成式 AI 的无限创作潜能,一站式获取前沿 AIGC 资讯、高阶 Prompt 咒语与全球实用 AI 工具。

核心专栏

  • 语宙 AI 工具导航
  • EVA 视觉抠图工坊Hot
  • 出海数字营销宝典
  • AI 生图咒语灵感库
  • 24H 硅谷 AI 情报流

生态与服务

  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作

标签

开源大模型 AI智能体 AI办公效率 AI绘画提示词 OpenAI 大模型微调 Midjourney AI编程 stable diffusion AI视频生成 ChatGPT 3D与空间智能 HuggingFace AI音频与语音 RAG检索增强 Claude Flux AIGC Gemini 通义千问 Anthropic Llama Cursor DeepSeek Prompt AI Agent Kimi 智谱AI 具身智能 YouTube
Prompt 语宙Prompt 语宙
Follow US
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.