蚂蚁集团开源Ling-1T：万亿参数MoE大模型，128K上下文驱动高效推理

💡 站外导读：随着大模型参数规模向万亿级跃进，高昂的推理成本与效率瓶颈成为制约AI落地的核心挑战。蚂蚁集团开源的Ling-1T，以“旗舰级非思考模型”定位破局，其万亿参数MoE架构在确保顶尖性能的同时，将单次推理激活参数控制在510亿，极大优化了成本效率。这款模型直击行业痛点——如何在有限的算力与token预算下，获得高质量、低延迟的推理结果，为开发者与企业提供了一个强大而经济的新选择。

Ling-1T是什么

Ling-1T 是蚂蚁集团开源的万亿参数语言模型，定位为“旗舰级非思考模型”。基于 MoE（Mixture of Experts）架构，拥有 1 万亿参数，每次推理激活约 510 亿参数，支持 128K 上下文长度，适合处理长文档任务。Ling-1T 专注于在有限的输出 token 下直接给出高质量的推理结果，推理效率极高。模型在编程、数学推理、知识理解、创意写作等任务中表现出色，处于开源模型的第一梯队。

Ling-1T的主要功能

• 高效推理：在有限的输出 token 下直接给出高质量的推理结果，推理效率极高，适合快速解决问题。
• 长文本处理：支持 128K 上下文长度，能处理长文档任务，适合法律、金融、科研等领域的复杂推理。
• 创意写作：模型能生成富有创意的文案、剧本、诗歌等，满足内容营销、广告文案创作等需求。
• 多语言支持：支持处理英文等其他语言的任务，具备一定的多语言能力。
• 多任务能力：在编程辅助、数学解题、知识问答、多轮对话等任务中表现出色，能生成高质量的代码和设计。
• 应用集成：支持集成到各种工具中，如支付软件、理财助手、健康助手等，提升智能化水平。

Ling-1T的技术原理

• MoE 架构：基于 Mixture of Experts（MoE）架构，总参数量为 1 万亿，包含 256 个专家。每次推理仅激活约 510 亿参数，显著降低推理成本，同时保持高性能。前几层使用密集结构（Dense），后面切换到 MoE，降低浅层网络的负载不均衡。
• 高推理密度语料：用超过 20T+ token 的高质量、高推理密度语料进行预训练，确保模型具备强大的逻辑密度和思维深度。预训练分为三个阶段：
  • Pretrain Stage 1：10T 高知识密度语料。
  • Pretrain Stage 2：10T 高推理密度语料。
  • Mid-training：扩展上下文到 128K，加入思维链语料。
• 高效训练：全程使用 FP8 精度训练，相比 BF16，FP8 能显著节省显存、提升训练速度，且在 1T token 的对比实验中，Loss 偏差仅为 0.1%。
• LPO 优化：用 Linguistics-Unit Policy Optimization（LPO）方法，以句子为优化单元，更符合语义逻辑，提升模型的推理能力和生成质量。

Ling-1T的项目地址

• HuggingFace模型库：https://huggingface.co/inclusionAI/Ling-1T

Ling-1T的应用场景

• 编程辅助：模型能生成高质量的代码片段，帮助开发者快速实现功能，提升编程效率。
• 数学解题：在数学推理和解题方面表现出色，支持辅助解决复杂的数学问题，如竞赛题目等。
• 知识问答：模型具备强大的知识理解能力，能准确回答各种知识性问题，提供可靠的信息。
• 创意写作：模型能生成富有创意的文案、剧本、诗歌等，满足内容创作和广告文案的需求。