# ​ 蚂蚁集团周俊：万亿参数模型从“追求数量”迈向“深耕密度”

- Link: https://paooo.com/aigc-news/25911/
- Published: 2026-07-08T10:01:43+08:00
- Author: 站外新闻

在近日举行的 AICon 大会上，蚂蚁集团副总裁周俊发表了一场引人注目的演讲，聚焦于如何
提升万亿参数模型的效率。周俊提到，现代 AI 模型的算力消耗惊人，尤其是万亿参数模型，
每运行15分钟的算力成本竟然相当于一辆特斯拉的费用。这无疑是在警示大家，提升效率已经
成为[智能体](https://paooo.com/trends/)时代亟需解决的核心问题。

为了应对这一挑战，周俊和团队提出了一项颠覆性的策略:从 “更多 Token” 转向 “更高 Token
密度”。他们采用了一种名为 “7份 Lightning Attention 加1份 MLA” 的混合线性注意力架构，
这一创新的设计使得处理256K 长度的上下文成本，从原来的指数级别下降到了线性级别，从而
让算力可以更有效地用于思考。

![image.png](https://paooo.com/wp-content/uploads/2026/07/6391910022797891813059592-
1.avif "image.png")

除此之外，团队还引入了 Kpop 算法，以更好地区分工具调用与自然语言 Token，同时结合
思维链剪枝和自蒸馏等技术手段，这些创新使得 Token 输出减少了约4倍，但模型的能力并
没有因此下降。周俊指出，在 LongBench 和 BFCL 等多个基准测试中，他们的千亿参数模型
已经在 Agent 任务上超过了一些更大规模的模型。令人振奋的是，小型模型的 flash 吞吐
率也达到了2.4倍，五轮对话的算力成本降低了超过10倍。

![image.png](https://paooo.com/wp-content/uploads/2026/07/6391910024101811468356486.
avif "image.png")

可以说，周俊的演讲不仅为业界带来了新的思路，也为未来的智能体设计提供了可行的参考。
面对日益增长的算力需求，提升[大模型](https://paooo.com/ai-study/)的效率显得尤为重要，
而蚂蚁集团所提出的这一系列创新，无疑为行业带来了新的曙光。

划重点:

🌟 周俊强调万亿参数模型的算力成本与特斯拉相当，提升效率刻不容缓。

🔑 团队提出从 “更多 Token” 转向 “更高 Token 密度”，创新架构大幅降低上下文处理成本。

🚀 采用 Kpop 算法与其他技术，使得 Token 输出减少但能力不降，千亿参数模型在多个基准
测试中表现出色。

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,000+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[⚡ AIGC 早报生成器](https://paooo.com/mtool/)