# 本地跑通 1000 亿参数大模型：Acrab 发布边缘 AI 芯片 GΞLIX 1，5nm 制程撑起 650TOPS

- Link: https://paooo.com/aigc-news/38656/
- Published: 2026-07-23T15:00:48+08:00
- Author: Prompt 语宙研究院

⚡ [Prompt](https://paooo.com/ai-image-prompts/) 语宙 AI 导读 · 30 秒核心看点

 * 5nm 边缘 AI 芯片 GΞLIX 1 以 650TOPS 算力，主打 100B 级[大模型](https://paooo.com/ai-study/)
   端侧本地推理。
 * 集成 20 核 Arm CPU、3TFLOPS GPU、独立 NPU 与音视频引擎，面向高吞吐推理优化。
 * 官方称其在 40k KV 缓存、10k Token 输入下跑出 1416.8 Token/s，重点强化预填充阶段。

一家叫 Acrab 的初创公司，今天正式把它的第一款边缘 AI 终端 SoC 端上了台面——GΞLIX 
1。这块基于 5nm 制程的芯片，主打一个硬指标：能让 1000 亿参数规模的大模型，直接在
本地跑起来，不必把数据送去云端。

硬件上，GΞLIX 1 走的是异构计算架构，把 20 核 Arm CPU、3TFLOPS 的 GPU、独立 NPU 以及
音视频处理引擎全收进一颗芯片，AI 总算力拉到 650TOPS。横向摆一下就更清楚了：高通骁
龙 X Elite 的 NPU 算力约 45TOPS，英特尔酷睿 Ultra 系列的 NPU 在 40TOPS 上下——GΞLIX
1 的 AI 算力差不多是它们的十几倍。

为喂饱大模型推理那张贪婪的胃口，缓存与内存子系统也专门按高吞吐需求设计。芯片配了
8MB L1 缓存，共享 L2 缓存带宽冲到 768GB/s，外挂 256-bit 位宽的 LPDDR5X 内存，传输
速率 8533MT/s。大模型推理时，权重读取和 KV Cache 存取对内存带宽格外敏感，这套配置
正是 100B 模型能落到端侧的地基。

这一回，Acrab 重点秀的是预填充阶段的性能。预填充，就是大模型接到用户输入后、开始
一个字一个字往外蹦之前，先把整段输入做全量编码的过程，它的快慢直接决定长文本输入
下的首 Token 延迟。Acrab 用矢量硬件单元给 Transformer 注意力机制计算加速，又对预
填充路径做了针对性优化。官方放出的测试里，在 40k KV 缓存、10k Token 输入的 Gemma
26B A4B 配置下，这块芯片跑出了 1416.8 Token/s，是苹果 M4 Pro Mac Mini 的 7.5 倍。

软件侧，Acrab 同步端出了完整软件栈加[智能体](https://paooo.com/trends/)参考设计，
从底层驱动一路覆盖到上层应用框架。第一方终端设备 Agent Box 也一并亮相，作为 GΞLIX
1 的参考实现，供开发者评估和做原型验证。

🧭 文中关联 [AI 工具](https://ai.paooo.com/)官网与参数卡（语宙 AI 导航）

**Gemma ↗**

Gemma：Google AI学习平台，面向大语言模型场景提供便捷实用的在线功能支持，涵盖大模型
等实用方向。

❓ 常见问题解答（FAQ）

GΞLIX 1 能本地跑多大参数的大模型？

Acrab 在介绍中称，GΞLIX 1 的目标是支持 1000 亿参数规模的大模型直接在本地运行，减少
对云端的依赖。其设计重点在于高算力与高带宽内存子系统配合，服务端侧推理场景。

GΞLIX 1 的 AI 算力有多强？

官方给出的 AI 总算力为 650TOPS，芯片采用 20 核 Arm CPU、3TFLOPS GPU、独立 NPU 和音
视频处理引擎的异构架构。文中对比显示，这一算力明显高于骁龙 X Elite 和英特尔酷睿 
Ultra 系列的 NPU。

GΞLIX 1 的实测性能亮点是什么？

Acrab 重点展示了预填充阶段性能：在 40k KV 缓存、10k Token 输入的 Gemma 26B A4B 配置
下，官方测试结果为 1416.8 Token/s，约为苹果 M4 Pro Mac Mini 的 7.5 倍。

🔬 语宙深潜追问 · 进阶实操拆解

本地跑大模型最先卡在哪？

通常先卡显存/内存容量，其次是带宽和散热，而不是纯 TOPS。要让百亿模型可用，量化、
分层加载、KV cache 优化和算子融合缺一不可。

高 Token/s 代表真实体验好吗？

不完全。预填充和解码是两种负载，单看 Token/s 容易失真。真正体验还要看首 token 延迟、
长上下文稳定性、功耗和持续性能，尤其在边缘设备上更重要。

🗳️ 读者观点微投票 · 您的实战立场是？

边缘芯片真能本地跑百亿模型吗？

🕸️ 语宙向量知识图谱 · 语义强关联深度内链

[🐋 所属权威专题：DeepSeek 深度实战与部署 →](https://paooo.com/topics/deepseek/)

 * [谷歌珊瑚AI开发板引爆边缘计算革命：2026年夏季上市，离线运行Gemma3大模型实现实时语音翻译](https://paooo.com/aigc-news/18155/)
 * [闲置 Mac 秒变私有 AI 机房！苹果全资子公司 Claris 暗测 Harbor：首创雷雳 5 RDMA 堆叠多机算力集群、零门槛跑通本地大模型全景架构深度拆解](https://paooo.com/ai-tool/41717/)
 * [Liquid AI开源LFM2.5-8B-A1B：8B参数仅激活1.5B，端侧大模型性能飞跃，手机秒级推理](https://paooo.com/aigc-news/18293/)
 * [以小胜大反超 50% 竞品！Liquid AI 开源旗舰端侧推理模型 LFM2.5-24B-A2B：激活仅 2.45B、M5 Max 解码飙至 184 tok/s 架构深度拆解](https://paooo.com/trends/40109/)

[🏛️ Prompt 语宙研究院](https://paooo.com/author/paooo-research/) · Prompt 语宙研究院（
paooo.com Research）专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示
词工程（Prompt Engineering）与全球高增长 AI 生产力工具实测追踪，致力于为中文开发
者与创作者提供一手、可复现的深度技术洞察。

[📄 Markdown 纯净版](https://paooo.com/aigc-news/38656/?format=md)

💡 这篇内容对您有启发吗？

[📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/)

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)
