Colibrì是什么
Colibrì 是开源的轻量级本地推理引擎，能在 25GB 内存的消费级电脑上运行 744B 参数的 GLM-5.2 旗舰 MoE 模型。模型通过分层存储架构将常驻参数保留在内存，将海量路由专家参数存放在 NVMe 硬盘并按需加载，突破模型必须完整装入高速内存的传统限制。
Colibrì的主要功能
- 分层存储推理：将专家参数分布在 GPU 显存、系统内存、NVMe 硬盘三级存储中，按需动态加载，突破内存容量限制。
- 超大规模模型本地部署：支持 744B 参数的 GLM-5.2 MoE 旗舰模型在 25GB 内存的消费级电脑上运行。
- int4 量化压缩：常驻参数经 int4 量化后约 9.9GB 常驻内存；370GB 路由专家参数存于本地硬盘。
- 纯 C 流式 CPU 推理：零外部依赖的轻量级引擎，通过流式加载实现专家参数动态调度，无需模型全量载入高速内存。
- Web 可视化控制面板：内置 Chat 交互界面，实时展示 TTFT、吞吐量、队列状态等推理性能指标。
- 专家路由大脑视图：Brain页面用 76 层 × 256 专家矩阵呈现路由热力与存储层级，鼠标悬停可查看专家主题偏好。
Colibrì的技术原理
- MoE 稀疏激活利用：GLM-5.2 总参数量 744B 每 Token 激活约 40B，Colibrì 用这一稀疏特性将固定参数常驻内存，仅按需加载随路由变化的专家参数。
- 分层存储架构：将模型拆分为约 9.9GB 的常驻参数和约 370GB 的路由专家，分别驻留于内存与 NVMe 硬盘，形成显存/内存/磁盘三级存储池。
- 专家流式加载：21,504 个路由专家在推理时根据路由器选择动态从磁盘流式加载。
- LRU 与学习缓存：每层配置独立 LRU 缓存保留热专家，同时通过学习缓存记录跨会话使用历史，优先将高频专家固定在内存中，减少磁盘 I/O 次数。
- Router-Lookahead 预取：基于当前层后注意力状态预测下一层所需专家，通过专用 I/O 线程在当前层计算时异步预取，用
WILLNEED系统调用加速读取。
微信关注回复“开源”，加入AI开源项目交流群
如何使用Colibrì
- 环境准备：需要 Linux 或 WSL2 系统、支持 AVX2 的 x86-64 CPU、GCC 编译器、至少 16GB 内存，以及一块约 400GB 可用空间的本地 NVMe 固态硬盘。
- 获取引擎源码：执行
git clone https://github.com/JustVugg/colibri克隆仓库，进入colibri/c目录后运行./setup.sh完成一键编译，生成纯 C 零依赖的可执行文件。 - 下载预转换模型：从 Hugging Face 仓库
jlnsrk/GLM-5.2-colibri-int4下载 int4 量化后的模型容器，存放至本地 NVMe 硬盘。 - 启动本地对话：设置模型路径后执行
COLI_MODEL=/nvme/glm52_i4 ./coli chat，首次加载约 30 秒，常驻内存约 9.9GB，可在终端与 GLM-5.2 交互。 - 启动 API 服务：执行
COLI_MODEL=/nvme/glm52_i4 ./coli serve --host 0.0.0.0 --port 8000启动 OpenAI 兼容的 HTTP 服务，任何支持 OpenAI 协议的客户端均可直接接入。 - Windows 原生编译：Windows 11 用户可通过 MinGW-w64 或 MSYS2 安装 GCC，在
c/目录执行make glm.exe编译原生可执行文件。
Colibrì的核心优势
- 消费级硬件跑旗舰模型：突破 744B 参数 GLM-5.2 必须部署在服务器集群的传统限制，仅需 25GB 内存和 NVMe 硬盘可本地运行。
- 纯 C 零依赖极轻量：整个引擎采用纯 C 语言编写，不依赖任何外部库或运行时，编译产物极小，启动速度快。
- 分层存储智能调度：独创显存/内存/硬盘三级专家缓存体系，结合 LRU 与学习缓存，将高频专家常驻内存，低频专家按需从磁盘流式加载。
- Router-Lookahead 预取加速：基于当前层状态预测下一层所需专家，准确率超 70%，通过异步 I/O 线程在计算间隙完成预取，显著降低磁盘读取延迟。
- int4 量化与手写内核：全局 int4 量化将 744B 模型压缩至约 380GB 磁盘占用，配合 AVX2 手写整数点积内核，无 BLAS 依赖可高效推理。
- MLA KV-Cache 极致压缩：KV-Cache 每 Token 仅 576 值，约为传统方案的 1/57，大幅降低长上下文内存占用，支持持久化恢复。
Colibrì的项目地址
- GitHub仓库：https://github.com/JustVugg/colibri
Colibrì的同类竞品对比
| 维度 | Colibrì | KTransformers |
|---|---|---|
| 核心定位 | 纯 C 零依赖的超大 MoE 分层存储推理引擎 | 清华出品的 CPU-GPU 异构 MoE 推理与微调框架 |
| 最大模型支持 | 744B GLM-5.2（25GB RAM + NVMe 可跑） | 671B DeepSeek-R1 / 1T+ Kimi-K2.5（需大内存 + 可选 GPU） |
| 专家调度策略 | 显存/内存/硬盘三级流式加载 + Router-Lookahead 预取 | CPU-GPU 频率感知放置 + 动态重分配 + 三层 Prefix Cache |
| 硬件门槛 | 纯 CPU 即可，25GB RAM + NVMe 为最低门槛 | 推荐大内存工作站 + 消费级 GPU，CPU 需 AVX2/AMX |
| 依赖体积 | 纯 C 零依赖，极轻量 | Python + PyTorch + CUDA，较重 |
| 量化支持 | 全局 int4 + 手写 AVX2 内核 | FP8 / BF16 / INT8 / INT4 / GGUF 多档量化 |
| 可视化 | 大脑皮层级专家路由热力图 | 基础监控面板与日志 |
| 微调能力 | 仅推理 | 原生支持 LoRA SFT 微调，集成 LLaMA-Factory |
Colibrì的应用场景
-
个人本地部署旗舰大模型：无服务器预算的开发者在家用电脑即可体验 744B 参数 GLM-5.2 的完整推理能力。
-
边缘设备离线推理：在内存受限的工控机或边缘盒子运行超大 MoE 模型，满足无网络环境下的智能决策需求。
-
模型效果快速预研：无需申请昂贵云端资源，可验证超大规模模型在特定业务任务上的实际表现。
-
隐私敏感数据处理：医疗、金融、政务等场景中数据全程不出本地，满足严格的数据隐私合规要求。
-
MoE 机制教学科研：低成本研究专家路由、分层缓存与量化推理技术，便于高校课堂演示与学术论文实验。
