---
title: "12GB显卡跑125B大模型飙至45.5 tok/s！前DeepSeek-VL负责人开源个人Agent“Linger”：PolyStrata MoE分层引擎与LoCoMo 95%记忆全拆解"
url: "https://paooo.com/ai-tool/42877/"
author: "Prompt 语宙研究院"
published_at: "2026-11-20T13:07:47+08:00"
updated_at: "2026-11-20T13:07:47+08:00"
categories: "AI 工具"
tags: "Linger, MoE分层推理, PolyStrata, 开源Agent, 本地AI智能体"
source: "Prompt 语宙 (https://paooo.com)"
ai_tools_directory: "语宙 AI 导航 (https://ai.paooo.com)"
---

# 12GB显卡跑125B大模型飙至45.5 tok/s！前DeepSeek-VL负责人开源个人Agent“Linger”：PolyStrata MoE分层引擎与LoCoMo 95%记忆全拆解

> 来源：[Prompt 语宙 (paooo.com)](https://paooo.com/ai-tool/42877/) · 作者：Prompt 语宙研究院 · 发布时间：2026-11-20

## AI 30 秒核心看点 (TL;DR)

- PolyStrata以GPU/RAM/SSD三级缓存撬动125B模型，12GB显存也能跑出45.5 tok/s。
- Linger把邮件、日程、会议转录沉淀为本地Wiki记忆，LoCoMo长期记忆准确率达95%。
- Another Me强调低打扰代理体验，能按紧急度与重要性自动跟踪任务并择机提醒。

> **💡 站外导读：**前DeepSeek-VL负责人张博创立的SimplexAI正式开源本地个人AI Agent项目Linger，直击云端API账单高昂与隐私数据出域两大痛点。依托自研PolyStrata MoE专家分层推理引擎，Linger在12GB显存与64GB内存的消费级主机上即可流畅驱动125B大模型，跑出45.5 tokens/s速度，并融合夜间Wiki沉淀与桌面接管能力，打造零Token费用的本地大脑。

## 一、 前 DeepSeek-VL 负责人下场破局：为什么本地个人 Agent 必须绕开云端 Token 税？

当个人 AI 助理开始走向 7×24 小时后台常驻、持续读取本地邮件、日历、即时通讯记录并直接操纵桌面应用时，纯云端闭源模型立即暴露出双重致命瓶颈：其一是经济账失控，高频轮询、多智能体协同与海量上下文检索会迅速推高 API 账单；其二是隐私合规风险，几乎没有任何个人或企业开发者愿意将未脱敏的邮件往来、会议录音与本地工作流完整上传至外部云端接口。

由前 DeepSeek-VL 负责人张博带队打造的开源项目 **Linger**（SimplexAI Labs 出品，仓库地址 `github.com/simplexai-labs/linger`），核心理念便是“**用模型与 Harness 协同设计，将 Claude 级大脑搬进消费级 PC**”。Linger 不仅是一个聊天窗口，而是一套完整扎根操作系统的本地智能体底座：它能在无须人工复制粘贴上下文的前提下读取邮件、日程与会议语音转录，同时保留 BYO 运行时通道，允许开发者按需串联 Claude Code、Codex 或 Pi 等既有云端订阅。

## 二、 PolyStrata 三级分层引擎揭秘：12GB 显存如何撬动 125B 庞然大物？

过去本地部署百亿级以上大模型受限于“整模驻留显存”的刚性前提——以 125B 参数规模的 **Qwen3.8-Flash-Next** 为例，其 2-bit 量化权重文件体积仍达到约 **39 GB**，若按传统纯 GPU 加载方案，不仅 12GB 显卡直接爆显存，甚至连 32GB 的 RTX 5090 也捉襟见肘。

Linger 底层搭载的自研 **PolyStrata** 引擎（与面向 Mac 端侧的 Strata 协同），正是利用混合专家架构（MoE）单次推理仅激活极少数专家的稀疏特性，建立起 **GPU 显存 → 系统内存（RAM）→ 高速固态硬盘（SSD）** 三级动态专家缓存池：路由层将高频命中的热门专家常驻 12GB GPU，次高频温专家驻留 64GB 内存，极少触发的冷专家留置 SSD 并随路由热度实时升降级换页。在 12GB 显存的 RTX 3060 搭配 64GB RAM 环境下，125B 模型依然能输出 **45.5 tokens/s** 的流利速度；即便换到 8GB 显存的笔记本 RTX 4070，也能在实验预算下稳定输出 **38.1 tokens/s**。

测试模型名称

笔记本 RTX 4070 (8GB)

桌面 RTX 3060 (12GB)

旗舰 RTX 5090 (32GB)

**Qwen3.8-Flash-Next (125B)**

38.1 tok/s (Q2_0 受限预算实测)

**45.5 tok/s**

179 tok/s

**LFM2.5-24B-A2B**

70–73 tok/s

97.8 tok/s

480–485 tok/s

**Flint 40B-A2.5B**

61–63 tok/s

65.5 tok/s

251–252 tok/s

**Qwen3.6-35B-A3B**

94–100 tok/s

91.8 tok/s

394–395 tok/s

**Gemma 4 26B-A4B**

92–93 tok/s

78.0 tok/s (Q4)

353–356 tok/s

**Tiel Coder 35B-A3B**

83 tok/s

78.8 tok/s

337–345 tok/s

## 三、 Wiki 记忆中枢与 Another Me：LoCoMo 95% 准确率背后的克制哲学

如果说 PolyStrata 解决了“算得动、不花钱”的问题，那么 **Wiki 记忆中枢** 与 **Another Me 主动代理引擎** 则决定了智能体是否真正好用。Linger 会在每天夜间自动梳理白天沉淀下来的邮件、聊天记录、会议转录与日程变更，将其结构化压缩并写入完全位于本地的个人 Wiki 知识库。根据官方披露，该记忆系统在权威的 **LoCoMo 长期记忆基准测试** 中取得了 **95% 的准确率**，超越了 Mem0、Zep 等一众主流云端与开源记忆方案。

更值得称道的是 Another Me 的“低打扰阈值设计”：多数早期的桌面 Agent 喜欢高频弹窗刷存在感，而 Linger 引入了紧急性与重要性双维度判断和**隐式强化学习**。例如客户要求周五前交付报价时，它不会在周一刚收到邮件就贸然打断你的深度编码，而是默默挂起跟踪任务，在周三清晨准时推送待办提醒并草拟好报价邮件；随着你对其提醒的采纳或忽略，系统无需重新训练权重即可自动提炼个人偏好规则，越用越克制。

## 四、 Model Autopilot 一键装机与全栈桌面接管：从单机极客到局域网协作

针对普通用户面对 GGUF 量化档位（IQ1_M 到 Q8_0）和 KV Cache 显存占用的选型恐惧症，Linger 内置了 **Model Autopilot** 架构探测向导。SimplexAI 实验室预先在 NVIDIA 8GB~96GB 与 Mac 16GB~128GB 硬件梯度上对 **49 种语言模型组合**、双推理引擎与 64K~256K 上下文做了穷举级基准测试；用户执行安装脚本（macOS/Linux 运行 `./scripts/install/install.sh`，Windows 运行 `install.ps1`）后，工具会自动识别本机显存、内存及带宽，在满足至少 64K 上下文硬约束下选出综合智力最高且速度最优的模型，甚至在真实回答出首个验证问题后才标记安装成功。

在应用执行层，Linger 支持直接操作用户已登录状态的 Chrome 浏览器和桌面客户端完成填表、撰写方案与发票跟踪，遇到验证码或高敏发信环节随时可交由人类接管；面对复杂跨领域需求时，前台主会话还能在后台拉起多个职能各异的 Agent 共享同一份团队计划并行推进，互不阻塞前台交互。如果团队希望在局域网内共享一台高性能 GPU 工作站，还可通过 `docker compose up` 一键自托管服务端，让多台轻薄本安全接入同一私域算力节点。

#### 📝 站长洞察 (Editor's Insight)

Linger 的问世标志着开源本地 Agent 正式跨过“只能跑小玩具模型”的分水岭。PolyStrata 证明了一个极具工程美感的事实：在 MoE 稀疏激活成为主流的今天，与其堆叠多卡显存，不如将瓶颈拆解为 GPU、RAM 与 SSD 的热度分级调度，让海量存量 12GB 显卡直接吃下 125B 级模型的智力红利。更难得的是，前 DeepSeek-VL 负责人没有只卷推理跑分，而是补齐了 64K 上下文约束下的 Autopilot、LoCoMo 95% 夜间记忆沉淀与不扰民的 Another Me 调度器，极具长期主力化潜力。

## 常见问题解答 (FAQ)

### Linger本地个人Agent适合什么场景？
适合需要长期常驻、读取本地邮件/日历/会议记录，并直接操纵桌面应用的个人或团队场景。它主打本地运行、降低云端Token成本，同时减少敏感数据出域风险。

### 12GB显卡真的能跑125B大模型吗？
文章给出的结论是可以。Linger依托PolyStrata MoE分层引擎，把热门专家放GPU、温专家放内存、冷专家放SSD，在12GB显存与64GB内存环境下实测125B模型可达45.5 tok/s。

### Linger的记忆系统有什么优势？
它会在夜间自动整理邮件、聊天、会议转录和日程变更，压缩后写入本地Wiki知识库。官方披露其在LoCoMo长期记忆基准上达到95%准确率，并强调低打扰的主动代理体验。

---
探索 2,800+ 全球实用 AI 工具与官方直达入口：[语宙 AI 导航 (https://ai.paooo.com/)](https://ai.paooo.com/)
