# 12GB显卡跑125B大模型飙至45.5 tok/s！前DeepSeek-VL负责人开源个人Agent“Linger”：PolyStrata MoE分层引擎与LoCoMo 95%记忆全拆解

- Link: https://paooo.com/ai-tool/42877/
- Published: 2026-11-20T13:07:47+08:00
- Author: Prompt 语宙研究院

⚡ [Prompt](https://paooo.com/ai-image-prompts/) 语宙 AI 导读 · 30 秒核心看点

 * PolyStrata以GPU/RAM/SSD三级缓存撬动125B模型，12GB显存也能跑出45.5 tok/s。
 * Linger把邮件、日程、会议转录沉淀为本地Wiki记忆，LoCoMo长期记忆准确率达95%。
 * Another Me强调低打扰代理体验，能按紧急度与重要性自动跟踪任务并择机提醒。

> **💡 站外导读：**前DeepSeek-VL负责人张博创立的SimplexAI正式开源本地个人AI Agent
> 项目Linger，直击云端API账单高昂与隐私数据出域两大痛点。依托自研PolyStrata MoE专家
> 分层推理引擎，Linger在12GB显存与64GB内存的消费级主机上即可流畅驱动125B大模型，
> 跑出45.5 tokens/s速度，并融合夜间Wiki沉淀与桌面接管能力，打造零Token费用的本地
> 大脑。

![Linger开源个人AI智能体官网首屏与本地桌面端操作界面概览](https://paooo.com/wp-content/
uploads/2026/11/paooo-ai-bot-1120-1300-1795151235697-7997.avif)

## 一、 前 DeepSeek-VL 负责人下场破局：为什么本地个人 Agent 必须绕开云端 Token 税？

当个人 AI 助理开始走向 7×24 小时后台常驻、持续读取本地邮件、日历、即时通讯记录并
直接操纵桌面应用时，纯云端闭源模型立即暴露出双重致命瓶颈：其一是经济账失控，高频
轮询、多[智能体](https://paooo.com/trends/)协同与海量上下文检索会迅速推高 API 账单；
其二是隐私合规风险，几乎没有任何个人或企业开发者愿意将未脱敏的邮件往来、会议录音
与本地工作流完整上传至外部云端接口。

阅读目录

 * [一、 前 DeepSeek-VL 负责人下场破局：为什么本地个人 Agent 必须绕开云端 Token 税？](https://paooo.com/ai-tool/42877/#%e4%b8%80-%e5%89%8d-deepseekvl-%e8%b4%9f%e8%b4%a3%e4%ba%ba%e4%b8%8b%e5%9c%ba%e7%a0%b4%e5%b1%80%e4%b8%ba%e4%bb%80%e4%b9%88%e6%9c%ac%e5%9c%b0%e4%b8%aa%e4%ba%ba-agent-%e5%bf%85%e9%a1%bb%e7%bb%95%e5%bc%80)
 * [二、 PolyStrata 三级分层引擎揭秘：12GB 显存如何撬动 125B 庞然大物？](https://paooo.com/ai-tool/42877/#%e4%ba%8c-polystrata-%e4%b8%89%e7%ba%a7%e5%88%86%e5%b1%82%e5%bc%95%e6%93%8e%e6%8f%ad%e7%a7%9812gb-%e6%98%be%e5%ad%98%e5%a6%82%e4%bd%95%e6%92%ac%e5%8a%a8-125b-%e5%ba%9e%e7%84%b6%e5%a4%a7%e7%89%a9)
 * [三、 Wiki 记忆中枢与 Another Me：LoCoMo 95% 准确率背后的克制哲学](https://paooo.com/ai-tool/42877/#%e4%b8%89-wiki-%e8%ae%b0%e5%bf%86%e4%b8%ad%e6%9e%a2%e4%b8%8e-another-melocomo-95-%e5%87%86%e7%a1%ae%e7%8e%87%e8%83%8c%e5%90%8e%e7%9a%84%e5%85%8b%e5%88%b6%e5%93%b2%e5%ad%a6)
 * [四、 Model Autopilot 一键装机与全栈桌面接管：从单机极客到局域网协作](https://paooo.com/ai-tool/42877/#%e5%9b%9b-model-autopilot-%e4%b8%80%e9%94%ae%e8%a3%85%e6%9c%ba%e4%b8%8e%e5%85%a8%e6%a0%88%e6%a1%8c%e9%9d%a2%e6%8e%a5%e7%ae%a1%e4%bb%8e%e5%8d%95%e6%9c%ba%e6%9e%81%e5%ae%a2%e5%88%b0%e5%b1%80%e5%9f%9f)
       * [📝 站长洞察 (Editor’s Insight)](https://paooo.com/ai-tool/42877/#%f0%9f%93%9d-%e7%ab%99%e9%95%bf%e6%b4%9e%e5%af%9f-editor8217s-insight)

由前 DeepSeek-VL 负责人张博带队打造的开源项目 **Linger**（SimplexAI Labs 出品，仓库
地址 `github.com/simplexai-labs/linger`），核心理念便是“**用模型与 Harness 协同设计，
将 [Claude](https://paooo.com/aigc-news/) 级大脑搬进消费级 PC**”。Linger 不仅是一个
聊天窗口，而是一套完整扎根操作系统的本地智能体底座：它能在无须人工复制粘贴上下文
的前提下读取邮件、日程与会议语音转录，同时保留 BYO 运行时通道，允许开发者按需串联
Claude Code、Codex 或 Pi 等既有云端订阅。

## 二、 PolyStrata 三级分层引擎揭秘：12GB 显存如何撬动 125B 庞然大物？

过去本地部署百亿级以上[大模型](https://paooo.com/ai-study/)受限于“整模驻留显存”的
刚性前提——以 125B 参数规模的 **Qwen3.8-Flash-Next** 为例，其 2-bit 量化权重文件体积
仍达到约 **39 GB**，若按传统纯 GPU 加载方案，不仅 12GB 显卡直接爆显存，甚至连 32GB
的 RTX 5090 也捉襟见肘。

Linger 底层搭载的自研 **PolyStrata** 引擎（与面向 Mac 端侧的 Strata 协同），正是
利用混合专家架构（MoE）单次推理仅激活极少数专家的稀疏特性，建立起 **GPU 显存 → 系统
内存（RAM）→ 高速固态硬盘（SSD）** 三级动态专家缓存池：路由层将高频命中的热门专家
常驻 12GB GPU，次高频温专家驻留 64GB 内存，极少触发的冷专家留置 SSD 并随路由热度
实时升降级换页。在 12GB 显存的 RTX 3060 搭配 64GB RAM 环境下，125B 模型依然能输出**
45.5 tokens/s** 的流利速度；即便换到 8GB 显存的笔记本 RTX 4070，也能在实验预算下
稳定输出 **38.1 tokens/s**。

![PolyStrata引擎GPU与内存及SSD三级MoE专家分层存储调度原理及12GB显存跑125B模型对比
图](https://paooo.com/wp-content/uploads/2026/11/paooo-ai-bot-1120-1300-inline-1795151241778-
7819.avif)

  |  测试模型名称 |  笔记本 RTX 4070 (8GB) |  桌面 RTX 3060 (12GB) |  旗舰 RTX 5090 (32GB) |  
   |  **Qwen3.8-Flash-Next (125B)** |  38.1 tok/s (Q2_0 受限预算实测) |  **45.5 tok/s** |  179 tok/s |  
 |  **LFM2.5-24B-A2B** |  70–73 tok/s |  97.8 tok/s |  480–485 tok/s |  
 |  **Flint 40B-A2.5B** |  61–63 tok/s |  65.5 tok/s |  251–252 tok/s |  
 |  **Qwen3.6-35B-A3B** |  94–100 tok/s |  91.8 tok/s |  394–395 tok/s |  
 |  **Gemma 4 26B-A4B** |  92–93 tok/s |  78.0 tok/s (Q4) |  353–356 tok/s |  
 |  **Tiel Coder 35B-A3B** |  83 tok/s |  78.8 tok/s |  337–345 tok/s |

## 三、 Wiki 记忆中枢与 Another Me：LoCoMo 95% 准确率背后的克制哲学

如果说 PolyStrata 解决了“算得动、不花钱”的问题，那么 **Wiki 记忆中枢** 与 **Another
Me 主动代理引擎** 则决定了智能体是否真正好用。Linger 会在每天夜间自动梳理白天沉淀
下来的邮件、聊天记录、会议转录与日程变更，将其结构化压缩并写入完全位于本地的个人
Wiki 知识库。根据官方披露，该记忆系统在权威的 **LoCoMo 长期记忆基准测试** 中取得
了 **95% 的准确率**，超越了 Mem0、Zep 等一众主流云端与开源记忆方案。

更值得称道的是 Another Me 的“低打扰阈值设计”：多数早期的桌面 Agent 喜欢高频弹窗刷
存在感，而 Linger 引入了紧急性与重要性双维度判断和**隐式强化学习**。例如客户要求
周五前交付报价时，它不会在周一刚收到邮件就贸然打断你的深度编码，而是默默挂起跟踪
任务，在周三清晨准时推送待办提醒并草拟好报价邮件；随着你对其提醒的采纳或忽略，系统
无需重新训练权重即可自动提炼个人偏好规则，越用越克制。

![Linger个人Wiki记忆中枢在LoCoMo长期记忆基准测试中的95%准确率对比图表](https://paooo.
com/wp-content/uploads/2026/11/paooo-ai-bot-1120-1300-inline-1795151253722-212.avif)

## 四、 Model Autopilot 一键装机与全栈桌面接管：从单机极客到局域网协作

针对普通用户面对 GGUF 量化档位（IQ1_M 到 Q8_0）和 KV Cache 显存占用的选型恐惧症，
Linger 内置了 **Model Autopilot** 架构探测向导。SimplexAI 实验室预先在 NVIDIA 8GB
~96GB 与 Mac 16GB~128GB 硬件梯度上对 **49 种语言模型组合**、双推理引擎与 64K~256K
上下文做了穷举级基准测试；用户执行安装脚本（macOS/Linux 运行 `./scripts/install/
install.sh`，Windows 运行 `install.ps1`）后，工具会自动识别本机显存、内存及带宽，
在满足至少 64K 上下文硬约束下选出综合智力最高且速度最优的模型，甚至在真实回答出首
个验证问题后才标记安装成功。

在应用执行层，Linger 支持直接操作用户已登录状态的 Chrome 浏览器和桌面客户端完成填表、
撰写方案与发票跟踪，遇到验证码或高敏发信环节随时可交由人类接管；面对复杂跨领域需求
时，前台主会话还能在后台拉起多个职能各异的 Agent 共享同一份团队计划并行推进，互不
阻塞前台交互。如果团队希望在局域网内共享一台高性能 GPU 工作站，还可通过 `docker 
compose up` 一键自托管服务端，让多台轻薄本安全接入同一私域算力节点。

#### 📝 站长洞察 (Editor’s Insight)

Linger 的问世标志着开源本地 Agent 正式跨过“只能跑小玩具模型”的分水岭。PolyStrata
证明了一个极具工程美感的事实：在 MoE 稀疏激活成为主流的今天，与其堆叠多卡显存，不如
将瓶颈拆解为 GPU、RAM 与 SSD 的热度分级调度，让海量存量 12GB 显卡直接吃下 125B 级
模型的智力红利。更难得的是，前 DeepSeek-VL 负责人没有只卷推理跑分，而是补齐了 64K
上下文约束下的 Autopilot、LoCoMo 95% 夜间记忆沉淀与不扰民的 Another Me 调度器，极
具长期主力化潜力。

🧭 文中关联 AI 工具官网与参数卡（语宙 AI 导航）

**Claude Code ↗**

Claude Code：人工智能安全和研究公司，面向AI 编程辅助场景提供便捷实用的在线功能支持，
涵盖AI编程等

**Claude ↗**

Anthropic 打造的新一代安全人工智能模型，具备超长上下文理解能力，最强代码伴侣。

**Codex ↗**

OpenAI 推出的 AI 编程智能体。

❓ 常见问题解答（FAQ）

Linger本地个人Agent适合什么场景？

适合需要长期常驻、读取本地邮件/日历/会议记录，并直接操纵桌面应用的个人或团队场景。
它主打本地运行、降低云端Token成本，同时减少敏感数据出域风险。

12GB显卡真的能跑125B大模型吗？

文章给出的结论是可以。Linger依托PolyStrata MoE分层引擎，把热门专家放GPU、温专家放
内存、冷专家放SSD，在12GB显存与64GB内存环境下实测125B模型可达45.5 tok/s。

Linger的记忆系统有什么优势？

它会在夜间自动整理邮件、聊天、会议转录和日程变更，压缩后写入本地Wiki知识库。官方
披露其在LoCoMo长期记忆基准上达到95%准确率，并强调低打扰的主动代理体验。

🔬 语宙深潜追问 · 进阶实操拆解

PolyStrata MoE怎么在小显存上提速？

核心是把专家路由、权重分层和按需加载拆开处理：常驻轻量层，重层只在命中时触发，并
尽量复用KV与中间态。实战里要重点盯显存峰值、路由抖动和冷启动时间，别只看平均tok/
s。

本地Wiki记忆如何避免越用越乱？

要把记忆分成事实、偏好、任务状态三层，分别设定写入条件、过期策略和检索优先级。最好
配合去重、冲突合并与人工可编辑入口，否则长期运行后会出现幻觉记忆和错误偏好污染。

🗳️ 读者观点微投票 · 您的实战立场是？

12GB显卡跑125B大模型，你会真上本地Agent吗？

🕸️ 语宙向量知识图谱 · 语义强关联深度内链

[🐋 所属权威专题：DeepSeek 深度实战与部署 →](https://paooo.com/topics/deepseek/)

 * [以小胜大反超 50% 竞品！Liquid AI 开源旗舰端侧推理模型 LFM2.5-24B-A2B：激活仅 2.45B、M5 Max 解码飙至 184 tok/s 架构深度拆解](https://paooo.com/trends/40109/)
 * [Colibrì – 开源的轻量级本地推理引擎，分层存储推理](https://paooo.com/aigc-news/31035/)
 * [长程任务与独立云主机实操破局！蚂蚁百灵重磅开源 Ling-3.1-flash-1019：560B 混合线性 MoE、MIT 协议与 Personal Agent 全景拆解](https://paooo.com/aigc-news/40457/)
 * [家用电脑也能畅跑千亿大模型！开源利器 Strata 0.2 重磅发布：硬件门槛直降 16GB、跨平台原生 GUI 与全阵营 GPU 极限加速深度实测](https://paooo.com/trends/40221/)

[🏛️ Prompt 语宙研究院](https://paooo.com/author/paooo-research/) · Prompt 语宙研究院（
paooo.com Research）专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示
词工程（Prompt Engineering）与全球高增长 AI 生产力工具实测追踪，致力于为中文开发
者与创作者提供一手、可复现的深度技术洞察。

[📄 Markdown 纯净版](https://paooo.com/ai-tool/42877/?format=md)

💡 这篇内容对您有启发吗？

[📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/)

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)
