# 个人笔记本满血跑1450亿大模型！Edge0重磅开源Edge0-145B：首创MoE三层存储流水线、内存狂省60%仅需29GB与端侧优先全栈实战全景深度拆解

- Link: https://paooo.com/ai-tool/41953/
- Published: 2026-11-13T15:05:19+08:00
- Author: Prompt 语宙研究院

⚡ [Prompt](https://paooo.com/ai-image-prompts/) 语宙 AI 导读 · 30 秒核心看点

 * 首创MoE动态共享与三层存储流水线，目标是在端侧跑通145B级[大模型](https://paooo.com/ai-study/)。
 * 峰值内存据称降至29GB，MacBook Pro 36GB也可运行，显著降低部署门槛。
 * 在代码生成、长上下文与终端[智能体](https://paooo.com/trends/)任务上表现突出，
   强调离线生产力与隐私安全。

> **💡 站外导读：**长期以来，人工智能的端侧部署一直受困于“小模型弱智、大模型爆显
> 存”的物理铁律：数十亿参数的小模型固然轻巧，但面对复杂长程编程、代码自愈及多模态
> 推理时往往力不从心；而数百亿乃至千亿级旗舰模型动辄需要 80GB+ 显存，普通开发者的
> MacBook 或消费级 PC 根本无法承受。开源项目 Edge0 近日正式发布并全量开源的 Edge0-
> 145B 与 Edge0-120B，彻底打破了这一桎梏。作为全球首个宣称可在消费级个人笔记本上
> 流畅跑通的 1,450 亿参数开源模型，它通过革命性的“MoE 动态大矩阵共享 + GPU/内存/
> SSD 三层存储智能流水线”，将运行峰值内存不可思议地压缩至 29GB，真正开启了大模型“
> 端侧优先、云端辅助”的全新时代。

## 一、 击碎端侧硬件死锁：Edge0-145B 底层四大核心架构创新

要想在搭载苹果 M 系列芯片的 MacBook Pro 或配备单张消费级显卡（如 RTX 4090/5090）
的 PC 上运行 1,450 亿参数的庞然大物，传统的全精度加载或简单事后量化（Post-Training
Quantization）根本无济于事。Edge0 团队从底层指令集调度、模型训练拓扑到操作系统 I/
O 链路进行了整整四重物理重构：

阅读目录

 * [一、 击碎端侧硬件死锁：Edge0-145B 底层四大核心架构创新](https://paooo.com/ai-tool/41953/#%e4%b8%80-%e5%87%bb%e7%a2%8e%e7%ab%af%e4%be%a7%e7%a1%ac%e4%bb%b6%e6%ad%bb%e9%94%81edge0145b-%e5%ba%95%e5%b1%82%e5%9b%9b%e5%a4%a7%e6%a0%b8%e5%bf%83%e6%9e%b6%e6%9e%84%e5%88%9b%e6%96%b0)
 * [二、 实测硬件指标与基准跑分全景对比：端侧模型 vs 传统云端基线](https://paooo.com/ai-tool/41953/#%e4%ba%8c-%e5%ae%9e%e6%b5%8b%e7%a1%ac%e4%bb%b6%e6%8c%87%e6%a0%87%e4%b8%8e%e5%9f%ba%e5%87%86%e8%b7%91%e5%88%86%e5%85%a8%e6%99%af%e5%af%b9%e6%af%94%e7%ab%af%e4%be%a7%e6%a8%a1%e5%9e%8b-vs-%e4%bc%a0)
 * [三、 从写代码到全自动 3D 渲染：离线运行的生产级超级 Agent](https://paooo.com/ai-tool/41953/#%e4%b8%89-%e4%bb%8e%e5%86%99%e4%bb%a3%e7%a0%81%e5%88%b0%e5%85%a8%e8%87%aa%e5%8a%a8-3d-%e6%b8%b2%e6%9f%93%e7%a6%bb%e7%ba%bf%e8%bf%90%e8%a1%8c%e7%9a%84%e7%94%9f%e4%ba%a7%e7%ba%a7%e8%b6%85%e7%ba%a7-agent)
 * [四、 构建端侧全栈开源生态：Edge0 矩阵的全模态战略布局](https://paooo.com/ai-tool/41953/#%e5%9b%9b-%e6%9e%84%e5%bb%ba%e7%ab%af%e4%be%a7%e5%85%a8%e6%a0%88%e5%bc%80%e6%ba%90%e7%94%9f%e6%80%81edge0-%e7%9f%a9%e9%98%b5%e7%9a%84%e5%85%a8%e6%a8%a1%e6%80%81%e6%88%98%e7%95%a5%e5%b8%83%e5%b1%80)
       * [📝 站长洞察 (Editor’s Insight)](https://paooo.com/ai-tool/41953/#%f0%9f%93%9d-%e7%ab%99%e9%95%bf%e6%b4%9e%e5%af%9f-editor8217s-insight)

![Edge0-145B端侧MoE模型三层存储流水线与架构实测](https://paooo.com/wp-content/uploads/
2026/11/sre-curated-1794553511095-386.avif)

图：Edge0-145B 创新型端侧协同推理架构与三层存储流水线调度图谱

 1. **稀疏专家架构（MoE）与动态权重共享：** Edge0-145B 并非传统的稠密网络，而是由海量
    稀疏专家网络组成的混合架构。核心创新在于不同专家之间巧妙共享基础特征提取大矩阵。
    在高达 145B 的总参数量中，单次前向推理计算实际上仅有约 10B 参数被激活，从源头消除
    了 90% 以上的不必要数据搬运。
 2. **原生端侧协同约束预训练：** 与业界先训千亿云端模型、再进行粗暴剪枝或蒸馏的传统
    做法不同，Edge0 在模型初始预训练阶段就将端侧设备的物理内存带宽上限、非一致性内存
    访问（NUMA）延迟等硬性边界写入了损失函数，确保在极限压缩下模型逻辑推理能力不发生
    崩塌。
 3. **首创 GPU-RAM-SSD 三层存储智能流水线：** 这是 Edge0-145B 最具工程价值的突破。系统
    构建了一个精密的高速缓存时序流：极高频的“热专家”网络常驻在显存/统一内存的最内层；
    约 40GB 的高命中率专家库动态挂载在系统 RAM 中按需换入；而高达 48GB 的超大词表与
    冷门专家参数则流式放置在 NVMe 固态硬盘（SSD）中，配合预读取机制实现微秒级流式吞吐，
    彻底消除了计算与 I/O 之间的串行卡顿。
 4. **异构协同计算与投机解码（Speculative Decoding）：** 针对个人电脑异构计算特点，
    GPU 专注于高并发执行已缓存专家的密集矩阵运算，多核 CPU 则并行接管系统总线数据搬移
    与分支预测，并通过自研的小参数推测草稿头分摊整体权重读取成本。

## 二、 实测硬件指标与基准跑分全景对比：端侧模型 vs 传统云端基线

通过多项严苛的基准实测，Edge0-145B 在性能损耗极小的前提下，展现出了极其夸张的硬件
亲和力。以下为权威测试环境下的量化指标对比表：

  |  核心性能指标 |  传统 4-bit 部署基线模型 |  Edge0-145B（端侧全栈优化） |  工程优化收益 |  
   |  **运行峰值内存占用** |  70 GB ~ 87 GB |  **29 GB** |  内存占用狂降 **58.5% ~ 66.7%**，MacBook Pro 36GB 即可从容运行 |  
 |  **提示词预处理吞吐** |  180 ~ 320 tokens/s |  **> 1,100 tokens/s** |  首字响应时间（TTFT）大幅缩减 3.4 倍以上 |  
 |  **端侧解码生成速度** |  12 ~ 25 tokens/s（频现内存拥堵） |  **> 80 tokens/s** |  完全超越人类阅读极限，支撑实时长代码生成 |  
 |  **上下文窗口支撑** |  32K（端侧极易 OOM 崩溃） |  **128K ~ 256K 超长窗口** |  支持将中大型工程代码库全量吞入单会话上下文 |  
 |  **GPQA-Diamond 知识推理** |  88.6 分 |  **90.4 分** |  逻辑严密性比肩前沿云端闭源旗舰 |  
 |  **Terminal-Bench 智能体终端** |  79.1 分 |  **86.52 分** |  具备自主执行复杂的本地 Shell 与调试闭环能力 |

## 三、 从写代码到全自动 3D 渲染：离线运行的生产级超级 Agent

低门槛与高速度带来的最直接红利，是端侧智能体能够无拘无束地接管复杂、敏感的本地生产
流。由于模型全量在个人设备本地离线执行，不仅完全免去了高昂的云端 API 调用账单，更
彻底斩断了企业核心源代码与商业机密外泄的合规隐患。

在官方公布的生产环境压测中，Edge0-145B 展现出了令人惊叹的长程自主工作流执行能力：
在无需任何人工干预的情况下，它能在 1 小时内自主调用视频生成引擎完成特斯拉 Roadster
全套科普短片的分镜撰写与渲染；在 3D 软件 Blender 中，它通过 Python 脚本接口在数分钟
内从零构建出曼哈顿街区的 3D 城市拓扑；在嵌入式硬件领域，它甚至能自主在 KiCad 中完成
多层 PCB 电路板的走线布局，并无缝导出至虚幻引擎（Unreal Engine）完成装配级机构动态
演示。

## 四、 构建端侧全栈开源生态：Edge0 矩阵的全模态战略布局

除了本次开源的 145B 旗舰与面向移动端的轻量化变体，Edge0 团队已在过去一年内构建了
覆盖多模态人机交互的全链路生态矩阵：

 * **Audio8 语音矩阵：** 包含 0.1B 至 3B 参数的多语种端到端低时延语音识别与情感合成
   模型。
 * **Decision0 极速决策引擎：** 专为 Agent 工具调用设计的 0.6B 与 3B 专有模型，将
   动作路由延迟强力压制在 40 毫秒以内。
 * **Embedding0 多模态嵌入基座：** 0.6B 规模却支持文本、音频、图象与视频的统一向
   量化表征，为端侧设备构建本地永久记忆（RAG）奠定了技术底座。

目前，Edge0-145B 与 Edge0-120B 的权重文件已全面登陆 Hugging Face，针对开发者开箱
即用的一键推理框架与 Edge0App 桌面客户端也已同步在 GitHub 正式开放。端侧硬件的计算
边界，正在被工程架构的极致巧思重新定义。

#### 📝 站长洞察 (Editor’s Insight)

Edge0-145B 的重磅开源，标志着大语言模型的算力重力场正在由“集中式超级智算中心”向“
边缘消费级终端”发生决定性偏移。过去两年，业界对 AI 发展的认知被严重框定在“必须消耗
数百吉瓦电力、堆叠几十万张 GPU”的重工业思维中，但软件与系统架构层面的极致调优往往
能爆发超越摩尔定律的奇迹。Edge0 团队通过巧妙的 MoE 专家共享和 GPU-RAM-SSD 三层时序
流水线，证明了消费级设备无需 80GB 显存也能驾驭千亿参数的智能深度。对于独立开发者
和注重数据合规的中小企业而言，这不仅意味着每月数百上千美元的云端 Token 账单得以归
零，更预示着一种全新的“个人本地超级智能”生活工作范式正在加速成型。

❓ 常见问题解答（FAQ）

Edge0-145B真的能在笔记本上运行吗？

文章称 Edge0-145B 通过 MoE 动态共享和 GPU/RAM/SSD 三层流水线，把峰值内存压到 29GB，
因此 MacBook Pro 36GB 级别设备也可运行。但这属于文中给出的项目实测结论，实际效果
仍取决于具体硬件与任务负载。

Edge0-145B相比普通4-bit部署强在哪？

核心优势是更低内存占用、更高吞吐和更长上下文。文中对比显示，它在峰值内存、提示词
预处理、解码速度和 128K~256K 上下文支持上都明显优于传统 4-bit 基线，更适合本地长
代码与智能体工作流。

Edge0-145B适合哪些本地应用场景？

文章重点提到代码生成、终端智能体、Blender 3D 建模、KiCad PCB 设计和离线内容生产等
场景。由于模型可在本地运行，它也更适合对隐私、合规和云端成本敏感的开发与生产环境。

🔬 语宙深潜追问 · 进阶实操拆解

三层存储流水线怎么落地最稳？

优先把常驻权重放GPU，热数据放RAM，冷数据走SSD；再配合分层预取、异步搬运和批量调度，
减少频繁抖动。实际落地要重点压测PCIe带宽、SSD随机读写和上下文长度对延迟的影响。

29GB内存占用如何复现验证？

先固定模型版本、量化方案和上下文长度，再分别记录峰值RSS、显存占用与吞吐。建议用同
一套提示词跑短/长上下文、单轮/多轮和智能体任务，对比开启与关闭MoE共享、缓存策略后
的差异。

🗳️ 读者观点微投票 · 您的实战立场是？

你会在笔记本上跑1450亿模型吗？

🕸️ 语宙向量知识图谱 · 语义强关联深度内链

[🔓 所属权威专题：开源大模型与端侧推理 →](https://paooo.com/topics/open-source-llm/)

 * [iPhone 无损畅跑 35B 巨兽！面壁智能开源全球首个手机端 MoE 多模态大模型 MiniCPM-V 4.7：3GB 内存畅跑、前瞻专家调度 LES 与全链路加速工程实战](https://paooo.com/aigc-news/40111/)
 * [阶跃星辰开源Step 3.5 Flash：1960亿参数MoE模型，350TPS极速推理与Agent性能比肩顶尖闭源模型](https://paooo.com/aigc-news/11529/)
 * [以小胜大反超 50% 竞品！Liquid AI 开源旗舰端侧推理模型 LFM2.5-24B-A2B：激活仅 2.45B、M5 Max 解码飙至 184 tok/s 架构深度拆解](https://paooo.com/trends/40109/)
 * [428B 总参+23B 激活！MiniMax 重磅开源 M3.1 Flash：72 小时狂吞百万亿 Token、稀疏注意力与 W4A4 极限能效全景架构深度拆解](https://paooo.com/ai-tool/40307/)

[🏛️ Prompt 语宙研究院](https://paooo.com/author/paooo-research/) · Prompt 语宙研究院（
paooo.com Research）专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示
词工程（Prompt Engineering）与全球高增长 AI 生产力工具实测追踪，致力于为中文开发
者与创作者提供一手、可复现的深度技术洞察。

[📄 Markdown 纯净版](https://paooo.com/ai-tool/41953/?format=md)

💡 这篇内容对您有启发吗？

[📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/)

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)