# 26B物理权重跑出48层深度！Thinking Machines联合HF发布端侧多模态Inkling 2 Mini：三轮循环复用、1M上下文与DSpark投机解码全拆解

- Link: https://paooo.com/ai-study/43056/
- Published: 2026-11-21T16:09:50+08:00
- Author: Prompt 语宙研究院

⚡ [Prompt](https://paooo.com/ai-image-prompts/) 语宙 AI 导读 · 30 秒核心看点

 * 26B物理权重借助12层三轮循环复用，等效跑出48层深度，显著缓解端侧显存压力。
 * 原生支持1M上下文、图文多模态输入，并兼容llama.cpp、MLX与SGLang DSpark投机解码。
 * AAv5等48项横评中拿下32项同级第一，本地编码与推理表现对标更大体量模型。

> **💡 站外导读：**本地工作站想跑通高阶编程、多模态看图与百万级上下文，长期受限于
> 消费级硬件的显存天花板。Thinking Machines Lab联合Hugging Face正式推出端侧多模态
> MoE模型Inkling 2 Mini：仅约26B总物理参数与3B单Token激活量，借助中间12层权重三轮
> 循环复用及Rank-64跨轮门控消息传递等效跑出48层深度，原生支持1M上下文与Day-0的llama.
> cpp、MLX及SGLang DSpark投机解码。

![Thinking Machines Lab 联合 Hugging Face 发布端侧多模态模型 Inkling 2 Mini 封面
图](https://paooo.com/wp-content/uploads/2026/11/paooo-evaoo-1121-1600-1795248557634-
9345.avif)

## 一、Looped Transformer 破局显存墙：24 个物理层如何跑出 48 层逻辑深度

前不久 Thinking Machines Lab 推出的 594B 总参 / 17B 激活版 `Inkling 2 Small` 虽性能
强悍，但哪怕量化到 NVFP4 也需要超过 500GB 多卡服务器显存才能驾驭。为了让个人桌面
与笔记本设备也能享用同源架构红利，团队联合 Hugging Face 正式带来了轻量化端侧版本`
Inkling 2 Mini`：总物理参数压缩至约 26B、每个 Token 仅激活 3B 参数，同时完整保留
图文多模态输入、1M Token 超长上下文以及原生 NVFP4 + MXFP8 专家混合精度权重。

阅读目录

 * [一、Looped Transformer 破局显存墙：24 个物理层如何跑出 48 层逻辑深度](https://paooo.com/ai-study/43056/#%e4%b8%80looped-transformer-%e7%a0%b4%e5%b1%80%e6%98%be%e5%ad%98%e5%a2%9924-%e4%b8%aa%e7%89%a9%e7%90%86%e5%b1%82%e5%a6%82%e4%bd%95%e8%b7%91%e5%87%ba-48-%e5%b1%82%e9%80%bb%e8%be%91%e6%b7%b1%e5%ba%a6)
 * [二、32 胜 48 项权威基准：硬刚 Qwen3.8-27B、Gemma 4 31B 与 Nemotron 3.5](https://paooo.com/ai-study/43056/#%e4%ba%8c32-%e8%83%9c-48-%e9%a1%b9%e6%9d%83%e5%a8%81%e5%9f%ba%e5%87%86%e7%a1%ac%e5%88%9a-qwen3827bgemma-4-31b-%e4%b8%8e-nemotron-35)
 * [三、Day-0 全栈开箱运行：Apple MLX 原生混合精度与 SGLang DSpark 三层投机解码](https://paooo.com/ai-study/43056/#%e4%b8%89day0-%e5%85%a8%e6%a0%88%e5%bc%80%e7%ae%b1%e8%bf%90%e8%a1%8capple-mlx-%e5%8e%9f%e7%94%9f%e6%b7%b7%e5%90%88%e7%b2%be%e5%ba%a6%e4%b8%8e-sglang-dspark-%e4%b8%89%e5%b1%82%e6%8a%95%e6%9c%ba)
 * [四、Vibe Tests 实景实战：24 轮自检活体《星夜》与手绘草图直出可持久化 Web 应用](https://paooo.com/ai-study/43056/#%e5%9b%9bvibe-tests-%e5%ae%9e%e6%99%af%e5%ae%9e%e6%88%9824-%e8%bd%ae%e8%87%aa%e6%a3%80%e6%b4%bb%e4%bd%93%e6%98%9f%e5%a4%9c%e4%b8%8e%e6%89%8b%e7%bb%98%e8%8d%89%e5%9b%be%e7%9b%b4%e5%87%ba%e5%8f%af)
       * [📝 站长洞察 (Editor’s Insight)](https://paooo.com/ai-study/43056/#%f0%9f%93%9d-%e7%ab%99%e9%95%bf%e6%b4%9e%e5%af%9f-editor8217s-insight)

实现“小体积高智商”的核心密码在于 **Looped Transformer（循环权重复用）** 设计。全
模型物理上仅存储 24 个解码层（文本解码宽度 2,304，仅为 Small 4,608 的一半；每层设
128 个 SwiGLU 专家，中间宽度 1,152，每次路由选 8 个并按 8 倍缩放归一化得分）。前
向推理时，第 0–5 层运行 1 次、第 6–17 层的核心 12 层连续循环运行 3 次、第 18–23 
层收尾运行 1 次——从而在无需多存一倍权重的前提下，让每个 Token 实打实经历 `6 + 3 
× 12 + 6 = 48` 次逻辑层访问。

值得注意的是，Inkling 2 Mini 并非像 Nanbeige 等早期循环网络那样机械串联。每轮进入
6–17 层核心块时依然以前 6 层输出为锚点输入，并在第 2、3 轮引入**跨轮消息传递（Cross-
Pass Messages）与 4 枚 Rank-64 门控控制器**：每个循环层通过自身学习型查询读取上一轮
两个相邻残差块的计算结果，分别由 4 个低秩门控动态权衡“保留多少当前输入、融合多少
跨轮精修信息”注入 Query、Key、Value 与 MoE MLP 通道；同时全模型每 6 层模块配置 5
个 1,024-token 局部滑窗层与 1 个带动态 K/V 卷积的全注意力层（24 Q 头 / 8 KV 头 +
学习型相对位置与 Sink），且所有 48 次逻辑访问各自维护独立的 KV 与短卷积状态。官方
还同步放出了支持通过 `loop_num_passes` 在 1~3 轮之间自由切换速率与精度的科研模型`
thinkingmachines/TML-d24-varloop-research`。

![Inkling 2 Mini 三轮循环复用中间 12 层物理权重等效 48 层逻辑深度及 Rank-64 跨轮
门控架构图](https://paooo.com/wp-content/uploads/2026/11/paooo-evaoo-inline-1121-
1600-1795248563526-5799.avif)

## 二、32 胜 48 项权威基准：硬刚 Qwen3.8-27B、Gemma 4 31B 与 Nemotron 3.5

在 Artificial Analysis Intelligence Index v5（AAv5）及五大维度（代码与自主研究、
知识工作检索与工具调用、视觉理解与创造、推理与常识、安全对齐）共 48 项横评中，`Inkling
2 Mini` 直接拿下了其中 **32 项的同级第一**，力压体量相近或更大的 Gemma 4 31B、Muse
Glimmer、Qwen3.8-27B 与 Nemotron 3.5 Super VL。具体到开发者最关心的本地编码能力，
它在 `FrontierCode v2.0` 位居榜首，在 `Terminal-Bench 4.0` 与 Qwen3.8-27B 战平，
仅在 `AutomationBench-AA v1.0.6` 上略微落后于 Qwen。

为方便精细调控算力开销，模型内置了从零思考到深度推理的连续档位 `reasoning_effort`：
支持传入 `none (0.0)`、`minimal (0.1)`、`low (0.2)`、`medium (0.7)`、`high (0.9，
默认)`、`xhigh (0.99)` 与 `max (0.99)`，甚至允许直接传 `0.35` 这类任意浮点阈值，
聊天模板会自动将其映射为系统提示指令，且支持标准的 `processor.parse_response` 工具
调用协议。

![Inkling 2 Mini 与 Gemma 4 31B、Muse Glimmer、Qwen3.8-27B 及 Nemotron 3.5 Super
VL 的核心编码与知识工作基准对比图](https://paooo.com/wp-content/uploads/2026/11/
paooo-evaoo-inline-1121-1600-1795248575109-4249.avif)

  |  核心技术维度 |  Inkling 2 Mini（固定 3 轮） |  TML-d24-varloop-research |  Inkling 2 Small（对比参考） |  
   |  总物理参数 / 单 Token 激活 |  约 26B / 3B 激活 |  约 26B / 3B 激活 |  594B / 17B 激活 |  
 |  物理层数 × 逻辑访问深度 |  24 物理层 → 48 逻辑访问 (6+3×12+6) |  24 物理层 → 支持 1 / 2 / 3 轮动态切换 |  48 层访问（独立权重） |  
 |  隐藏层宽度 / MoE 专家拓扑 |  2,304 维 / 每层 128 选 8（中间维 1,152） |  2,304 维 / 每层 128 选 8（Rank-64 门控） |  4,608 维 / 每层 384 选 8 |  
 |  上下文与模态能力 |  1M Token / 图文多模态 + Tool Calling |  1M Token / 支持任意浮点 reasoning_effort |  1M Token / 需 500GB+ 多卡服务器 |  
 |  端侧与云端发布格式 |  NVFP4+MXFP8 / GGUF(IQ4_NL, Q8_0) / MLX |  Transformers / GGUF(IQ4_NL, Q8_0) |  NVFP4 / MXFP8（SGLang / vLLM） |

## 三、Day-0 全栈开箱运行：Apple MLX 原生混合精度与 SGLang DSpark 三层投机解码

不同于许多论文模型“发权重不管部署”的通病，Inkling 2 Mini 在发布首日即打通了本地桌面
到数据中心的全套工具链：个人用户在 macOS 菜单栏或 Windows 系统托盘安装 `Llama App`（
基于 `llama.cpp`），一行命令 `llama serve -hf ggml-org/Inkling-2-Mini-GGUF:IQ4_NL`（
或 `:Q8_0`）即可拉起 [OpenAI](https://paooo.com/tag/openai/) 兼容本地接口直连 Cursor、
Claude Code 或 Pi；而苹果 Mac 用户通过上游已合入多模态支持的 `mlx-lm` 运行，更能
直接读取原厂 `NVFP4 + MXFP8` 混合精度 Checkpoint，零二次转换损耗保留作者原始精度
表现。

面向生产级 GPU 部署，`SGLang` 已同步提供 SM103 架构 Day-0 支撑（搭配 `fa4` 注意力
与 `xgrammar` 约束解码），并附带一枚极为精巧的 **3 层 DSpark 投机解码草稿模型**。
该草稿网直接窃听主模型第 5、23、41 次逻辑层输入以及第 48 次终态归一化表征，仅以极
低显存代价在单张 NVIDIA `B300` 上（1,024 输入 / 1,024 输出，并发 1、4、16、64）通过`--
speculative-algorithm DSPARK` 实现了显著的生成吞吐跃升。

![Inkling 2 Mini 在单卡 NVIDIA B300 启用三层 DSpark 投机解码后不同并发下的生成吞吐
提升曲线图](https://paooo.com/wp-content/uploads/2026/11/paooo-evaoo-inline-1121-
1600-1795248579534-2076.avif)

## 四、Vibe Tests 实景实战：24 轮自检活体《星夜》与手绘草图直出可持久化 Web 应用

在官方公布的真实盲测 Demo 中，Inkling 2 Mini 展现出远超常规 3B 激活模型的视觉编程
与工具闭环定力。面对“零外部贴图纯 WebGL 片元着色器渲染日落云海飞越”的同一提示词，
Inkling 2 Mini 生成的《Sunset Ridge》在体积光、水面反射与帧率自适应回落上稳稳比肩
Qwen 3.8 27B；而在“以梵高 1889 年《星夜》为参考图制作活体 WebGL2 动画”任务中，它
配合 Pi 框架内置的截图脚本自我渲染、看图挑刺、迭代修改整整 24 轮，最终在 Apple M4
Max 上录出 1080p 60fps 的动态笔触星夜。

更贴近日常产品研发的是手绘线框图转全栈应用测试：研发人员拍下一张画满手写批注与红
字标注的“Trip Split 旅行分账”餐巾纸草图交给它，要求仅用原生 HTML/CSS/JS 构建单文件
应用。Inkling 2 Mini 精准识别了草图里的全部数字、示例账单与交互批注，首次尝试便通过
Playwright 模拟点击 13 项功能全检——现场录入一笔 90 美元晚餐后，总账准确从 405 美元
动态重算为 495 美元并自动写入 `localStorage`。此外，即便压到 4-bit GGUF `IQ4_NL`，
它也能一句话手搓带自绘 SVG 与匹配逻辑的 Plant Therapy SaaS 网页，甚至在 Pi 引导下
用 Helium 与 Chromium 给自己写出一套浏览器控制 [Agent](https://paooo.com/trends/)。

![Inkling 2 Mini 根据手绘餐巾纸草图结合 Pi 编码框架直出并经 Playwright 13 项检查
通过的 Trip Split 分账 Web 应用界面](https://paooo.com/wp-content/uploads/2026/11/
paooo-evaoo-inline-1121-1600-1795248585439-8581.avif)

#### 📝 站长洞察 (Editor’s Insight)

Inkling 2 Mini 的核心工程启示，在于用“计算深度换静态显存”击穿消费级硬件墙。稀疏 
MoE 虽压低单步 FLOPs，但仍须把全量参数塞进内存；而把 24 个物理层中间半数循环三遍
并配 Rank-64 跨轮门控，等于在不增一比特显存的前提下拉出 48 层推理链路。更难得的是
Day-0 把原生 NVFP4+MXFP8 接入 MLX、把 IQ4_NL 挂进 llama.cpp，并用 DSpark 兜底 B300
并发，为本地 Coding Agent 树立新范式。

🧭 文中关联 [AI 工具](https://ai.paooo.com/)官网与参数卡（语宙 AI 导航）

**Gemma ↗**

Gemma：Google AI学习平台，面向大语言模型场景提供便捷实用的在线功能支持，涵盖大模型
等实用方向。

**LLaMA ↗**

Meta（Facebook）推出的AI大语言模型。

**LLaMA ↗**

在线AI大模型微调平台，零代码、可视化操作。

❓ 常见问题解答（FAQ）

Inkling 2 Mini适合本地部署吗？

适合。文章显示它将总物理参数压缩到约26B、单Token仅激活3B参数，并支持1M上下文与端
侧多模态输入，目标就是让桌面和笔记本也能跑高阶推理与编程任务。

Inkling 2 Mini为什么能跑出48层深度？

核心是Looped Transformer循环权重复用：24个物理层中，中间12层会连续循环3轮，再加上
前后各6层一次性通过，形成6+3×12+6=48次逻辑层访问，而无需额外存一倍权重。

它支持哪些推理和部署工具？

文章提到它原生支持llama.cpp、MLX和SGLang的DSpark投机解码；同时还提供可在1到3轮间
切换的科研版模型，便于按算力与精度需求做不同部署。

🔬 语宙深潜追问 · 进阶实操拆解

三轮循环复用怎么影响推理成本？

循环复用把同一组层参数反复用于不同阶段，显著降低物理参数与显存占用，但会增加调度
复杂度。实战里要重点看吞吐、首 token 延迟和长上下文稳定性，别只看参数量或榜单分数。

1M上下文落地最该先优化什么？

先优化 KV cache 管理与分块检索策略，再谈模型本身。1M 上下文真正的瓶颈通常是显存、
带宽和注意力开销，工程上应结合滑窗、摘要记忆和投机解码，避免把长上下文直接硬塞进
一次推理。

🗳️ 读者观点微投票 · 您的实战立场是？

26B端侧多模态该优先要深度还是速度？

🕸️ 语宙向量知识图谱 · 语义强关联深度内链

[🔓 所属权威专题：开源大模型与端侧推理 →](https://paooo.com/topics/open-source-llm/)

 * [9B小参数逆袭27B巨兽！商汤重磅开源循环多模态大模型SenseNova Loop-9B：首创权重复用双流mHC架构、256K上下文与Agent长程推理全景实测](https://paooo.com/trends/40601/)
 * [以小胜大反超 50% 竞品！Liquid AI 开源旗舰端侧推理模型 LFM2.5-24B-A2B：激活仅 2.45B、M5 Max 解码飙至 184 tok/s 架构深度拆解](https://paooo.com/trends/40109/)
 * [Inkling – Thinking Machines Lab 推出的多模态基础模型](https://paooo.com/aigc-news/31056/)
 * [每秒2100 Token狂飙与思考模式膨胀9倍！Latent Space独家实测NaiveAI开源代码模型：小米MiMo底座、端到端时延压至3.1秒与三款3D应用生成深度拆解](https://paooo.com/aigc-news/42128/)

[🏛️ Prompt 语宙研究院](https://paooo.com/author/paooo-research/) · Prompt 语宙研究院（
paooo.com Research）专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示
词工程（Prompt Engineering）与全球高增长 AI 生产力工具实测追踪，致力于为中文开发
者与创作者提供一手、可复现的深度技术洞察。

[📄 Markdown 纯净版](https://paooo.com/ai-study/43056/?format=md)

💡 这篇内容对您有启发吗？

[📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/)

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)
