💡 站外导读:本地工作站想跑通高阶编程、多模态看图与百万级上下文,长期受限于消费级硬件的显存天花板。Thinking Machines Lab联合Hugging Face正式推出端侧多模态MoE模型Inkling 2 Mini:仅约26B总物理参数与3B单Token激活量,借助中间12层权重三轮循环复用及Rank-64跨轮门控消息传递等效跑出48层深度,原生支持1M上下文与Day-0的llama.cpp、MLX及SGLang DSpark投机解码。

一、Looped Transformer 破局显存墙:24 个物理层如何跑出 48 层逻辑深度
前不久 Thinking Machines Lab 推出的 594B 总参 / 17B 激活版 Inkling 2 Small 虽性能强悍,但哪怕量化到 NVFP4 也需要超过 500GB 多卡服务器显存才能驾驭。为了让个人桌面与笔记本设备也能享用同源架构红利,团队联合 Hugging Face 正式带来了轻量化端侧版本 Inkling 2 Mini:总物理参数压缩至约 26B、每个 Token 仅激活 3B 参数,同时完整保留图文多模态输入、1M Token 超长上下文以及原生 NVFP4 + MXFP8 专家混合精度权重。
实现“小体积高智商”的核心密码在于 Looped Transformer(循环权重复用) 设计。全模型物理上仅存储 24 个解码层(文本解码宽度 2,304,仅为 Small 4,608 的一半;每层设 128 个 SwiGLU 专家,中间宽度 1,152,每次路由选 8 个并按 8 倍缩放归一化得分)。前向推理时,第 0–5 层运行 1 次、第 6–17 层的核心 12 层连续循环运行 3 次、第 18–23 层收尾运行 1 次——从而在无需多存一倍权重的前提下,让每个 Token 实打实经历 6 + 3 × 12 + 6 = 48 次逻辑层访问。
值得注意的是,Inkling 2 Mini 并非像 Nanbeige 等早期循环网络那样机械串联。每轮进入 6–17 层核心块时依然以前 6 层输出为锚点输入,并在第 2、3 轮引入跨轮消息传递(Cross-Pass Messages)与 4 枚 Rank-64 门控控制器:每个循环层通过自身学习型查询读取上一轮两个相邻残差块的计算结果,分别由 4 个低秩门控动态权衡“保留多少当前输入、融合多少跨轮精修信息”注入 Query、Key、Value 与 MoE MLP 通道;同时全模型每 6 层模块配置 5 个 1,024-token 局部滑窗层与 1 个带动态 K/V 卷积的全注意力层(24 Q 头 / 8 KV 头 + 学习型相对位置与 Sink),且所有 48 次逻辑访问各自维护独立的 KV 与短卷积状态。官方还同步放出了支持通过 loop_num_passes 在 1~3 轮之间自由切换速率与精度的科研模型 thinkingmachines/TML-d24-varloop-research。

二、32 胜 48 项权威基准:硬刚 Qwen3.8-27B、Gemma 4 31B 与 Nemotron 3.5
在 Artificial Analysis Intelligence Index v5(AAv5)及五大维度(代码与自主研究、知识工作检索与工具调用、视觉理解与创造、推理与常识、安全对齐)共 48 项横评中,Inkling 2 Mini 直接拿下了其中 32 项的同级第一,力压体量相近或更大的 Gemma 4 31B、Muse Glimmer、Qwen3.8-27B 与 Nemotron 3.5 Super VL。具体到开发者最关心的本地编码能力,它在 FrontierCode v2.0 位居榜首,在 Terminal-Bench 4.0 与 Qwen3.8-27B 战平,仅在 AutomationBench-AA v1.0.6 上略微落后于 Qwen。
为方便精细调控算力开销,模型内置了从零思考到深度推理的连续档位 reasoning_effort:支持传入 none (0.0)、minimal (0.1)、low (0.2)、medium (0.7)、high (0.9,默认)、xhigh (0.99) 与 max (0.99),甚至允许直接传 0.35 这类任意浮点阈值,聊天模板会自动将其映射为系统提示指令,且支持标准的 processor.parse_response 工具调用协议。

| 核心技术维度 | Inkling 2 Mini(固定 3 轮) | TML-d24-varloop-research | Inkling 2 Small(对比参考) |
|---|---|---|---|
| 总物理参数 / 单 Token 激活 | 约 26B / 3B 激活 | 约 26B / 3B 激活 | 594B / 17B 激活 |
| 物理层数 × 逻辑访问深度 | 24 物理层 → 48 逻辑访问 (6+3×12+6) | 24 物理层 → 支持 1 / 2 / 3 轮动态切换 | 48 层访问(独立权重) |
| 隐藏层宽度 / MoE 专家拓扑 | 2,304 维 / 每层 128 选 8(中间维 1,152) | 2,304 维 / 每层 128 选 8(Rank-64 门控) | 4,608 维 / 每层 384 选 8 |
| 上下文与模态能力 | 1M Token / 图文多模态 + Tool Calling | 1M Token / 支持任意浮点 reasoning_effort | 1M Token / 需 500GB+ 多卡服务器 |
| 端侧与云端发布格式 | NVFP4+MXFP8 / GGUF(IQ4_NL, Q8_0) / MLX | Transformers / GGUF(IQ4_NL, Q8_0) | NVFP4 / MXFP8(SGLang / vLLM) |
三、Day-0 全栈开箱运行:Apple MLX 原生混合精度与 SGLang DSpark 三层投机解码
不同于许多论文模型“发权重不管部署”的通病,Inkling 2 Mini 在发布首日即打通了本地桌面到数据中心的全套工具链:个人用户在 macOS 菜单栏或 Windows 系统托盘安装 Llama App(基于 llama.cpp),一行命令 llama serve -hf ggml-org/Inkling-2-Mini-GGUF:IQ4_NL(或 :Q8_0)即可拉起 OpenAI 兼容本地接口直连 Cursor、Claude Code 或 Pi;而苹果 Mac 用户通过上游已合入多模态支持的 mlx-lm 运行,更能直接读取原厂 NVFP4 + MXFP8 混合精度 Checkpoint,零二次转换损耗保留作者原始精度表现。
面向生产级 GPU 部署,SGLang 已同步提供 SM103 架构 Day-0 支撑(搭配 fa4 注意力与 xgrammar 约束解码),并附带一枚极为精巧的 3 层 DSpark 投机解码草稿模型。该草稿网直接窃听主模型第 5、23、41 次逻辑层输入以及第 48 次终态归一化表征,仅以极低显存代价在单张 NVIDIA B300 上(1,024 输入 / 1,024 输出,并发 1、4、16、64)通过 --speculative-algorithm DSPARK 实现了显著的生成吞吐跃升。

四、Vibe Tests 实景实战:24 轮自检活体《星夜》与手绘草图直出可持久化 Web 应用
在官方公布的真实盲测 Demo 中,Inkling 2 Mini 展现出远超常规 3B 激活模型的视觉编程与工具闭环定力。面对“零外部贴图纯 WebGL 片元着色器渲染日落云海飞越”的同一提示词,Inkling 2 Mini 生成的《Sunset Ridge》在体积光、水面反射与帧率自适应回落上稳稳比肩 Qwen 3.8 27B;而在“以梵高 1889 年《星夜》为参考图制作活体 WebGL2 动画”任务中,它配合 Pi 框架内置的截图脚本自我渲染、看图挑刺、迭代修改整整 24 轮,最终在 Apple M4 Max 上录出 1080p 60fps 的动态笔触星夜。
更贴近日常产品研发的是手绘线框图转全栈应用测试:研发人员拍下一张画满手写批注与红字标注的“Trip Split 旅行分账”餐巾纸草图交给它,要求仅用原生 HTML/CSS/JS 构建单文件应用。Inkling 2 Mini 精准识别了草图里的全部数字、示例账单与交互批注,首次尝试便通过 Playwright 模拟点击 13 项功能全检——现场录入一笔 90 美元晚餐后,总账准确从 405 美元动态重算为 495 美元并自动写入 localStorage。此外,即便压到 4-bit GGUF IQ4_NL,它也能一句话手搓带自绘 SVG 与匹配逻辑的 Plant Therapy SaaS 网页,甚至在 Pi 引导下用 Helium 与 Chromium 给自己写出一套浏览器控制 Agent。

📝 站长洞察 (Editor’s Insight)
Inkling 2 Mini 的核心工程启示,在于用“计算深度换静态显存”击穿消费级硬件墙。稀疏 MoE 虽压低单步 FLOPs,但仍须把全量参数塞进内存;而把 24 个物理层中间半数循环三遍并配 Rank-64 跨轮门控,等于在不增一比特显存的前提下拉出 48 层推理链路。更难得的是 Day-0 把原生 NVFP4+MXFP8 接入 MLX、把 IQ4_NL 挂进 llama.cpp,并用 DSpark 兜底 B300 并发,为本地 Coding Agent 树立新范式。
Inkling 2 Mini适合本地部署吗?
适合。文章显示它将总物理参数压缩到约26B、单Token仅激活3B参数,并支持1M上下文与端侧多模态输入,目标就是让桌面和笔记本也能跑高阶推理与编程任务。
Inkling 2 Mini为什么能跑出48层深度?
核心是Looped Transformer循环权重复用:24个物理层中,中间12层会连续循环3轮,再加上前后各6层一次性通过,形成6+3×12+6=48次逻辑层访问,而无需额外存一倍权重。
它支持哪些推理和部署工具?
文章提到它原生支持llama.cpp、MLX和SGLang的DSpark投机解码;同时还提供可在1到3轮间切换的科研版模型,便于按算力与精度需求做不同部署。
三轮循环复用怎么影响推理成本?
循环复用把同一组层参数反复用于不同阶段,显著降低物理参数与显存占用,但会增加调度复杂度。实战里要重点看吞吐、首 token 延迟和长上下文稳定性,别只看参数量或榜单分数。
1M上下文落地最该先优化什么?
先优化 KV cache 管理与分块检索策略,再谈模型本身。1M 上下文真正的瓶颈通常是显存、带宽和注意力开销,工程上应结合滑窗、摘要记忆和投机解码,避免把长上下文直接硬塞进一次推理。
