Prompt 语宙Prompt 语宙
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
阅读: 26B物理权重跑出48层深度!Thinking Machines联合HF发布端侧多模态Inkling 2 Mini:三轮循环复用、1M上下文与DSpark投机解码全拆解
Share
通知 阅读更多
Font Resizer字体
Font Resizer字体
Prompt 语宙Prompt 语宙
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
已有帐户? 登陆
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
Thinking Machines Lab 联合 Hugging Face 发布端侧多模态模型 Inkling 2 Mini 封面图
Prompt 语宙 > 强化 AI 学习 > 26B物理权重跑出48层深度!Thinking Machines联合HF发布端侧多模态Inkling 2 Mini:三轮循环复用、1M上下文与DSpark投机解码全拆解
强化 AI 学习

26B物理权重跑出48层深度!Thinking Machines联合HF发布端侧多模态Inkling 2 Mini:三轮循环复用、1M上下文与DSpark投机解码全拆解

Prompt 语宙研究院
最近更新: 2026年11月21日 下午4:09
Inkling 2 Mini MoE Thinking Machines Lab 投机解码 端侧大模型
SHARE
⚡ Prompt 语宙 AI 导读 · 30 秒核心看点
  • 26B物理权重借助12层三轮循环复用,等效跑出48层深度,显著缓解端侧显存压力。
  • 原生支持1M上下文、图文多模态输入,并兼容llama.cpp、MLX与SGLang DSpark投机解码。
  • AAv5等48项横评中拿下32项同级第一,本地编码与推理表现对标更大体量模型。

💡 站外导读:本地工作站想跑通高阶编程、多模态看图与百万级上下文,长期受限于消费级硬件的显存天花板。Thinking Machines Lab联合Hugging Face正式推出端侧多模态MoE模型Inkling 2 Mini:仅约26B总物理参数与3B单Token激活量,借助中间12层权重三轮循环复用及Rank-64跨轮门控消息传递等效跑出48层深度,原生支持1M上下文与Day-0的llama.cpp、MLX及SGLang DSpark投机解码。

Thinking Machines Lab 联合 Hugging Face 发布端侧多模态模型 Inkling 2 Mini 封面图

一、Looped Transformer 破局显存墙:24 个物理层如何跑出 48 层逻辑深度

前不久 Thinking Machines Lab 推出的 594B 总参 / 17B 激活版 Inkling 2 Small 虽性能强悍,但哪怕量化到 NVFP4 也需要超过 500GB 多卡服务器显存才能驾驭。为了让个人桌面与笔记本设备也能享用同源架构红利,团队联合 Hugging Face 正式带来了轻量化端侧版本 Inkling 2 Mini:总物理参数压缩至约 26B、每个 Token 仅激活 3B 参数,同时完整保留图文多模态输入、1M Token 超长上下文以及原生 NVFP4 + MXFP8 专家混合精度权重。

阅读目录
  • 一、Looped Transformer 破局显存墙:24 个物理层如何跑出 48 层逻辑深度
  • 二、32 胜 48 项权威基准:硬刚 Qwen3.8-27B、Gemma 4 31B 与 Nemotron 3.5
  • 三、Day-0 全栈开箱运行:Apple MLX 原生混合精度与 SGLang DSpark 三层投机解码
  • 四、Vibe Tests 实景实战:24 轮自检活体《星夜》与手绘草图直出可持久化 Web 应用
      • 📝 站长洞察 (Editor’s Insight)

实现“小体积高智商”的核心密码在于 Looped Transformer(循环权重复用) 设计。全模型物理上仅存储 24 个解码层(文本解码宽度 2,304,仅为 Small 4,608 的一半;每层设 128 个 SwiGLU 专家,中间宽度 1,152,每次路由选 8 个并按 8 倍缩放归一化得分)。前向推理时,第 0–5 层运行 1 次、第 6–17 层的核心 12 层连续循环运行 3 次、第 18–23 层收尾运行 1 次——从而在无需多存一倍权重的前提下,让每个 Token 实打实经历 6 + 3 × 12 + 6 = 48 次逻辑层访问。

值得注意的是,Inkling 2 Mini 并非像 Nanbeige 等早期循环网络那样机械串联。每轮进入 6–17 层核心块时依然以前 6 层输出为锚点输入,并在第 2、3 轮引入跨轮消息传递(Cross-Pass Messages)与 4 枚 Rank-64 门控控制器:每个循环层通过自身学习型查询读取上一轮两个相邻残差块的计算结果,分别由 4 个低秩门控动态权衡“保留多少当前输入、融合多少跨轮精修信息”注入 Query、Key、Value 与 MoE MLP 通道;同时全模型每 6 层模块配置 5 个 1,024-token 局部滑窗层与 1 个带动态 K/V 卷积的全注意力层(24 Q 头 / 8 KV 头 + 学习型相对位置与 Sink),且所有 48 次逻辑访问各自维护独立的 KV 与短卷积状态。官方还同步放出了支持通过 loop_num_passes 在 1~3 轮之间自由切换速率与精度的科研模型 thinkingmachines/TML-d24-varloop-research。

Inkling 2 Mini 三轮循环复用中间 12 层物理权重等效 48 层逻辑深度及 Rank-64 跨轮门控架构图

二、32 胜 48 项权威基准:硬刚 Qwen3.8-27B、Gemma 4 31B 与 Nemotron 3.5

在 Artificial Analysis Intelligence Index v5(AAv5)及五大维度(代码与自主研究、知识工作检索与工具调用、视觉理解与创造、推理与常识、安全对齐)共 48 项横评中,Inkling 2 Mini 直接拿下了其中 32 项的同级第一,力压体量相近或更大的 Gemma 4 31B、Muse Glimmer、Qwen3.8-27B 与 Nemotron 3.5 Super VL。具体到开发者最关心的本地编码能力,它在 FrontierCode v2.0 位居榜首,在 Terminal-Bench 4.0 与 Qwen3.8-27B 战平,仅在 AutomationBench-AA v1.0.6 上略微落后于 Qwen。

为方便精细调控算力开销,模型内置了从零思考到深度推理的连续档位 reasoning_effort:支持传入 none (0.0)、minimal (0.1)、low (0.2)、medium (0.7)、high (0.9,默认)、xhigh (0.99) 与 max (0.99),甚至允许直接传 0.35 这类任意浮点阈值,聊天模板会自动将其映射为系统提示指令,且支持标准的 processor.parse_response 工具调用协议。

Inkling 2 Mini 与 Gemma 4 31B、Muse Glimmer、Qwen3.8-27B 及 Nemotron 3.5 Super VL 的核心编码与知识工作基准对比图
核心技术维度 Inkling 2 Mini(固定 3 轮) TML-d24-varloop-research Inkling 2 Small(对比参考)
总物理参数 / 单 Token 激活 约 26B / 3B 激活 约 26B / 3B 激活 594B / 17B 激活
物理层数 × 逻辑访问深度 24 物理层 → 48 逻辑访问 (6+3×12+6) 24 物理层 → 支持 1 / 2 / 3 轮动态切换 48 层访问(独立权重)
隐藏层宽度 / MoE 专家拓扑 2,304 维 / 每层 128 选 8(中间维 1,152) 2,304 维 / 每层 128 选 8(Rank-64 门控) 4,608 维 / 每层 384 选 8
上下文与模态能力 1M Token / 图文多模态 + Tool Calling 1M Token / 支持任意浮点 reasoning_effort 1M Token / 需 500GB+ 多卡服务器
端侧与云端发布格式 NVFP4+MXFP8 / GGUF(IQ4_NL, Q8_0) / MLX Transformers / GGUF(IQ4_NL, Q8_0) NVFP4 / MXFP8(SGLang / vLLM)

三、Day-0 全栈开箱运行:Apple MLX 原生混合精度与 SGLang DSpark 三层投机解码

不同于许多论文模型“发权重不管部署”的通病,Inkling 2 Mini 在发布首日即打通了本地桌面到数据中心的全套工具链:个人用户在 macOS 菜单栏或 Windows 系统托盘安装 Llama App(基于 llama.cpp),一行命令 llama serve -hf ggml-org/Inkling-2-Mini-GGUF:IQ4_NL(或 :Q8_0)即可拉起 OpenAI 兼容本地接口直连 Cursor、Claude Code 或 Pi;而苹果 Mac 用户通过上游已合入多模态支持的 mlx-lm 运行,更能直接读取原厂 NVFP4 + MXFP8 混合精度 Checkpoint,零二次转换损耗保留作者原始精度表现。

面向生产级 GPU 部署,SGLang 已同步提供 SM103 架构 Day-0 支撑(搭配 fa4 注意力与 xgrammar 约束解码),并附带一枚极为精巧的 3 层 DSpark 投机解码草稿模型。该草稿网直接窃听主模型第 5、23、41 次逻辑层输入以及第 48 次终态归一化表征,仅以极低显存代价在单张 NVIDIA B300 上(1,024 输入 / 1,024 输出,并发 1、4、16、64)通过 --speculative-algorithm DSPARK 实现了显著的生成吞吐跃升。

Inkling 2 Mini 在单卡 NVIDIA B300 启用三层 DSpark 投机解码后不同并发下的生成吞吐提升曲线图

四、Vibe Tests 实景实战:24 轮自检活体《星夜》与手绘草图直出可持久化 Web 应用

在官方公布的真实盲测 Demo 中,Inkling 2 Mini 展现出远超常规 3B 激活模型的视觉编程与工具闭环定力。面对“零外部贴图纯 WebGL 片元着色器渲染日落云海飞越”的同一提示词,Inkling 2 Mini 生成的《Sunset Ridge》在体积光、水面反射与帧率自适应回落上稳稳比肩 Qwen 3.8 27B;而在“以梵高 1889 年《星夜》为参考图制作活体 WebGL2 动画”任务中,它配合 Pi 框架内置的截图脚本自我渲染、看图挑刺、迭代修改整整 24 轮,最终在 Apple M4 Max 上录出 1080p 60fps 的动态笔触星夜。

更贴近日常产品研发的是手绘线框图转全栈应用测试:研发人员拍下一张画满手写批注与红字标注的“Trip Split 旅行分账”餐巾纸草图交给它,要求仅用原生 HTML/CSS/JS 构建单文件应用。Inkling 2 Mini 精准识别了草图里的全部数字、示例账单与交互批注,首次尝试便通过 Playwright 模拟点击 13 项功能全检——现场录入一笔 90 美元晚餐后,总账准确从 405 美元动态重算为 495 美元并自动写入 localStorage。此外,即便压到 4-bit GGUF IQ4_NL,它也能一句话手搓带自绘 SVG 与匹配逻辑的 Plant Therapy SaaS 网页,甚至在 Pi 引导下用 Helium 与 Chromium 给自己写出一套浏览器控制 Agent。

Inkling 2 Mini 根据手绘餐巾纸草图结合 Pi 编码框架直出并经 Playwright 13 项检查通过的 Trip Split 分账 Web 应用界面

📝 站长洞察 (Editor’s Insight)

Inkling 2 Mini 的核心工程启示,在于用“计算深度换静态显存”击穿消费级硬件墙。稀疏 MoE 虽压低单步 FLOPs,但仍须把全量参数塞进内存;而把 24 个物理层中间半数循环三遍并配 Rank-64 跨轮门控,等于在不增一比特显存的前提下拉出 48 层推理链路。更难得的是 Day-0 把原生 NVFP4+MXFP8 接入 MLX、把 IQ4_NL 挂进 llama.cpp,并用 DSpark 兜底 B300 并发,为本地 Coding Agent 树立新范式。

🧭 文中关联 AI 工具官网与参数卡(语宙 AI 导航)
Gemma ↗
Gemma:Google AI学习平台,面向大语言模型场景提供便捷实用的在线功能支持,涵盖大模型等实用方向。
LLaMA ↗
Meta(Facebook)推出的AI大语言模型。
LLaMA ↗
在线AI大模型微调平台,零代码、可视化操作。
❓ 常见问题解答(FAQ)
Inkling 2 Mini适合本地部署吗?

适合。文章显示它将总物理参数压缩到约26B、单Token仅激活3B参数,并支持1M上下文与端侧多模态输入,目标就是让桌面和笔记本也能跑高阶推理与编程任务。

Inkling 2 Mini为什么能跑出48层深度?

核心是Looped Transformer循环权重复用:24个物理层中,中间12层会连续循环3轮,再加上前后各6层一次性通过,形成6+3×12+6=48次逻辑层访问,而无需额外存一倍权重。

它支持哪些推理和部署工具?

文章提到它原生支持llama.cpp、MLX和SGLang的DSpark投机解码;同时还提供可在1到3轮间切换的科研版模型,便于按算力与精度需求做不同部署。

🔬 语宙深潜追问 · 进阶实操拆解
三轮循环复用怎么影响推理成本?

循环复用把同一组层参数反复用于不同阶段,显著降低物理参数与显存占用,但会增加调度复杂度。实战里要重点看吞吐、首 token 延迟和长上下文稳定性,别只看参数量或榜单分数。

1M上下文落地最该先优化什么?

先优化 KV cache 管理与分块检索策略,再谈模型本身。1M 上下文真正的瓶颈通常是显存、带宽和注意力开销,工程上应结合滑窗、摘要记忆和投机解码,避免把长上下文直接硬塞进一次推理。

🗳️ 读者观点微投票 · 您的实战立场是?
26B端侧多模态该优先要深度还是速度?
🕸️ 语宙向量知识图谱 · 语义强关联深度内链
🔓 所属权威专题:开源大模型与端侧推理 →
  • 9B小参数逆袭27B巨兽!商汤重磅开源循环多模态大模型SenseNova Loop-9B:首创权重复用双流mHC架构、256K上下文与Agent长程推理全景实测
  • 以小胜大反超 50% 竞品!Liquid AI 开源旗舰端侧推理模型 LFM2.5-24B-A2B:激活仅 2.45B、M5 Max 解码飙至 184 tok/s 架构深度拆解
  • Inkling – Thinking Machines Lab 推出的多模态基础模型
  • 每秒2100 Token狂飙与思考模式膨胀9倍!Latent Space独家实测NaiveAI开源代码模型:小米MiMo底座、端到端时延压至3.1秒与三款3D应用生成深度拆解
🏛️ Prompt 语宙研究院 · Prompt 语宙研究院(paooo.com Research)专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示词工程(Prompt Engineering)与全球高增长 AI 生产力工具实测追踪,致力于为中文开发者与创作者提供一手、可复现的深度技术洞察。
📄 Markdown 纯净版
💡 这篇内容对您有启发吗?
📡 RSS 订阅✨ 提交 AI 工具 / 合作
🚀 Prompt 语宙 AI 创作者生态:探索 2,800+ 全球实用 AI 工具与高精度生图提示词咒语库
🧭 语宙 AI 导航 (ai.paooo.com)🎨 AI 生图 Prompt 库📚 核心专题导航⚡ AIGC 早报生成器
发现提示工程——提示工程就是为了从生成式 AI 中获取有用输出而设计有效提示词的过程 [译]
生成式 AI 的未来 [译]
LlamaIndex 数据摄入管道 [译]
Midjourney V6:提升提示词的结构和表达能力 [译]
为你的生活打造 AI 旁白的指南 [译]
TAGGED:Inkling 2 MiniMoEThinking Machines Lab投机解码端侧大模型
分享
Email 复制链接 打印
Share
Prompt 语宙研究院 头像
ByPrompt 语宙研究院
Follow:
Prompt 语宙研究院(paooo.com Research)专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示词工程(Prompt Engineering)与全球高增长 AI 生产力工具实测追踪,致力于为中文开发者与创作者提供一手、可复现的深度技术洞察。
上一篇 Hugging Face 开源 Harness Adapters:使用 AsyncGRPO 在真实编程智能体框架内训练超级 LoRA 适配器封面图 Token耗费腰斩、SWE-bench Pro暴涨25.5%!Hugging Face开源Harness Adapters:在Pi/OpenCode/Hermes内用AsyncGRPO训出可融合超级适配器
下一篇 Ahrefs 实测五大 AI 引擎 3.75 万条引用波动规律:改版前必查四项指标封面图 75%的AI引用消失都是虚惊一场!Ahrefs追踪3.75万条引用实测:改版前必查4项指标,别把随机回流当优化战果
Ad image
Ad image

最近更新

Latent Space 对话 Black Forest Labs 核心创始人 Andreas Blattmann 与 Dustin Podell:从 FLUX 到视觉智能与世界动作模型
视觉智能为什么不能只靠静态图片?对话Black Forest Labs创始人:FLUX 3音画联合训练、扩散与自回归之争及世界动作模型全拆解
强化 AI 学习
Google 官方详解网站迁移至 CDN 如何避免爬虫流量激增打崩源站与误封 Googlebot 导致搜索掉收录
刚切上CDN源站反被爬虫打崩?Google官方拆解迁移翻车悖论:冷缓存雪崩、验证码误杀与预热止血指南
AI 工具
GitHub 正式上线 Repository insights 页面,集中展示 Copilot 代码审查采纳率与评论分类统计结果
AI代码审查到底有没有被采纳?GitHub上线Repository insights与repos-1-day API:四维信号、力度趋势及统计陷阱全拆解
AI 工具
Forrester AI 颠覆评估模型 17 大技术与服务品类分布图:呈现受颠覆、中立、争夺与加速四类市场象限及细分赛道数量
80%技术市场面临AI重塑冲击!Forrester拆解200+细分赛道颠覆矩阵:四大象限与Top 20合同采购谈判实战
最新趋势

相关推荐

打造一款大型语言模型书籍封面 http://mng.bz/amjo
强化 AI 学习

2023 年十篇值得关注的 AI 研究论文 [译]

宝玉的分享
ChatGPT Llama OpenAI 大模型微调 开源大模型
人工智能与人类合作可开辟新的竞争优势 [译]
强化 AI 学习

人工智能与人类合作可开辟新的竞争优势 [译]

宝玉的分享
AI办公效率 ChatGPT OpenAI
为何糟糕的科研代码胜过严格遵循编程规范的代码 [译]
强化 AI 学习

为何糟糕的科研代码胜过严格遵循编程规范的代码 [译]

宝玉的分享
AI编程 大模型微调 开源大模型
图 1.1.1 展示了全球 AI 论文发表的总数。在这十二年间,AI 论文发表的总量近乎三倍增长,从 2010 年的大约 88,000 件增至 2022 年的超过 240,000 件。最近一年的增长率为 1.1%。
强化 AI 学习

Chapter 1: Research and Development | 2024 AI Index Report

宝玉的分享
AI智能体 RAG检索增强 大模型微调 开源大模型
/ Prompt 语宙 /

探索生成式 AI 的无限创作潜能,一站式获取前沿 AIGC 资讯、高阶 Prompt 咒语与全球实用 AI 工具。

核心专栏

  • 语宙 AI 工具导航
  • EVA 视觉抠图工坊Hot
  • 出海数字营销宝典
  • AI 生图咒语灵感库
  • 24H 硅谷 AI 情报流

生态与服务

  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作

标签

开源大模型 AI智能体 AI办公效率 AI绘画提示词 OpenAI 大模型微调 Midjourney AI编程 stable diffusion AI视频生成 ChatGPT 3D与空间智能 HuggingFace AI音频与语音 RAG检索增强 Claude Flux AIGC Gemini 通义千问 Anthropic Llama Cursor DeepSeek Prompt AI Agent Kimi 智谱AI 具身智能 YouTube
Prompt 语宙Prompt 语宙
Follow US
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.