Prompt 语宙Prompt 语宙
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
阅读: 9B小参数逆袭27B巨兽!商汤重磅开源循环多模态大模型SenseNova Loop-9B:首创权重复用双流mHC架构、256K上下文与Agent长程推理全景实测
Share
通知 阅读更多
Font Resizer字体
Font Resizer字体
Prompt 语宙Prompt 语宙
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
已有帐户? 登陆
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
商汤开源 SenseNova Loop-9B-Preview 循环多模态模型官方架构与性能基准全景图
Prompt 语宙 > 最新趋势 > 9B小参数逆袭27B巨兽!商汤重磅开源循环多模态大模型SenseNova Loop-9B:首创权重复用双流mHC架构、256K上下文与Agent长程推理全景实测
最新趋势

9B小参数逆袭27B巨兽!商汤重磅开源循环多模态大模型SenseNova Loop-9B:首创权重复用双流mHC架构、256K上下文与Agent长程推理全景实测

Prompt 语宙研究院
最近更新: 2026年11月1日 下午12:05
Looped Transformer mHC超连接 SenseNova Loop 商汤科技 多模态大模型
SHARE
🎯 2分钟看懂商汤SenseNova Loop-9B如何用9B参数和循环架构模拟56层推理,解决长文档分析、256K上下文与长程Agent任务的部署难题。
⚡ Prompt 语宙 AI 导读 · 30 秒核心看点
  • 9B 轻量参数通过 Looped Transformer 循环复用,模拟出 56 层等效深度推理能力。
  • 双流 mHC 约束超连接显著增强跨循环信息交互,消融中带来 GPQA Diamond 与 TeamBench 提升。
  • 原生 256K 上下文、MTP 投机加速与 enable_thinking 切换,面向长文档和长程 Agent 更实用。

💡 站外导读:在大模型算力竞赛步入“千卡万卡”成本死结的当下,端侧与企业私有化部署陷入了严重的两难:小模型参数量受限、有效推理深度不足,面对复杂长程 Agent 任务频频断层;而动辄 27B-70B 的大模型显存开销居高不下。商汤科技最新重磅开源的 SenseNova Loop-9B-Preview,给业界带来了一条极具启发性的技术破局路径——基于“Looped Transformer”参数循环架构与创新性的双流 mHC 约束超连接,仅以 9B 实体参数与 32 层权重,硬生生模拟出 56 层的深层网络推理能力,在长文档分析与复杂 Agent 工作流中反超 27B 稠密模型,彻底重塑了小参数模型的能效上限。

商汤开源 SenseNova Loop-9B-Preview 循环多模态模型官方架构与性能基准全景图

阅读目录
  • 一、破除大模型参数崇拜:为什么“时间换深度”是端侧突围的胜负手?
  • 二、架构底座硬核拆解:Looped Transformer 与双流 mHC 约束超连接
  • 三、长上下文与复杂推理:256K 原生窗口与 MTP 投机加速工程
  • 四、极限性能对决:SenseNova Loop-9B 与主流开源模型全维基准对比
  • 五、部署与调优实战:从 Transformers 到 SGLang 生产级集群推理落地
      • 📝 站长洞察 (Editor’s Insight)

一、破除大模型参数崇拜:为什么“时间换深度”是端侧突围的胜负手?

在传统的 Transformer 架构中,模型的表达能力与参数量(特别是网络层数 Depth 与隐藏维度 Width)呈现强绑定的线性增长关系。想要获得能够拆解复杂逻辑的强泛化能力,通常必须堆叠 60 到 80 层以上的稠密参数层,这导致显存占用直接飙升至数十甚至上百 GB,使得普通消费级显卡(如 RTX 4090)或边缘工作站根本无法低成本承载。

然而,认知科学与前沿系统架构研究表明:人类大脑在处理困难任务时,并不是调用“更大的脑容量”,而是在同一个神经回路中进行反复思考、多轮反思与递归推演。商汤团队正是受到这一机理的启发,推出了 Looped Transformer 范式——用时间(循环计算步数)换取有效深度,在显存体积保持 9B 轻量级的前提下,让中间层权重经历多次前向迭代,大幅拓展有效推理计算图。

二、架构底座硬核拆解:Looped Transformer 与双流 mHC 约束超连接

SenseNova Loop-9B-Preview 之所以能够克服传统循环神经网络(RNN/递归网络)训练梯度爆炸、表征退化的致命顽疾,关键在于其经过严密工程推演的三大底座设计:

  • 首尾锚定 + 中间循环分块(Sandwich Looped Architecture):模型保留了输入端前 4 层和输出端后 4 层的独立原始解码器(Decoder Blocks),用于高质量承载多模态特征的投影对齐与最终 Token 的语义反投影。而中间的核心 24 层则被封装为一个“可循环参数共享块”,在单次推理中该模块被连续执行 2 次,以 32 层的静态物理权重承载了高达 56 层的等效网络深度!
  • 双流 mHC 特征交互机制(Manifold-Constrained Hyper-Connections):循环复用权重最容易面临的挑战就是信息在多次循环中失去多样性或发散。商汤为此创新引入了 mHC 机制,通过多路残差双流结构配合“双随机(Doubly Stochastic)”受约束混合矩阵,不仅极大增强了跨循环层间的特征交叉,更对信息流形(Manifold)施加严格的谱范数边界约束,确保信号在数十轮递归传递中依旧保持绝对稳定。消融实验证实,仅 mHC 一项就使 GPQA Diamond 评测提升了 4.42 分,TeamBench 飙升 13.34 分。
  • 混合注意力(Hybrid Attention)调度:在 4 层一组的子模块中,采用 3 层线性注意力(Linear Attention)搭配 1 层全注意力(Full Attention GQA)的精妙编排,将单次循环的 KV 计算复杂度压制在极低水准。

三、长上下文与复杂推理:256K 原生窗口与 MTP 投机加速工程

作为面向实际生产环境的工业级模型,SenseNova Loop-9B-Preview 在系统吞吐与长文本工程上做足了功课:

  1. 256K 超长多模态上下文(262,144 Tokens):预训练与后训练全链路打通了 256K 超长窗口,不仅能够轻松吃下数百页的投行财报、多语种技术合同与几十张高分辨率工程图纸,且在“大海捞针”(Needle In A Haystack)压力测试中实现了 100% 检索准确率。
  2. 内置 MTP(Multi-Token Prediction)多 Token 投机加速:原生整合了推测预测分支,在单次前向传播中可同时推测并验证多个后续 Token,配合循环轻量特征,端到端吞吐速度提升 40% 以上。
  3. 双模式动态切换(enable_thinking):支持开启/关闭深度思考链。在日常对话与代码补全场景中可关闭思考维持极速响应;在金融量化、数学推导与长程 Agent 场景中开启 enable_thinking=True,自适应激发深度多步反思。

四、极限性能对决:SenseNova Loop-9B 与主流开源模型全维基准对比

对比维度 SenseNova Loop-9B-Preview Qwen3.5-27B (稠密版) Qwen3-8B (基准小模型)
物理参数量 / 显存占用 ~9B 参数(仅需单张 24G 显卡) 27B 参数(通常需 2×3090 或 4x24G 集群) 8.2B 参数(单卡 16G 可跑)
等效计算层数 56 层(32 层物理权重循环 2 次) 64 层(物理稠密堆叠) 36 层(传统稠密 Decoder)
上下文原生支持 262,144 Tokens (256K) 128,000 Tokens (128K) 32,768 Tokens (32K)
多模态图文理解 原生支持(文本 + 高清图像多图混合) 纯文本(多模态需挂载 VL 分支) 纯文本
Agent 长程任务得分 AutomationBench 超越同级 18.5% 基准高分但推理显存瓶颈明显 多步工具调用后遗忘严重
开源协议与生态 GitHub & HF 全权开源,提供完整推理脚本 开源生态成熟,支持所有主流推理引擎 社区基建极为完善

五、部署与调优实战:从 Transformers 到 SGLang 生产级集群推理落地

目前商汤已在 GitHub 仓库(OpenSenseNova/SenseNova-Loop)与 Hugging Face 同步公开了全量 FP16 与 BF16 权重。SRE 团队在将其推向生产集群时,建议遵循以下工程步骤:

# 1. 基础环境安装(推荐 PyTorch 2.4+ 与 CUDA 12.4)
pip install "transformers==5.18.0" accelerate safetensors sentencepiece

# 2. Python 快速加载与推理示例
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

model_id = "sensenova/SenseNova-Loop-9B-Preview"
tokenizer = AutoTokenizer.from_pretrained(model_id, trust_remote_code=True)
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    torch_dtype=torch.bfloat16,
    device_map="auto",
    trust_remote_code=True
).eval()

# 3. 构造带思维链的对话消息
messages = [
    {"role": "user", "content": "请分析当前全球半导体供应链重构对边缘端大模型推理算力带来的影响,并给出架构优化建议。"}
]
inputs = tokenizer.apply_chat_template(messages, tokenize=True, return_tensors="pt", enable_thinking=True).to("cuda")
outputs = model.generate(**inputs, max_new_tokens=2048, use_cache=True)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

对于高并发在线服务,推荐直接采用官方定制优化的 SGLang 或 LightLLM 分支,利用其内核级优化的循环 KV 缓存管理,能够在单卡 RTX 4090 上稳稳承载并发 15+ 会话的 256K 超长链路请求。

📝 站长洞察 (Editor’s Insight)

商汤 SenseNova Loop-9B-Preview 的开源,给处于“算力焦虑”中的大模型落地实践注入了一剂强心针。长期以来,业界普遍被 Scaling Law 的惯性牵引,陷入了“模型越堆越大、推理成本直线上升、商业化 ROI 难以打正”的死循环。Looped Transformer 的本质,是对 Transformer 内部信息流通路径的一次结构性“反思”——如果一组精心训练的注意力与前馈权重,能够在双流超连接的约束下被安全、稳定地复用多次,那么我们完全可以用消费级硬件实现原本需要企业级数据中心才能支撑的深层推理。这种“在架构上偷算力、在流形上控稳定性”的优雅解法,无疑代表了未来 2-3 年内端侧大模型与个人 Agent 硬件设备演进的核心技术风向标。

❓ 常见问题解答(FAQ)
SenseNova Loop-9B 为什么能比27B模型更省显存?

它采用 Looped Transformer 参数循环架构,把中间层权重复用并循环执行,用更少的物理参数模拟更深的等效网络深度,因此在保持 9B 级别体量时,显存占用更低,适合单卡或轻量部署。

双流 mHC 机制对模型推理有什么帮助?

mHC 通过双流残差交互和受约束混合矩阵增强循环层间的信息传递,减少重复计算带来的退化与发散问题。文中给出的消融结果显示,它对 GPQA Diamond 和 TeamBench 指标有明显提升。

SenseNova Loop-9B 适合哪些实际场景?

它更适合长文档分析、复杂 Agent 工作流、代码补全、金融量化和数学推导等需要长程推理的任务;同时支持 256K 超长上下文与深度思考开关,兼顾高吞吐与复杂推理。

🔬 语宙深潜追问 · 进阶实操拆解
256K长上下文怎么真正用起来?

要把长上下文用于检索、归纳、跨文档推理和长链路 Agent 任务,而不是只做长度展示。否则上下文再长,也只是更贵的“记忆仓库”。

循环多模态架构的落点在哪?

落点在减少冗余计算、提升跨模态对齐效率和支持深度思考切换。对开发者来说,重点是评估它在真实任务中的稳定性,而不是只看单项榜单分数。

🗳️ 读者观点微投票 · 您的实战立场是?
9B模型反超27B,真靠架构就够了吗?
🕸️ 语宙向量知识图谱 · 语义强关联深度内链
  • NVIDIA Nemotron Nano 2:9B参数推理提速6倍,开源高效AI模型新标杆
  • 商汤SenseNova-MARS开源:首个多模态自主推理模型,性能超越GPT-5.2与Gemini-3-Pro
  • 以小胜大反超 50% 竞品!Liquid AI 开源旗舰端侧推理模型 LFM2.5-24B-A2B:激活仅 2.45B、M5 Max 解码飙至 184 tok/s 架构深度拆解
  • 千Token/秒极速狂飙且反超GPT-6!Inception Labs重磅发布扩散大模型Mercury3:百万长文本、并行生成范式与Agent极速执行深度拆解
🌐 English Executive Summary — SenseNova Loop-9B: 9B Recurrent Multimodal Model Outperforms 27B via Dual-Stream mHC

SenseTime has open-sourced SenseNova Loop-9B-Preview, a 9B recurrent multimodal model that uses weight reuse with a first-of-its-kind dual-stream mHC architecture to achieve 56-layer equivalent reasoning. It supports native 256K context, includes MTP speculative acceleration, and offers an enable_thinking switch for long-horizon agent workflows. In real-world evaluations on long documents and complex agent tasks, it reaches or surpasses several 27B dense-model metrics, with ablations improving GPQA Diamond and TeamBench.

  • Dual-stream mHC with looped weight reuse enables 56-layer equivalent reasoning from a 9B parameter budget.
  • Native 256K context plus MTP acceleration and enable_thinking make it practical for long-document and long-horizon agents.
  • Empirical results show competitive or superior performance versus 27B dense models, with ablations boosting GPQA Diamond and TeamBench.
🏛️ Prompt 语宙研究院 · Prompt 语宙研究院(paooo.com Research)专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示词工程(Prompt Engineering)与全球高增长 AI 生产力工具实测追踪,致力于为中文开发者与创作者提供一手、可复现的深度技术洞察。
📄 Markdown 纯净版
💡 这篇内容对您有启发吗?
📡 RSS 订阅✨ 提交 AI 工具 / 合作
🚀 Prompt 语宙 AI 创作者生态:探索 2,800+ 全球实用 AI 工具与高精度生图提示词咒语库
🧭 语宙 AI 导航 (ai.paooo.com)🎨 AI 生图 Prompt 库📚 核心专题导航⚡ AIGC 早报生成器
大模型概念股港股狂飙!智谱单日暴涨超17%,MINIMAX跟涨,AI商业化拐点真的来了?
告别Vibe Coding虚火!Optimizely解密企业级营销智能体落地法则:从“输出审核”走向“输入约束”、专用Harness架构与800落地页规模化实战
Claudable:开源Next.js Web应用构建器,用自然语言快速生成生产级代码,一键部署
商汤「日日新V6.5」多模态推理大模型发布:推理成本暴降70%,性能超Gemini 2.5 Pro
告别单机炫技走向千万级规模壁垒!宇树科技王兴兴亮出具身量产三大军规:量产护城河、端侧物理小模型与世界物理AI大赛万卡算力全景深度拆解
TAGGED:Looped TransformermHC超连接SenseNova Loop商汤科技多模态大模型
分享
Email 复制链接 打印
Share
Prompt 语宙研究院 头像
ByPrompt 语宙研究院
Follow:
Prompt 语宙研究院(paooo.com Research)专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示词工程(Prompt Engineering)与全球高增长 AI 生产力工具实测追踪,致力于为中文开发者与创作者提供一手、可复现的深度技术洞察。
上一篇 Canva Brush 官方视觉语言设计编辑模型架构与跨页编辑实操界面 告别逐页手动微调与生成式死板图层!Canva重磅发布设计编辑模型Brush:首创智能体代码自检循环、提速69%且全元素二次可编辑深度实测拆解
下一篇 微软推出专为结构化决策与 Agent 编排设计的 Microsoft-Decision-1 架构全景图 速度狂飙35倍且输出完全免费!微软重磅发布新一代AI决策模型Microsoft-Decision-1:36项基准登顶第一、毫秒级概率评分与Agent路由编排全景拆解
Ad image
Ad image

最近更新

Latent Space 对话 Black Forest Labs 核心创始人 Andreas Blattmann 与 Dustin Podell:从 FLUX 到视觉智能与世界动作模型
视觉智能为什么不能只靠静态图片?对话Black Forest Labs创始人:FLUX 3音画联合训练、扩散与自回归之争及世界动作模型全拆解
强化 AI 学习
Google 官方详解网站迁移至 CDN 如何避免爬虫流量激增打崩源站与误封 Googlebot 导致搜索掉收录
刚切上CDN源站反被爬虫打崩?Google官方拆解迁移翻车悖论:冷缓存雪崩、验证码误杀与预热止血指南
AI 工具
GitHub 正式上线 Repository insights 页面,集中展示 Copilot 代码审查采纳率与评论分类统计结果
AI代码审查到底有没有被采纳?GitHub上线Repository insights与repos-1-day API:四维信号、力度趋势及统计陷阱全拆解
AI 工具
Forrester AI 颠覆评估模型 17 大技术与服务品类分布图:呈现受颠覆、中立、争夺与加速四类市场象限及细分赛道数量
80%技术市场面临AI重塑冲击!Forrester拆解200+细分赛道颠覆矩阵:四大象限与Top 20合同采购谈判实战
最新趋势

相关推荐

闪电收购Conductor!Meta加码多智能体并行编程赛道:自研Muse破千万后、联手Nat Friedman与超级智能实验室抢夺开发者生态终局深度拆解
AIGC 资讯最新趋势

闪电收购Conductor!Meta加码多智能体并行编程赛道:自研Muse破千万后、联手Nat Friedman与超级智能实验室抢夺开发者生态终局深度拆解

Prompt 语宙研究院
AI编码 Alexander Wang Conductor meta 智能体编程
日均狂飙500万亿次却算不清账!腾讯中信《Token经济》论坛全景复盘:单价腰斩与账单暴涨悖论、缓存工程革新与一人公司组织重塑
最新趋势

日均狂飙500万亿次却算不清账!腾讯中信《Token经济》论坛全景复盘:单价腰斩与账单暴涨悖论、缓存工程革新与一人公司组织重塑

Prompt 语宙研究院
Prompt缓存 Token经济 一人公司 商业化大模型 腾讯研究院
NaiveAI 开源 Naive-N0.5-Flash 309B MoE 大模型架构与推理加速全景基准图
最新趋势

首创全网无全注意力层与单流狂飙2122Token!NaiveAI重磅开源309B MoE大模型Naive-N0.5-Flash:SWA+DSA混合稀疏、原生1M上下文与AI研发AI全景实测深度拆解

Prompt 语宙研究院
AI研发AI MoE架构 Naive-N0.5-Flash NaiveRT 稀疏注意力
三菱日联金融携手OpenAI:3.5万员工全面部署ChatGPT Enterprise,开启AI原生银行新时代
AI 工具AIGC 资讯最新趋势

三菱日联金融携手OpenAI:3.5万员工全面部署ChatGPT Enterprise,开启AI原生银行新时代

Prompt 语宙研究院
AI原生 ChatGPT Enterprise OpenAI 三菱日联金融集团 数字银行
/ Prompt 语宙 /

探索生成式 AI 的无限创作潜能,一站式获取前沿 AIGC 资讯、高阶 Prompt 咒语与全球实用 AI 工具。

核心专栏

  • 语宙 AI 工具导航
  • EVA 视觉抠图工坊Hot
  • 出海数字营销宝典
  • AI 生图咒语灵感库
  • 24H 硅谷 AI 情报流

生态与服务

  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作

标签

开源大模型 AI智能体 AI办公效率 AI绘画提示词 OpenAI 大模型微调 Midjourney AI编程 stable diffusion AI视频生成 ChatGPT 3D与空间智能 HuggingFace AI音频与语音 RAG检索增强 Claude Flux AIGC Gemini 通义千问 Anthropic Llama Cursor DeepSeek Prompt AI Agent Kimi 智谱AI 具身智能 YouTube
Prompt 语宙Prompt 语宙
Follow US
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.