商汤科技正式发布并全面开源”日日新SenseNova-Vision”理解生成统一视觉大模型,这是商汤日日新大模型体系的重要视觉能力升级。商汤表示,行业以往的”统一视觉”多是把检测、分割、深度预测等多个专家模型打包封装,本质仍是割裂的,而SenseNova-Vision的核心变革是让视觉成为通用基础模型的原生能力,彻底融入大模型体系。

单模型碾压四大领域
在多项评测中,SenseNova-Vision以”单模型”在四大核心视觉领域大范围领跑,比肩甚至超越各领域专用专家模型。在结构化视觉理解方面,目标检测、指代检测、OCR、关键点定位等任务全面领先同类通用模型,稠密小目标检测和长尾类别识别等复杂场景表现尤为突出。在稠密几何预测方面,深度估计和表面法向估计精度达到几何专用模型水准,室内外多场景均保持极高稳定性。

分割能力涵盖通用分割、推理分割、交互式分割等,得益于强大的多模态理解力,在推理分割与对话式分割表现上尤为惊艳。仅凭单模型即可高质量完成多视角点云重建与相机位姿估计,性能在通用视觉路线中处于领先位置。
全面超越Vision Banana,数据同步开源
横向对比来看,对比语义导向模型,SenseNova-Vision在检测、分割、深度等细节要求极高的视觉任务上实现全面领先。对比生成导向模型Vision Banana,则展现出全面的代际优势——在各项权威评测的绝大多数指标上均实现超越与领跑。Vision Banana仅能应对四大核心板块中的两类问题,而SenseNova-Vision却能同时覆盖结构化理解、稠密几何、全景分割、多视角3D等全任务。
在开源方面,商汤不仅开放了模型本身,还同步开源了包含 5000 万条样本的视觉指令语料库SenseNova-Vision Corpus-50M。未来,商汤将把SenseNova-Vision的核心技术全面融入日日新U系列大模型中。
SenseNova-Vision主要解决什么视觉任务?
它面向统一视觉理解与生成,覆盖结构化视觉理解、稠密几何预测、分割以及多视角3D等核心任务,可用于目标检测、OCR、深度估计、表面法向估计、推理分割和点云重建等场景。
SenseNova-Vision和传统统一视觉模型有什么区别?
传统“统一视觉”多是把多个专家模型封装在一起,本质仍是割裂的;SenseNova-Vision则把视觉能力作为通用基础模型的原生能力,直接融入大模型体系,强调单模型统一处理多类任务。
商汤这次开源了哪些内容?
商汤不仅开源了SenseNova-Vision模型本身,还同步开源了包含5000万条样本的视觉指令语料库SenseNova-Vision Corpus-50M,便于后续研究、复现和二次开发。
单模型覆盖四任务,训练顺序怎么排?
通常先做大规模通用视觉预训练,再按检测、分割、深度、3D的顺序逐步加入任务头和损失;先学结构化理解,再补稠密几何,能减少任务互相干扰。
统一视觉模型落地最怕什么问题?
最怕跨任务性能不均和推理成本过高。落地时要按业务优先级做蒸馏、裁剪和分辨率分级,并为高精度任务保留专家分支或二阶段校正。
