# 小红书Hi Lab重磅开源dots.vlm1：12亿参数视觉编码器+DeepSeek V3，多模态大模型性能直逼闭源SOTA

- Link: https://paooo.com/aigc-news/14200/
- Published: 2026-06-24T18:42:22+08:00
- Author: Prompt 语宙研究院

⚡ [Prompt](https://paooo.com/ai-image-prompts/) 语宙 AI 导读 · 30 秒核心看点

 * 从零训练12亿参数NaViT，原生支持动态分辨率，强化视觉感知而非简单微调。
 * 融合[DeepSeek](https://paooo.com/?s=DeepSeek) V3与轻量MLP适配器，兼顾图像理解、
   数学代码推理与多轮图文问答。
 * 开源代码、模型与Demo齐备，适合图表分析、STEM解题、内容推荐等场景落地。

> **💡 站外导读：**在多模态AI竞赛白热化的今天，如何让模型同时精通视觉理解与复杂文本
> 推理，是行业面临的核心挑战。小红书Hi Lab此次开源dots.vlm1，正是为了破解这一难题。
> 该模型基于从零训练的12亿参数视觉编码器NaViT，并融合强大的DeepSeek V3语言模型，
> 不仅在视觉任务上逼近顶尖闭源模型，更在文本推理领域保持竞争力。这标志着开源多模
> 态模型正式进入“性能对标闭源”的新阶段，为开发者提供了极具性价比的利器。

## dots.vlm1是什么

dots.vlm1 是小红书 hi lab 开源的首个多模态[大模型](https://paooo.com/ai-study/)。
基于一个从零训练的 12 亿参数视觉编码器 NaViT 和 DeepSeek V3 大语言模型（LLM），具备
强大的视觉感知和文本推理能力。模型在视觉理解和推理任务上表现出色，接近闭源 SOTA 
模型水平，在文本任务上也保持了竞争力。dots.vlm1 的视觉编码器 NaViT 完全从零开始训练，
原生支持动态分辨率，在文本监督基础上增加了纯视觉监督，提升了感知能力。训练数据引入
了多种合成数据思路，覆盖多样的图片类型及其描述，显著提升了数据质量。

阅读目录

 * [dots.vlm1是什么](https://paooo.com/aigc-news/14200/#dotsvlm1%e6%98%af%e4%bb%80%e4%b9%88)
 * [dots.vlm1的主要功能](https://paooo.com/aigc-news/14200/#dotsvlm1%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd)
 * [dots.vlm1的技术原理](https://paooo.com/aigc-news/14200/#dotsvlm1%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86)
 * [dots.vlm1的项目地址](https://paooo.com/aigc-news/14200/#dotsvlm1%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80)
 * [dots.vlm1的应用场景](https://paooo.com/aigc-news/14200/#dotsvlm1%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af)
       * [📝 站长洞察 (Editor’s Insight)](https://paooo.com/aigc-news/14200/#%f0%9f%93%9d-%e7%ab%99%e9%95%bf%e6%b4%9e%e5%af%9f-editor8217s-insight)

![dots.vlm1](https://paooo.com/wp-content/uploads/2026/05/dots.vlm1-website-1.avif)

## dots.vlm1的主要功能

 * **强大的视觉理解能力**：能准确识别和理解图像中的内容，包括复杂图表、表格、文档、
   图形等，支持动态分辨率，适用于多种视觉任务。
 * **高效的文本生成与推理**：基于 DeepSeek V3 LLM，能生成高质量的文本描述，在数学、
   代码等文本推理任务中表现出色。
 * **多模态数据处理**：支持图文交错的数据处理，能结合视觉和文本信息进行综合推理，
   适用于多模态应用场景。
 * **灵活的适配与扩展**：通过轻量级 MLP 适配器连接视觉编码器和语言模型，方便在不同
   任务中进行灵活适配和扩展。
 * **开源与开放性**：提供完整的开源代码和模型，支持开发者进行研究和应用开发，推动
   多模态技术的发展。

## dots.vlm1的技术原理

 * **NaViT 视觉编码器**：dots.vlm1 使用了一个从零开始训练的 12 亿参数视觉编码器 
   NaViT，非基于现有成熟模型微调。原生支持动态分辨率，能处理不同分辨率的图像输入，
   在文本监督的基础上增加了纯视觉监督，提升了模型对图像的感知能力。
 * **多模态数据训练**：模型采用了多样化的多模态训练数据，包括普通图像、复杂图表、
   表格、文档、图形等，以及对应的文本描述（如 Alt Text、Dense Caption、Grounding
   等）。引入了合成数据思路和网页、PDF 等图文交错数据，通过重写和清洗提升数据质量，
   增强模型的多模态理解能力。
 * **视觉与语言模型融合**：dots.vlm1 将视觉编码器与 DeepSeek V3 大语言模型（LLM）
   相结合，通过轻量级 MLP 适配器进行连接，实现视觉信息与语言信息的有效融合，支持
   多模态任务的处理。
 * **三阶段训练流程**：模型的训练分为三个阶段：视觉编码器预训练、VLM 预训练和 VLM
   后训练。通过逐步提升图像分辨率和引入多样化的训练数据，增强模型的泛化能力和多模
   态任务处理能力。

## dots.vlm1的项目地址

 * **GitHub仓库**：https://github.com/rednote-hilab/dots.vlm1
 * **Hugging Face模型库**：https://huggingface.co/rednote-hilab/dots.vlm1.inst
 * **在线体验Demo**：https://huggingface.co/spaces/rednote-hilab/dots-vlm1-demo

## dots.vlm1的应用场景

 * **复杂图表推理**：能对复杂的图表进行分析和推理，帮助用户更好地理解和解读图表中的
   信息。
 * **STEM 解题**：在科学、技术、工程和数学（STEM）领域，模型可以辅助解决相关问题，
   提供解题思路。
 * **长尾识别**：对于一些出现频率较低的类别或对象，dots.vlm1 也具备较好的识别能力。
 * **视觉推理**：能处理涉及视觉信息的推理任务，如障碍物识别、商品比较分析等。
 * **图文问答与互动**：支持图文结合的问答任务，能进行多轮对话，根据上下文给出连贯
   的回答。
 * **内容推荐**：基于多模态数据，为用户提供个性化的内容推荐，如在小红书平台上推荐
   相关的图文或视频。

#### 📝 站长洞察 (Editor’s Insight)

dots.vlm1的发布，其意义远超一个新模型的开源。它揭示了一个关键趋势：中国科技企业正
从“应用创新”转向“基础模型创新”，且开始有能力在开源生态中挑战闭源巨头。小红书作为
内容平台，其Hi Lab选择训练一个“原生”而非“微调”的视觉编码器，体现了对多模态本质的
深刻理解——视觉感知能力必须从数据根源构建，而非简单嫁接。结合DeepSeek V3这一近期表现
惊艳的LLM，dots.vlm1完成了视觉与语言两大模态的顶级能力拼图。这不仅是对学术界的贡献，
更是为产业界，特别是内容、电商、教育等领域的AI应用，提供了一个强大、开放且可定制
的技术基座。它预示着，未来的核心竞争力将在于如何基于此类开源多模态基座，构建垂直
场景的深度解决方案，推动[AIGC](https://paooo.com/aigc-news/)从“能用”走向“好用”和“
专用”。

🧭 文中关联 AI 工具官网与参数卡（语宙 AI 导航）

**DeepSeek ↗**

DeepSeek 是由幻方量化公司推出的 AI 智能助手和开源大模型平台。其核心功能包括提供世界
级推理能力的 A

**小红书 ↗**

小红书（Xiaohongshu）是中国领先的生活方式分享社区和社交电商平台。其核心功能围绕用户
生成内容（UGC）

**HuggingFace ↗**

HuggingFace：AI模型开发社区，面向大语言模型场景提供便捷实用的在线功能支持，涵盖大
模型等实用方向。

❓ 常见问题解答（FAQ）

dots.vlm1是什么模型？

dots.vlm1 是小红书 Hi Lab 开源的首个多模态大模型，核心由从零训练的 12 亿参数 NaViT
视觉编码器和 DeepSeek V3 语言模型组成，主打视觉理解与文本推理协同能力。

dots.vlm1和普通多模态模型有什么区别？

它的关键差异在于视觉编码器不是在现成模型上微调，而是从零训练，并加入纯视觉监督与
动态分辨率支持，因此在图表、表格、文档等复杂视觉任务上更强。

dots.vlm1适合哪些应用场景？

适合复杂图表推理、STEM 解题、长尾识别、视觉问答、多轮图文互动以及内容推荐等场景，
尤其适合需要同时处理图像理解和文本推理的产品。

🔬 语宙深潜追问 · 进阶实操拆解

文档和图表理解怎么评估更靠谱？

不要只看单一榜单，要拆成 OCR、结构恢复、图表推理和跨页一致性四层测试。最好加入真实
业务样本，比如财报、合同和报表截图，才能看出模型是否真的能用。

NaViT 视觉编码器适合哪些场景？

特别适合分辨率变化大、版面复杂、图文混排多的任务，比如文档、票据和长图。若你的场景
以固定尺寸自然图为主，收益可能没那么明显，先做成本收益评估更稳。

🗳️ 读者观点微投票 · 您的实战立场是？

dots.vlm1 这类开源多模态，能冲击闭源SOTA吗？

🕸️ 语宙向量知识图谱 · 语义强关联深度内链

[🐋 所属权威专题：DeepSeek 深度实战与部署 →](https://paooo.com/topics/deepseek/)

 * [InternVL – OpenGVLab 推出的多模态大模型](https://paooo.com/aigc-news/20918/)
 * [LLaVA-OneVision-1.5重磅发布：低成本高性能多模态模型，全栈开源助力AI应用爆发](https://paooo.com/aigc-news/13489/)
 * [小红书hi lab重磅开源dots.llm1：1420亿参数MoE大模型，性能对标Qwen2.5-72B](https://paooo.com/aigc-news/14968/)
 * [VLM-R1 – 浙大 Om AI Lab 推出的视觉语言模型](https://paooo.com/aigc-news/21574/)

[🏛️ Prompt 语宙研究院](https://paooo.com/author/paooo-research/) · Prompt 语宙研究院（
paooo.com Research）专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示
词工程（Prompt Engineering）与全球高增长 AI 生产力工具实测追踪，致力于为中文开发
者与创作者提供一手、可复现的深度技术洞察。

[📄 Markdown 纯净版](https://paooo.com/aigc-news/14200/?format=md)

💡 这篇内容对您有启发吗？

[📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/)

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)