# 小红书hi lab重磅开源dots.llm1：1420亿参数MoE大模型，性能对标Qwen2.5-72B

- Link: https://paooo.com/aigc-news/14968/
- Published: 2026-06-29T05:42:22+08:00
- Author: Prompt 语宙研究院

⚡ [Prompt](https://paooo.com/ai-image-prompts/) 语宙 AI 导读 · 30 秒核心看点

 * 1420亿参数MoE架构，单次仅激活140亿参数，兼顾规模与推理效率。
 * 基于11.2T高质量token预训练，并采用Interleaved 1F1B与Grouped GEMM提升训练效率。
 * 开源预训练checkpoint与Instruct模型，实测在通用、数学、代码任务上对标Qwen2.5-72B。

> **💡 站外导读：**在开源大模型竞争白热化的当下，如何用更高效的架构和更优质的数据，
> 在可控成本内训练出性能顶尖的模型，是业界共同面对的痛点。小红书hi lab此次开源dots.
> llm1，正是一次面向这一挑战的有力回应。该模型基于Mixture of Experts（MoE）架构，
> 在拥有巨量参数的同时，通过专家激活机制大幅降低实际计算开销，并在11.2T高质量token
> 上完成预训练，展现了在通用与专业任务上与顶级密集模型一较高下的实力。

## dots.llm1是什么

dots.llm1 是小红书 hi lab 开源的中等规模 Mixture of Experts（MoE）文本[大模型](https://paooo.com/ai-study/)，
具有 1420 亿参数，激活参数为 140 亿。模型在 11.2T 高质量 token 数据上进行预训练，
用高效的 Interleaved 1F1B 流水并行和 Grouped GEMM 优化技术，训练效率显著提升。基于
精心设计的数据处理流程和两阶段监督微调，dots.llm1 在中英文通用场景、数学、代码等
任务上表现出色，与 Qwen2.5-72B 等模型相比具有较强的竞争力。hi lab 团队开源了 Pretrain
阶段每 1T token 的 checkpoint 和 Instruct 模型，为大模型社区提供丰富的研究基础，
助力推动大模型技术的发展。

阅读目录

 * [dots.llm1是什么](https://paooo.com/aigc-news/14968/#dotsllm1%e6%98%af%e4%bb%80%e4%b9%88)
 * [dots.llm1的主要功能](https://paooo.com/aigc-news/14968/#dotsllm1%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd)
 * [dots.llm1的技术原理](https://paooo.com/aigc-news/14968/#dotsllm1%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86)
 * [dots.llm1的项目地址](https://paooo.com/aigc-news/14968/#dotsllm1%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80)
 * [dots.llm1的应用场景](https://paooo.com/aigc-news/14968/#dotsllm1%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af)
       * [📝 站长洞察 (Editor’s Insight)](https://paooo.com/aigc-news/14968/#%f0%9f%93%9d-%e7%ab%99%e9%95%bf%e6%b4%9e%e5%af%9f-editor8217s-insight)

![dots.llm1](https://paooo.com/wp-content/uploads/2026/05/dots.llm1-website-1.avif)

## dots.llm1的主要功能

 * **多语言文本生成**：支持生成高质量的中英文文本，适用多种场景，如写作辅助、内容
   创作等。
 * **复杂指令遵循**：理解和执行复杂的指令，完成特定任务，如数据整理、代码生成等。
 * **知识问答**：提供准确的知识问答服务，帮助用户获取所需信息。
 * **数学与代码推理**：具备数学计算和代码推理能力，解决数学问题和编写简单代码。
 * **多轮对话**：支持多轮对话，与用户进行自然流畅的交流，理解上下文并给出恰当回应。

## dots.llm1的技术原理

 * **Mixture of Experts (MoE) 架构**：dots.llm1 是基于 Decoder-only Transformer 
   的 MoE 模型，用 6in128 Expert 配置，即每个 token 最多激活 6 个专家，共有 128 
   个专家。在 1420 亿参数中，每次前向传播只激活 140 亿参数，基于门控机制选择最相关
   的专家进行计算，提高计算效率。
 * **高效的数据处理和训练框架**：用 11.2T 高质量 token 数据进行预训练，数据来源包括
   Common Crawl 和自有 Spider 抓取的 web 数据，经过多轮清洗和过滤，确保数据质量。
   基于 Interleaved 1F1B 流水并行的 AlltoAll overlap 和高效 Grouped GEMM 实现，显著
   提升训练效率。
 * **两阶段监督微调**：对全量数据进行两轮基础训练，基于采样、动态学习率调整等技术，
   初步释放模型潜力。针对数学与代码等特定领域，引入拒绝采样微调，结合验证器筛选高
   置信度重要样本，进一步提升模型的推理性能。
 * **学习率调度与超参数优化**：基于 WSD 学习率调度方式，在学习率稳定阶段保持 3e-
   4 训练 10T token 语料，退火阶段分两个阶段训练 1.2T token 语料，逐步降低学习率。
   在训练过程中，调整 batch size 等超参数，确保训练过程稳定，避免出现 loss spike。

## dots.llm1的项目地址

 * **GitHub仓库**：[https://github.com/rednote-hilab/dots.llm1](https://github.com/rednote-hilab/dots.llm1)
 * **HuggingFace模型库**：[https://huggingface.co/rednote-hilab](https://huggingface.co/rednote-hilab)
 * **arXiv技术论文**：[https://github.com/rednote-hilab/dots.llm1/blob/main/dots1_tech_report.pdf](https://github.com/rednote-hilab/dots.llm1/blob/main/dots1_tech_report.pdf)

## dots.llm1的应用场景

 * **内容创作**：辅助写作文案、故事、新闻等，提供创意灵感与写作建议。
 * **教育学习**：用在语言学习、编程教育和知识问答，辅助学习者提升能力。
 * **商业办公**：构建智能客服，生成数据分析和市场调研报告，助力企业运营。
 * **编程开发**：生成代码片段、代码文档，提供调试建议，提高开发效率。
 * **个人助理**：管理日程、规划任务、整理信息，提升个人工作与生活效率。

#### 📝 站长洞察 (Editor’s Insight)

dots.llm1的发布，清晰地指向了当前大模型发展的两个核心趋势：效率与开放。其采用的MoE
架构并非新鲜事，但小红书hi lab通过“6in128”的专家配置、创新的Interleaved 1F1B流水
并行及Grouped GEMM优化，将‘用更少的计算激活更多智能’的工程哲学发挥到了新高度。这
不仅是技术细节的优化，更是对如何经济、可持续地训练超大规模模型这一产业级难题的系统
性思考。

更值得关注的是其‘全开源’策略——不仅开源最终模型，更开放了预训练阶段的全部checkpoint。
这相当于将一份详尽的‘大模型成长日记’公之于众，极大地降低了研究社区复现、诊断和二次
开发的门槛。它标志着开源竞争已从单纯的模型参数竞赛，深化为对训练过程透明度、可复现
性与生态赋能能力的全面比拼。这不仅仅是一个模型的发布，更是中国AI力量在开源路线上
一次有诚意的、旨在推动整个社区前进的示范性动作。

🧭 文中关联 [AI 工具](https://ai.paooo.com/)官网与参数卡（语宙 AI 导航）

**小红书 ↗**

小红书（Xiaohongshu）是中国领先的生活方式分享社区和社交电商平台。其核心功能围绕用户
生成内容（UGC）

**HuggingFace ↗**

HuggingFace：AI模型开发社区，面向大语言模型场景提供便捷实用的在线功能支持，涵盖大
模型等实用方向。

❓ 常见问题解答（FAQ）

dots.llm1是什么模型？

dots.llm1 是小红书 hi lab 开源的中等规模 MoE 文本大模型，参数总量 1420 亿，单次前
向激活 140 亿参数。它基于 11.2T 高质量 token 预训练，并提供预训练 checkpoint 与 
Instruct 模型，便于研究和复现。

dots.llm1和Qwen2.5-72B相比怎么样？

文章信息显示，dots.llm1 在中英文通用场景、数学和代码等任务上表现出色，整体竞争力
可对标 Qwen2.5-72B。其优势在于 MoE 架构带来的更高计算效率，以及开放预训练 checkpoint
带来的研究便利。

dots.llm1适合哪些应用场景？

它适合内容创作、教育学习、商业办公、编程开发和个人助理等场景，可用于写作辅助、知识
问答、代码生成、数据整理和任务规划。若用于专业任务，建议结合领域数据做进一步微调。

🔬 语宙深潜追问 · 进阶实操拆解

MoE训练最怕什么瓶颈？

MoE最常见的瓶颈不是总参数，而是路由不稳定、专家负载不均和通信开销。要想复现效果，
通常要重点盯住数据质量、token配比、路由正则和训练吞吐，否则容易出现“参数很大、实际
不强”。

开源checkpoint适合怎么二次研究？

最适合做三类工作：继续预训练补领域数据、做专家路由分析、以及在中英双语或代码任务
上做轻量对齐。若算力有限，优先从中间层表示和少量专家微调入手，性价比最高。

🗳️ 读者观点微投票 · 您的实战立场是？

1420亿MoE开源后，真能撼动Qwen2.5-72B吗？

🕸️ 语宙向量知识图谱 · 语义强关联深度内链

[🐋 所属权威专题：DeepSeek 深度实战与部署 →](https://paooo.com/topics/deepseek/)

 * [美团万亿参数大模型LongCat-2.0-Preview：国产芯片训推闭环破局，1M上下文免费开放内测](https://paooo.com/aigc-news/10721/)
 * [蚂蚁百灵Ling-V2：160亿参数MoE模型开源，14亿激活参数实现7倍效率飞跃](https://paooo.com/aigc-news/13634/)
 * [阿里通义Qwen3-30B-A3B-Thinking-2507开源：305亿参数MoE推理模型，性能超GPT-4o，消费级硬件可部署](https://paooo.com/aigc-news/14335/)
 * [Hunyuan-Large – 腾讯推出的大型混合专家（MoE）模型](https://paooo.com/aigc-news/25814/)

[🏛️ Prompt 语宙研究院](https://paooo.com/author/paooo-research/) · Prompt 语宙研究院（
paooo.com Research）专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示
词工程（Prompt Engineering）与全球高增长 AI 生产力工具实测追踪，致力于为中文开发
者与创作者提供一手、可复现的深度技术洞察。

[📄 Markdown 纯净版](https://paooo.com/aigc-news/14968/?format=md)

💡 这篇内容对您有启发吗？

[📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/)

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)
