Prompt 语宙Prompt 语宙
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
阅读: 小红书hi lab重磅开源dots.llm1:1420亿参数MoE大模型,性能对标Qwen2.5-72B
Share
通知 阅读更多
Font Resizer字体
Font Resizer字体
Prompt 语宙Prompt 语宙
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
已有帐户? 登陆
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
小红书hi lab重磅开源dots.llm1:1420亿参数MoE大模型,性能对标Qwen2.5-72B
Prompt 语宙 > AI 工具 > 小红书hi lab重磅开源dots.llm1:1420亿参数MoE大模型,性能对标Qwen2.5-72B
AI 工具AIGC 资讯

小红书hi lab重磅开源dots.llm1:1420亿参数MoE大模型,性能对标Qwen2.5-72B

Prompt 语宙研究院
最近更新: 2026年6月7日 下午8:27
AI编程 dots.llm1 HuggingFace MoE 大模型微调 小红书 小红书hi lab 开源大模型 开源模型
SHARE
⚡ Prompt 语宙 AI 导读 · 30 秒核心看点
  • 1420亿参数MoE架构,单次仅激活140亿参数,兼顾规模与推理效率。
  • 基于11.2T高质量token预训练,并采用Interleaved 1F1B与Grouped GEMM提升训练效率。
  • 开源预训练checkpoint与Instruct模型,实测在通用、数学、代码任务上对标Qwen2.5-72B。

💡 站外导读:在开源大模型竞争白热化的当下,如何用更高效的架构和更优质的数据,在可控成本内训练出性能顶尖的模型,是业界共同面对的痛点。小红书hi lab此次开源dots.llm1,正是一次面向这一挑战的有力回应。该模型基于Mixture of Experts(MoE)架构,在拥有巨量参数的同时,通过专家激活机制大幅降低实际计算开销,并在11.2T高质量token上完成预训练,展现了在通用与专业任务上与顶级密集模型一较高下的实力。

dots.llm1是什么

dots.llm1 是小红书 hi lab 开源的中等规模 Mixture of Experts(MoE)文本大模型,具有 1420 亿参数,激活参数为 140 亿。模型在 11.2T 高质量 token 数据上进行预训练,用高效的 Interleaved 1F1B 流水并行和 Grouped GEMM 优化技术,训练效率显著提升。基于精心设计的数据处理流程和两阶段监督微调,dots.llm1 在中英文通用场景、数学、代码等任务上表现出色,与 Qwen2.5-72B 等模型相比具有较强的竞争力。hi lab 团队开源了 Pretrain 阶段每 1T token 的 checkpoint 和 Instruct 模型,为大模型社区提供丰富的研究基础,助力推动大模型技术的发展。

阅读目录
  • dots.llm1是什么
  • dots.llm1的主要功能
  • dots.llm1的技术原理
  • dots.llm1的项目地址
  • dots.llm1的应用场景
      • 📝 站长洞察 (Editor’s Insight)

dots.llm1

dots.llm1的主要功能

  • 多语言文本生成:支持生成高质量的中英文文本,适用多种场景,如写作辅助、内容创作等。
  • 复杂指令遵循:理解和执行复杂的指令,完成特定任务,如数据整理、代码生成等。
  • 知识问答:提供准确的知识问答服务,帮助用户获取所需信息。
  • 数学与代码推理:具备数学计算和代码推理能力,解决数学问题和编写简单代码。
  • 多轮对话:支持多轮对话,与用户进行自然流畅的交流,理解上下文并给出恰当回应。

dots.llm1的技术原理

  • Mixture of Experts (MoE) 架构:dots.llm1 是基于 Decoder-only Transformer 的 MoE 模型,用 6in128 Expert 配置,即每个 token 最多激活 6 个专家,共有 128 个专家。在 1420 亿参数中,每次前向传播只激活 140 亿参数,基于门控机制选择最相关的专家进行计算,提高计算效率。
  • 高效的数据处理和训练框架:用 11.2T 高质量 token 数据进行预训练,数据来源包括 Common Crawl 和自有 Spider 抓取的 web 数据,经过多轮清洗和过滤,确保数据质量。基于 Interleaved 1F1B 流水并行的 AlltoAll overlap 和高效 Grouped GEMM 实现,显著提升训练效率。
  • 两阶段监督微调:对全量数据进行两轮基础训练,基于采样、动态学习率调整等技术,初步释放模型潜力。针对数学与代码等特定领域,引入拒绝采样微调,结合验证器筛选高置信度重要样本,进一步提升模型的推理性能。
  • 学习率调度与超参数优化:基于 WSD 学习率调度方式,在学习率稳定阶段保持 3e-4 训练 10T token 语料,退火阶段分两个阶段训练 1.2T token 语料,逐步降低学习率。在训练过程中,调整 batch size 等超参数,确保训练过程稳定,避免出现 loss spike。

dots.llm1的项目地址

  • GitHub仓库:https://github.com/rednote-hilab/dots.llm1
  • HuggingFace模型库:https://huggingface.co/rednote-hilab
  • arXiv技术论文:https://github.com/rednote-hilab/dots.llm1/blob/main/dots1_tech_report.pdf

dots.llm1的应用场景

  • 内容创作:辅助写作文案、故事、新闻等,提供创意灵感与写作建议。
  • 教育学习:用在语言学习、编程教育和知识问答,辅助学习者提升能力。
  • 商业办公:构建智能客服,生成数据分析和市场调研报告,助力企业运营。
  • 编程开发:生成代码片段、代码文档,提供调试建议,提高开发效率。
  • 个人助理:管理日程、规划任务、整理信息,提升个人工作与生活效率。

📝 站长洞察 (Editor’s Insight)

dots.llm1的发布,清晰地指向了当前大模型发展的两个核心趋势:效率与开放。其采用的MoE架构并非新鲜事,但小红书hi lab通过“6in128”的专家配置、创新的Interleaved 1F1B流水并行及Grouped GEMM优化,将‘用更少的计算激活更多智能’的工程哲学发挥到了新高度。这不仅是技术细节的优化,更是对如何经济、可持续地训练超大规模模型这一产业级难题的系统性思考。

更值得关注的是其‘全开源’策略——不仅开源最终模型,更开放了预训练阶段的全部checkpoint。这相当于将一份详尽的‘大模型成长日记’公之于众,极大地降低了研究社区复现、诊断和二次开发的门槛。它标志着开源竞争已从单纯的模型参数竞赛,深化为对训练过程透明度、可复现性与生态赋能能力的全面比拼。这不仅仅是一个模型的发布,更是中国AI力量在开源路线上一次有诚意的、旨在推动整个社区前进的示范性动作。

🧭 文中关联 AI 工具官网与参数卡(语宙 AI 导航)
小红书 ↗
小红书(Xiaohongshu)是中国领先的生活方式分享社区和社交电商平台。其核心功能围绕用户生成内容(UGC)
HuggingFace ↗
HuggingFace:AI模型开发社区,面向大语言模型场景提供便捷实用的在线功能支持,涵盖大模型等实用方向。
❓ 常见问题解答(FAQ)
dots.llm1是什么模型?

dots.llm1 是小红书 hi lab 开源的中等规模 MoE 文本大模型,参数总量 1420 亿,单次前向激活 140 亿参数。它基于 11.2T 高质量 token 预训练,并提供预训练 checkpoint 与 Instruct 模型,便于研究和复现。

dots.llm1和Qwen2.5-72B相比怎么样?

文章信息显示,dots.llm1 在中英文通用场景、数学和代码等任务上表现出色,整体竞争力可对标 Qwen2.5-72B。其优势在于 MoE 架构带来的更高计算效率,以及开放预训练 checkpoint 带来的研究便利。

dots.llm1适合哪些应用场景?

它适合内容创作、教育学习、商业办公、编程开发和个人助理等场景,可用于写作辅助、知识问答、代码生成、数据整理和任务规划。若用于专业任务,建议结合领域数据做进一步微调。

🔬 语宙深潜追问 · 进阶实操拆解
MoE训练最怕什么瓶颈?

MoE最常见的瓶颈不是总参数,而是路由不稳定、专家负载不均和通信开销。要想复现效果,通常要重点盯住数据质量、token配比、路由正则和训练吞吐,否则容易出现“参数很大、实际不强”。

开源checkpoint适合怎么二次研究?

最适合做三类工作:继续预训练补领域数据、做专家路由分析、以及在中英双语或代码任务上做轻量对齐。若算力有限,优先从中间层表示和少量专家微调入手,性价比最高。

🗳️ 读者观点微投票 · 您的实战立场是?
1420亿MoE开源后,真能撼动Qwen2.5-72B吗?
🕸️ 语宙向量知识图谱 · 语义强关联深度内链
🐋 所属权威专题:DeepSeek 深度实战与部署 →
  • 美团万亿参数大模型LongCat-2.0-Preview:国产芯片训推闭环破局,1M上下文免费开放内测
  • 蚂蚁百灵Ling-V2:160亿参数MoE模型开源,14亿激活参数实现7倍效率飞跃
  • 阿里通义Qwen3-30B-A3B-Thinking-2507开源:305亿参数MoE推理模型,性能超GPT-4o,消费级硬件可部署
  • Hunyuan-Large – 腾讯推出的大型混合专家(MoE)模型
🏛️ Prompt 语宙研究院 · Prompt 语宙研究院(paooo.com Research)专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示词工程(Prompt Engineering)与全球高增长 AI 生产力工具实测追踪,致力于为中文开发者与创作者提供一手、可复现的深度技术洞察。
📄 Markdown 纯净版
💡 这篇内容对您有启发吗?
📡 RSS 订阅✨ 提交 AI 工具 / 合作
🚀 Prompt 语宙 AI 创作者生态:探索 2,800+ 全球实用 AI 工具与高精度生图提示词咒语库
🧭 语宙 AI 导航 (ai.paooo.com)🎨 AI 生图 Prompt 库📚 核心专题导航⚡ AIGC 早报生成器
NVIDIA Nemotron Nano 2:9B参数推理提速6倍,开源高效AI模型新标杆
Amazon Nova Premier – 亚马逊推出的多模态AI模型
Qwen2.5 – 阿里通义千问团队最新开源的最强AI大模型
SongCreator – AI音乐模型,能理解、生成和编辑歌曲
AI提示语
TAGGED:AI编程dots.llm1HuggingFaceMoE大模型微调小红书小红书hi lab开源大模型开源模型
分享
Email 复制链接 打印
Share
Prompt 语宙研究院 头像
ByPrompt 语宙研究院
Follow:
Prompt 语宙研究院(paooo.com Research)专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示词工程(Prompt Engineering)与全球高增长 AI 生产力工具实测追踪,致力于为中文开发者与创作者提供一手、可复现的深度技术洞察。
上一篇 华中科技×金山办公发布MonkeyOCR:解析精度飙升15%,每秒0.84页,专治公式表格难题的文档AI神器 华中科技×金山办公发布MonkeyOCR:解析精度飙升15%,每秒0.84页,专治公式表格难题的文档AI神器
下一篇 MiniCPM 4.0 开源:面壁智能 8B/0.5B 端侧大模型,推理提速220倍,适配主流芯片 MiniCPM 4.0 开源:面壁智能 8B/0.5B 端侧大模型,推理提速220倍,适配主流芯片
Ad image
Ad image

最近更新

WordPress 7.2版本更新与默认随机重定向、Secrets API撤回及MCP核心能力拆解封面图
官方博客竟把关闭过滤器写错了!WordPress 7.2前瞻全拆解:默认/random/暗藏隐私与SEO风险、Secrets API紧急撤回与3项MCP只读能力落地
AI 工具
Anthropic上市募资与算力长约的隐喻:现金光环上升,数据中心暗链延伸,治理水晶承受张力与阻力冲击。
募资超1070亿美元却背负9000亿算力长约!Anthropic史上最大IPO背后的三大隐忧:1040亿年内亏损、地方抵制潮与PBC治理死结
AIGC 资讯
微软Copilot与Claude/ChatGPT价格战隐喻:发光玻璃表格堡垒守住Excel,数据流高效汇聚,企业AI竞争升级
3000万付费仅吃下4.5亿席位不到7%!微软Ignite正面叫板Claude与ChatGPT:月均30美元VS 205美元价格战与Excel保卫战全拆解
AIGC 资讯
联想AI推理时代的端边云全栈算力插画:玻璃拟态服务器核心发光,光流连接云端与边缘节点,呈现营收与订单增长动能。
AI营收暴涨80%且握5300亿服务器订单!联想Q2单季营收首破2000亿、净利狂飙166%:端边云全栈算力如何接住推理时代红利?
AIGC 资讯

相关推荐

黑森林实验室FLUX3 多模态模型登场:单次生成 20 秒音视频,胜率碾压Grok与Seedance
AIGC 资讯

黑森林实验室FLUX3 多模态模型登场:单次生成 20 秒音视频,胜率碾压Grok与Seedance

Prompt 语宙研究院
AI视频生成 Flux Gemini Sora 即梦AI
英伟达开源OpenReasoning-Nemotron:基于DeepSeek蒸馏,数学推理超越o3,本地部署全攻略
AI 工具AIGC 资讯

英伟达开源OpenReasoning-Nemotron:基于DeepSeek蒸馏,数学推理超越o3,本地部署全攻略

Prompt 语宙研究院
DeepSeek OpenReasoning-Nemotron 推理模型 本地部署 英伟达
腾讯联合Chinagoods上线AI导航,覆盖义乌8万家商铺实现智能找店
AIGC 资讯

腾讯联合Chinagoods上线AI导航,覆盖义乌8万家商铺实现智能找店

Prompt 语宙研究院
3D与空间智能 AI办公效率 AI智能体 RAG检索增强
昨夜,麻省理工学院 (MIT) 无人安然入眠 [译]
强化 AI 学习

昨夜,麻省理工学院 (MIT) 无人安然入眠 [译]

宝玉的分享
AI办公效率 AI智能体 ChatGPT OpenAI 大模型微调 开源大模型
/ Prompt 语宙 /

探索生成式 AI 的无限创作潜能,一站式获取前沿 AIGC 资讯、高阶 Prompt 咒语与全球实用 AI 工具。

核心专栏

  • 语宙 AI 工具导航
  • EVA 视觉抠图工坊Hot
  • 出海数字营销宝典
  • AI 生图咒语灵感库
  • 24H 硅谷 AI 情报流

生态与服务

  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作

标签

开源大模型 AI智能体 AI办公效率 AI绘画提示词 OpenAI 大模型微调 Midjourney AI编程 stable diffusion AI视频生成 ChatGPT 3D与空间智能 HuggingFace AI音频与语音 RAG检索增强 Claude Flux AIGC Gemini 通义千问 Anthropic Llama Cursor DeepSeek Prompt AI Agent Kimi 智谱AI 具身智能 YouTube
Prompt 语宙Prompt 语宙
Follow US
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.