# Nemotron-CC – 英伟达推出的大型预训练数据集

- Link: https://paooo.com/aigc-news/22930/
- Published: 2026-06-09T06:46:37+08:00
- Author: Prompt 语宙研究院

⚡ [Prompt](https://paooo.com/ai-image-prompts/) 语宙 AI 导读 · 30 秒核心看点

 * 将 Common Crawl 重构为 6.3 万亿 tokens 的高质量预训练语料，适配长序列训练。
 * 通过分类器集成与合成重述，减少启发式过滤依赖，兼顾规模与质量。
 * 在 1T 与 15T tokens 训练中表现更优，尤其在 MMLU 等任务上提升明显。

## Nemotron-CC是什么

Nemotron-CC是NVIDIA团队推出的大型预训练数据集，能将Common Crawl数据转化为适用于长
序列预训练的高质量语料。Nemotron-CC数据集结合分类器集成、合成数据重述和减少启发式
过滤器依赖等方法，实现数据量和质量的更好平衡。Nemotron-CC包含6.3万亿个tokens，其中
4.4万亿为全球去重的原始tokens，1.9万亿为合成生成的tokens。Nemotron-CC在短期（1T 
tokens）和长期（15T tokens）训练中均展现出优越性，特别是在MMLU等任务上，相比DCLM
和Llama 3.1模型，Nemotron-CC显著提高了模型的准确性。Nemotron-CC数据集的开发为大型
语言模型的训练提供了更丰富、更多样的数据资源。

阅读目录

 * [Nemotron-CC是什么](https://paooo.com/aigc-news/22930/#nemotroncc%e6%98%af%e4%bb%80%e4%b9%88)
 * [Nemotron-CC的主要功能](https://paooo.com/aigc-news/22930/#nemotroncc%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd)
 * [Nemotron-CC的技术原理](https://paooo.com/aigc-news/22930/#nemotroncc%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86)
 * [Nemotron-CC的项目地址](https://paooo.com/aigc-news/22930/#nemotroncc%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80)
 * [Nemotron-CC的应用场景](https://paooo.com/aigc-news/22930/#nemotroncc%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af)

![Nemotron-CC](https://paooo.com/wp-content/uploads/2026/06/Nemotron-CC-website-
1.avif)

## Nemotron-CC的主要功能

 * **提供高质量的预训练数据集**：Nemotron-CC为大型语言模型（LLMs）提供高质量、大规模
   的预训练数据集，特别适用于长序列训练，如15T tokens的训练需求。
 * **平衡数据量和质量**：在不显著牺牲数据质量的前提下，大幅增加数据集的规模，包含
   更多的独特真实tokens，提高模型在长序列训练中的性能。
 * **支持模型性能提升**：实验表明，Nemotron-CC训练的模型在多个基准测试任务中表现
   出色，特别是在MMLU等任务上，相比其他现有数据集，能显著提高模型的准确性。

## Nemotron-CC的技术原理

 * **优化文本提取**：选用Justext作为HTML-to-text提取器，因其在提取高质量tokens方面
   表现更佳，有效提升数据集的初始质量。
 * **基于模型的质量标记**：
    - **分类器集成**：构建三个不同的质量分类器，每个分类器有不同的高质量偏好。基于
      集成三个分类器，为所有文档打分，根据质量得分将爬取的语料库划分为不同的质量
      级别。
    - **质量标签分配**：进一步将细粒度的质量得分聚类为5个下游任务质量类别，基于连续
      预训练和任务性能评估，为每个类别分配更符合实际性能的质量标签。
 * **合成数据生成**：
    - **低质量数据重述**：对于低质量文档，基于重述减少噪声和错误，同时保留有用信息。
      用Wikipedia风格的提示（prompt）重述低质量文档，有效减少错误和冗余，提高格式化
      水平。
    - **高质量数据扩展**：对于高质量文档，基于生成多样化的问答对、提炼、提取知识
      和知识列表等方式，获取更多独特的tokens，丰富数据集的内容和多样性。
 * **数据集整合**：
    - **大规模数据合成**：用Mistral NeMo 12B模型生成超过1.8万亿个合成tokens，其中
      包括从低质量文档生成的3363亿tokens和从高质量文档生成的1.5万亿tokens。
    - **数据集构建**：将上述技术和方法应用于Common Crawl的99个快照（CC-MAIN-2013-
      20至CC-MAIN-2024-30），构建6.3万亿tokens的数据集，其中4.4万亿为全球去重的原始
      tokens，1.9万亿为合成生成的tokens。

## Nemotron-CC的项目地址

 * **项目官网**：[https://developer.nvidia.com/blog/announcing-nemotron-cc](https://developer.nvidia.com/blog/announcing-nemotron-cc-a-trillion-token-english-language-dataset-for-llm-pretraining/?utm_source=ai-bot.cn)
 * **arXiv技术论文**：[https://arxiv.org/pdf/2412.02595](https://arxiv.org/pdf/2412.02595)

## Nemotron-CC的应用场景

 * **预训练大型语言模型**：适用于长序列训练，如15T tokens，提升模型在复杂任务中的
   性能。
 * **微调和特定任务适应**：便于模型在多任务学习和特定领域任务中快速适应，提高任务
   表现。
 * **文本生成任务**：用于生成高质量文本，如新闻、故事，及提升对话系统的自然度。
 * **研究与开发**：助力探索模型架构和训练方法的改进，提供基准测试资源。
 * **教育与培训**：生成教育资源，辅助语言学习，提升教育内容的丰富性。

🧭 文中关联 [AI 工具](https://ai.paooo.com/)官网与参数卡（语宙 AI 导航）

**Llama 3 ↗**

Meta最新开源推出的新一代大模型。

**LLaMA ↗**

Meta（Facebook）推出的AI大语言模型。

**LLaMA ↗**

在线AI大模型微调平台，零代码、可视化操作。

❓ 常见问题解答（FAQ）

Nemotron-CC 适合训练什么模型？

Nemotron-CC 主要面向大型语言模型预训练，尤其适合长序列训练场景，如 15T tokens 级别
训练。它能提供更丰富、更多样的语料，帮助模型在复杂任务和基准测试中获得更好的表现。

Nemotron-CC 为什么比普通 Common Crawl 更好？

它不是直接使用原始爬取文本，而是结合分类器集成、质量分级和合成数据重述，对 Common
Crawl 进行重构。这样既保留了大量真实 tokens，又提升了语料质量和多样性。

Nemotron-CC 在实测中提升了哪些能力？

文章提到，Nemotron-CC 在短期 1T tokens 和长期 15T tokens 训练中都表现出优越性，尤其在
MMLU 等任务上，相比 DCLM 和 Llama 3.1 相关模型，准确性有明显提升。

🔬 语宙深潜追问 · 进阶实操拆解

Nemotron-CC适合怎样的数据清洗策略？

适合“少规则、强模型”的清洗思路：先用分类器集成做粗筛，再用合成重述提升可读性和长
上下文一致性，尽量减少硬编码启发式。这样更利于保留长尾知识，同时降低过度过滤带来
的信息损失。

长序列训练为什么特别吃这类数据？

长序列训练需要连续性强、噪声低且主题跨度足够大的语料。若数据碎片化严重，模型很难
学到跨段依赖和上下文保持能力。高质量大规模语料能显著提升长文理解、摘要和多轮推理
表现。

🗳️ 读者观点微投票 · 您的实战立场是？

6.3万亿tokens数据集，质量还是规模更重要？

🕸️ 语宙向量知识图谱 · 语义强关联深度内链

[🐋 所属权威专题：DeepSeek 深度实战与部署 →](https://paooo.com/topics/deepseek/)

 * [Nemotron-70B-Instruct – 英伟达推出的大语言模型](https://paooo.com/aigc-news/26271/)
 * [Infinity-MM – 智源推出的千万级多模态指令数据集](https://paooo.com/aigc-news/25742/)
 * [Nemotron 3 Embed – 英伟达开源的文本嵌入模型系列](https://paooo.com/aigc-news/31363/)
 * [英伟达Nemotron 3 Super开源发布：1200亿参数Mamba-MoE架构，智能体推理速度提升3倍，性能直逼Claude Opus 4.6](https://paooo.com/aigc-news/11298/)

[🏛️ Prompt 语宙研究院](https://paooo.com/author/paooo-research/) · Prompt 语宙研究院（
paooo.com Research）专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示
词工程（Prompt Engineering）与全球高增长 AI 生产力工具实测追踪，致力于为中文开发
者与创作者提供一手、可复现的深度技术洞察。

[📄 Markdown 纯净版](https://paooo.com/aigc-news/22930/?format=md)

💡 这篇内容对您有启发吗？

[📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/)

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)
