Prompt 语宙Prompt 语宙
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
阅读: Nemotron-CC – 英伟达推出的大型预训练数据集
Share
通知 阅读更多
Font Resizer字体
Font Resizer字体
Prompt 语宙Prompt 语宙
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
已有帐户? 登陆
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
Nemotron-CC – 英伟达推出的大型预训练数据集
Prompt 语宙 > AIGC 资讯 > Nemotron-CC – 英伟达推出的大型预训练数据集
AIGC 资讯

Nemotron-CC – 英伟达推出的大型预训练数据集

Prompt 语宙研究院
最近更新: 2026年6月9日 上午6:46
Llama Llama 3 大模型微调 开源大模型
SHARE
⚡ Prompt 语宙 AI 导读 · 30 秒核心看点
  • 将 Common Crawl 重构为 6.3 万亿 tokens 的高质量预训练语料,适配长序列训练。
  • 通过分类器集成与合成重述,减少启发式过滤依赖,兼顾规模与质量。
  • 在 1T 与 15T tokens 训练中表现更优,尤其在 MMLU 等任务上提升明显。

Nemotron-CC是什么

Nemotron-CC是NVIDIA团队推出的大型预训练数据集,能将Common Crawl数据转化为适用于长序列预训练的高质量语料。Nemotron-CC数据集结合分类器集成、合成数据重述和减少启发式过滤器依赖等方法,实现数据量和质量的更好平衡。Nemotron-CC包含6.3万亿个tokens,其中4.4万亿为全球去重的原始tokens,1.9万亿为合成生成的tokens。Nemotron-CC在短期(1T tokens)和长期(15T tokens)训练中均展现出优越性,特别是在MMLU等任务上,相比DCLM和Llama 3.1模型,Nemotron-CC显著提高了模型的准确性。Nemotron-CC数据集的开发为大型语言模型的训练提供了更丰富、更多样的数据资源。

阅读目录
  • Nemotron-CC是什么
  • Nemotron-CC的主要功能
  • Nemotron-CC的技术原理
  • Nemotron-CC的项目地址
  • Nemotron-CC的应用场景

Nemotron-CC

Nemotron-CC的主要功能

  • 提供高质量的预训练数据集:Nemotron-CC为大型语言模型(LLMs)提供高质量、大规模的预训练数据集,特别适用于长序列训练,如15T tokens的训练需求。
  • 平衡数据量和质量:在不显著牺牲数据质量的前提下,大幅增加数据集的规模,包含更多的独特真实tokens,提高模型在长序列训练中的性能。
  • 支持模型性能提升:实验表明,Nemotron-CC训练的模型在多个基准测试任务中表现出色,特别是在MMLU等任务上,相比其他现有数据集,能显著提高模型的准确性。

Nemotron-CC的技术原理

  • 优化文本提取:选用Justext作为HTML-to-text提取器,因其在提取高质量tokens方面表现更佳,有效提升数据集的初始质量。
  • 基于模型的质量标记:
    • 分类器集成:构建三个不同的质量分类器,每个分类器有不同的高质量偏好。基于集成三个分类器,为所有文档打分,根据质量得分将爬取的语料库划分为不同的质量级别。
    • 质量标签分配:进一步将细粒度的质量得分聚类为5个下游任务质量类别,基于连续预训练和任务性能评估,为每个类别分配更符合实际性能的质量标签。
  • 合成数据生成:
    • 低质量数据重述:对于低质量文档,基于重述减少噪声和错误,同时保留有用信息。用Wikipedia风格的提示(prompt)重述低质量文档,有效减少错误和冗余,提高格式化水平。
    • 高质量数据扩展:对于高质量文档,基于生成多样化的问答对、提炼、提取知识和知识列表等方式,获取更多独特的tokens,丰富数据集的内容和多样性。
  • 数据集整合:
    • 大规模数据合成:用Mistral NeMo 12B模型生成超过1.8万亿个合成tokens,其中包括从低质量文档生成的3363亿tokens和从高质量文档生成的1.5万亿tokens。
    • 数据集构建:将上述技术和方法应用于Common Crawl的99个快照(CC-MAIN-2013-20至CC-MAIN-2024-30),构建6.3万亿tokens的数据集,其中4.4万亿为全球去重的原始tokens,1.9万亿为合成生成的tokens。

Nemotron-CC的项目地址

  • 项目官网:https://developer.nvidia.com/blog/announcing-nemotron-cc
  • arXiv技术论文:https://arxiv.org/pdf/2412.02595

Nemotron-CC的应用场景

  • 预训练大型语言模型:适用于长序列训练,如15T tokens,提升模型在复杂任务中的性能。
  • 微调和特定任务适应:便于模型在多任务学习和特定领域任务中快速适应,提高任务表现。
  • 文本生成任务:用于生成高质量文本,如新闻、故事,及提升对话系统的自然度。
  • 研究与开发:助力探索模型架构和训练方法的改进,提供基准测试资源。
  • 教育与培训:生成教育资源,辅助语言学习,提升教育内容的丰富性。
🧭 文中关联 AI 工具官网与参数卡(语宙 AI 导航)
Llama 3 ↗
Meta最新开源推出的新一代大模型。
LLaMA ↗
Meta(Facebook)推出的AI大语言模型。
LLaMA ↗
在线AI大模型微调平台,零代码、可视化操作。
❓ 常见问题解答(FAQ)
Nemotron-CC 适合训练什么模型?

Nemotron-CC 主要面向大型语言模型预训练,尤其适合长序列训练场景,如 15T tokens 级别训练。它能提供更丰富、更多样的语料,帮助模型在复杂任务和基准测试中获得更好的表现。

Nemotron-CC 为什么比普通 Common Crawl 更好?

它不是直接使用原始爬取文本,而是结合分类器集成、质量分级和合成数据重述,对 Common Crawl 进行重构。这样既保留了大量真实 tokens,又提升了语料质量和多样性。

Nemotron-CC 在实测中提升了哪些能力?

文章提到,Nemotron-CC 在短期 1T tokens 和长期 15T tokens 训练中都表现出优越性,尤其在 MMLU 等任务上,相比 DCLM 和 Llama 3.1 相关模型,准确性有明显提升。

🔬 语宙深潜追问 · 进阶实操拆解
Nemotron-CC适合怎样的数据清洗策略?

适合“少规则、强模型”的清洗思路:先用分类器集成做粗筛,再用合成重述提升可读性和长上下文一致性,尽量减少硬编码启发式。这样更利于保留长尾知识,同时降低过度过滤带来的信息损失。

长序列训练为什么特别吃这类数据?

长序列训练需要连续性强、噪声低且主题跨度足够大的语料。若数据碎片化严重,模型很难学到跨段依赖和上下文保持能力。高质量大规模语料能显著提升长文理解、摘要和多轮推理表现。

🗳️ 读者观点微投票 · 您的实战立场是?
6.3万亿tokens数据集,质量还是规模更重要?
🕸️ 语宙向量知识图谱 · 语义强关联深度内链
🐋 所属权威专题:DeepSeek 深度实战与部署 →
  • Nemotron-70B-Instruct – 英伟达推出的大语言模型
  • Infinity-MM – 智源推出的千万级多模态指令数据集
  • Nemotron 3 Embed – 英伟达开源的文本嵌入模型系列
  • 英伟达Nemotron 3 Super开源发布:1200亿参数Mamba-MoE架构,智能体推理速度提升3倍,性能直逼Claude Opus 4.6
🏛️ Prompt 语宙研究院 · Prompt 语宙研究院(paooo.com Research)专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示词工程(Prompt Engineering)与全球高增长 AI 生产力工具实测追踪,致力于为中文开发者与创作者提供一手、可复现的深度技术洞察。
📄 Markdown 纯净版
💡 这篇内容对您有启发吗?
📡 RSS 订阅✨ 提交 AI 工具 / 合作
🚀 Prompt 语宙 AI 创作者生态:探索 2,800+ 全球实用 AI 工具与高精度生图提示词咒语库
🧭 语宙 AI 导航 (ai.paooo.com)🎨 AI 生图 Prompt 库📚 核心专题导航⚡ AIGC 早报生成器
WarriorCoder – 微软联合华南理工大学推出的代码生成大模型
Gemini 2.0 Flash Thinking – 谷歌推出的最新推理模型,支持百万上下文展示思考路径
阿里巴巴宣布大模型组织架构升级,成立Token Foundry事业部并设立AI未来研究院
Digital Dogs AI宠物
Ego Lite – 专为AI Agent设计的浏览器,实现人与AI协同工作
TAGGED:LlamaLlama 3大模型微调开源大模型
分享
Email 复制链接 打印
Share
Prompt 语宙研究院 头像
ByPrompt 语宙研究院
Follow:
Prompt 语宙研究院(paooo.com Research)专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示词工程(Prompt Engineering)与全球高增长 AI 生产力工具实测追踪,致力于为中文开发者与创作者提供一手、可复现的深度技术洞察。
上一篇 HealthBench – OpenAI推出的开源医疗测试基准 HealthBench – OpenAI推出的开源医疗测试基准
下一篇 AnyStory – 阿里通义推出的高保真个性化文本到图像生成框架 AnyStory – 阿里通义推出的高保真个性化文本到图像生成框架
Ad image
Ad image

最近更新

Atlassian AI 与产品工艺负责人 Sherif Mansour 做客 Lenny 播客,拆解全员 AI 构建者实验、初级人才赋能与产品工艺三角
取消PM头衔全员AI造产品,1个月就翻车退回!Atlassian AI掌门揭秘:初级员工多用38%AI却产Slop、工艺三角与Rovo外挂全拆解
AI 工具
GitHub Changelog 官方发布主图:GitHub Copilot CLI 1.0.113+ 公测支持 Microsoft Entra 身份登录与双轨企业推理
免GitHub账号直接终端跑AI!Copilot CLI上线Microsoft Entra登录:接入Work IQ MCP与Agent 365全链路审计拆解
AI 工具
The Verge 报道主图:《以撒的结合:忏悔+》因游戏音频文件残留 Suno 元数据遭 Steam 玩家差评轰炸并紧急移除
《以撒的结合》翻车!Suno元数据抓包引爆差评轰炸:AI资产供应链污染与Steam披露红线全拆解
AIGC 资讯
Hello Partner 深度报道主图:2026 年黑五消费前夕 Barclays 与 KPMG 对英国消费者使用 AI 工具比价给出悬殊数据
55%用AI找黑五折扣还是仅12%问大模型?Barclays与KPMG调研打架真相:零点击比价、84%返利盲区与联盟归因断层全拆解
AI 工具

相关推荐

[AI生图咒语] 例439 – 赛博黑客角色设定表
1
AI 生图 Prompt动漫与插画

[AI生图咒语] 例439 – 赛博黑客角色设定表

Prompt 语宙研究院
AI绘画提示词 Flux Midjourney 开源大模型
高考公平再升级!豆包、文心一言等主流AI大模型集体宣布:高考期间禁用拍题搜题功能
AI 工具AIGC 资讯

高考公平再升级!豆包、文心一言等主流AI大模型集体宣布:高考期间禁用拍题搜题功能

Prompt 语宙研究院
AI工具 Kimi 文心一言 科大讯飞 豆包 豆包大模型 通义千问 防作弊 高考
VisionFM – 通用眼科AI大模型,具备少样本多种疾病诊断能力
AIGC 资讯

VisionFM – 通用眼科AI大模型,具备少样本多种疾病诊断能力

Prompt 语宙研究院
AI智能体 RAG检索增强 大模型微调 开源大模型
1Password携手Claude推出集成功能 AI能替你登网站了,但密码始终藏在它看不见的地方
AIGC 资讯

1Password携手Claude推出集成功能 AI能替你登网站了,但密码始终藏在它看不见的地方

Prompt 语宙研究院
AI办公效率 AI智能体 Anthropic Claude
/ Prompt 语宙 /

探索生成式 AI 的无限创作潜能,一站式获取前沿 AIGC 资讯、高阶 Prompt 咒语与全球实用 AI 工具。

核心专栏

  • 语宙 AI 工具导航
  • EVA 视觉抠图工坊Hot
  • 出海数字营销宝典
  • AI 生图咒语灵感库
  • 24H 硅谷 AI 情报流

生态与服务

  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作

标签

开源大模型 AI智能体 AI办公效率 AI绘画提示词 OpenAI 大模型微调 Midjourney AI编程 stable diffusion AI视频生成 ChatGPT 3D与空间智能 HuggingFace AI音频与语音 RAG检索增强 Claude Flux AIGC Gemini 通义千问 Anthropic Llama Cursor DeepSeek Prompt AI Agent Kimi 智谱AI 具身智能 Claude Code
Prompt 语宙Prompt 语宙
Follow US
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.