# ProX – 提高大语言模型预训练数据质量的框架

- Link: https://paooo.com/aigc-news/26554/
- Published: 2026-07-09T12:45:41+08:00
- Author: 站外新闻

## ProX是什么

ProX（Programming Every Example）是一个旨在提高大型语言模型预训练数据质量的框架。
与传统依赖人类专家制定规则的方法不同，ProX将数据清洗任务视为编程问题，支持模型自动
执行如字符串标准化和噪声行移除等细粒度操作。小型模型（如0.3B参数）也能展现出与人类
专家相当的数据处理能力。实验结果表明，ProX处理后的数据用于模型预训练，在各种下游
任务中取得超过2%的性能提升。ProX的另一个显著优势是在不同模型大小和预训练语料库上
的广泛适用性，包括在特定领域（如数学）的持续预训练中，无需特定领域设计即可显著提升
模型性能。ProX节省训练FLOPs，为高效预训练大型语言模型提供有前景的路径。

阅读目录

 * [ProX是什么](https://paooo.com/aigc-news/26554/#prox%e6%98%af%e4%bb%80%e4%b9%88)
 * [ProX的主要功能](https://paooo.com/aigc-news/26554/#prox%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd)
 * [ProX的技术原理](https://paooo.com/aigc-news/26554/#prox%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86)
 * [ProX项目地址](https://paooo.com/aigc-news/26554/#prox%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80)
 * [ProX的应用场景](https://paooo.com/aigc-news/26554/#prox%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af)

![ProX – 提高大语言模型预训练数据质量的框架 - 配图](https://paooo.com/wp-content/
uploads/2026/07/ProX-website1-1.avif)

## ProX的主要功能

 * **数据精炼：** ProX基于生成和执行程序精炼大规模数据集，提高数据质量，用在大型
   语言模型的预训练。
 * **自动化处理：** 自动化地对每个数据样本进行细粒度的清洗和改进，无需人工专家干预。
 * **性能提升：** ProX处理过的数据进行预训练的模型，在多个下游任务中表现出超过2%
   的性能提升。
 * **领域灵活性：** 适用于不同领域，包括数学等，在不需要特定领域设计的情况下提升
   准确性。
 * **资源节省：** 相比于基于大型语言模型的数据合成方法，ProX在保持结果的同时，显著
   减少计算资源的需求。

## ProX的技术原理

 * **模型适应性：** ProX首先在种子数据上微调小型基础语言模型适应数据精炼任务。
 * **程序生成：** 适应后的模型为预训练语料库中的每个样本生成数据处理程序，程序包括
   过滤、字符串标准化和去除噪声行等操作。
 * **程序执行：** 生成的程序由预定义的执行器执行，产生准备好预训练的精炼语料库。
 * **两阶段精炼：** ProX包括文档级编程和块级编程两个阶段，分别进行粗粒度和细粒度
   的数据精炼。
 * **功能调用：** ProX基于灵活的功能调用增强数据质量，统一为特定的转换或清洗过程。
 * **计算效率：** ProX展示在较少的预训练计算FLOPs下，如何通过投资额外的计算资源精炼
   预训练语料库，从而实现更高效的预训练。

## ProX项目地址

 * **项目官网**：[gair-nlp.github.io/ProX](https://gair-nlp.github.io/ProX/?utm_source=ai-bot.cn)
 * **GitHub仓库**：[https://github.com/GAIR-NLP/ProX](https://github.com/GAIR-NLP/ProX)
 * **HuggingFace模型库**：[https://huggingface.co/gair-prox](https://huggingface.co/gair-prox)
 * **arXiv技术论文**：[https://arxiv.org/pdf/2409.17115](https://arxiv.org/pdf/2409.17115)

## ProX的应用场景

 * **大型语言模型预训练**：ProX能提升大量高质量文本数据进行预训练的大型语言模型的
   数据集质量。
 * **数据清洗和预处理**：在数据挖掘、自然语言处理和其他机器学习任务中，ProX自动执行
   数据清洗和预处理步骤，减少人工干预。
 * **领域适应性训练**：对于特定领域的应用，如医疗、法律或金融，ProX能优化数据集更好
   地适应专业术语和语境。
 * **持续学习**：在持续学习或增量学习的场景中，ProX帮助模型通过不断精炼数据适应新
   信息和变化。
 * **数据合成**：ProX能生成高质量的合成数据，增强现有的数据集，特别是在数据稀缺的
   领域。

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,000+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[⚡ AIGC 早报生成器](https://paooo.com/mtool/)