# DeepSeek R1-Zero – DeepSeek推出的开源推理模型，基于纯强化学习训练

- Link: https://paooo.com/aigc-news/22701/
- Published: 2026-06-08T20:48:22+08:00
- Author: Prompt 语宙研究院

⚡ [Prompt](https://paooo.com/ai-image-prompts/) 语宙 AI 导读 · 30 秒核心看点

 * 纯强化学习训练、跳过 SFT，证明推理能力可通过 RL 直接涌现。
 * AIME 2024 pass@1 从 15.6% 升至 71.0%，推理性能提升非常显著。
 * 模型已开源并支持蒸馏，小模型在推理任务上也具备较强竞争力。

## DeepSeek R1-Zero是什么

[DeepSeek](https://paooo.com/?s=DeepSeek) R1-Zero 是 [DeepSeek](https://ai-bot.cn/sites/6130.html)
团队开发的完全依赖纯强化学习（RL）训练的推理模型，未使用任何监督微调（SFT）数据。
在推理任务上表现出色，在 AIME 2024 数学竞赛中，其 pass@1 分数从 15.6% 提升至 71.0%，
接近 OpenAI-o1-0912 的水平。模型在训练过程中展现了自我进化能力，例如反思和重新评估
解题方法。

阅读目录

 * [DeepSeek R1-Zero是什么](https://paooo.com/aigc-news/22701/#deepseek-r1zero%e6%98%af%e4%bb%80%e4%b9%88)
 * [DeepSeek R1-Zero的主要功能](https://paooo.com/aigc-news/22701/#deepseek-r1zero%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd)
 * [DeepSeek R1-Zero的技术原理](https://paooo.com/aigc-news/22701/#deepseek-r1zero%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86)
 * [DeepSeek R1-Zero的项目地址](https://paooo.com/aigc-news/22701/#deepseek-r1zero%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80)
 * [DeepSeek R1-Zero的应用场景](https://paooo.com/aigc-news/22701/#deepseek-r1zero%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af)

![DeepSeek R1-Zero](https://paooo.com/wp-content/uploads/2026/06/DeepSeek-R1-Zero-
website-1.avif)

## DeepSeek R1-Zero的主要功能

 * **强大的推理能力**：通过大规模强化学习，[DeepSeek R1](https://ai-bot.cn/deepseek-r1/)-
   Zero 在数学、代码和自然语言推理等任务中表现出色，在 AIME 2024 数学竞赛中，Pass@
   1 分数从最初的 15.6% 提升至 71.0%，接近 OpenAI-o1-0912 的水平。
 * **纯强化学习驱动**：模型是首个完全通过强化学习训练的推理模型，证明了无需监督微调
   数据也能实现高效的推理能力。
 * **自我进化能力**：在训练过程中，模型展现出反思、重新评估推理步骤等复杂行为，是
   通过强化学习自然涌现的。
 * **开源与社区支持**：DeepSeek R1-Zero 的模型权重已开源，遵循 MIT License，支持
   用户通过蒸馏技术训练其他模型。
 * **蒸馏技术**：基于 DeepSeek R1-Zero 蒸馏出的多个小模型（如 7B、32B、70B）在推理
   任务中表现出色，性能接近甚至超过一些闭源模型。
 * **多语言支持与优化**：虽然模型在多语言任务中表现出色，但存在语言混杂问题。通过
   引入语言一致性奖励，可以有效改善这一问题。
 * **高效训练与应用**：DeepSeek R1-Zero 的训练方法为未来推理模型的发展提供了新的
   思路，同时其开源策略也为研究社区提供了强大的支持。

## DeepSeek R1-Zero的技术原理

 * **纯强化学习训练**：DeepSeek R1-Zero 从基础模型（如 DeepSeek-V3-Base）出发，直接
   通过大规模强化学习提升推理能力，跳过了传统的监督微调步骤。支持模型在没有标注数据
   的情况下，通过试错学习复杂的推理策略。
 * **GRPO 算法**：模型采用了 GRPO（Group Relative Policy Optimization）算法，通过
   组内归一化奖励信号优化策略。GRPO 通过采样一组输出（例如 16 条），计算组内奖励
   的均值和标准差，生成优势函数，避免了传统 PPO（Proximal Policy Optimization）中
   需要额外训练价值模型的高成本。
 * **奖励机制设计**：模型通过稀疏奖励（例如仅在答案正确时给予奖励）来驱动探索，同时
   支持长上下文（如 32k tokens），支持模型进行多步推理和验证。使模型自主探索有效
   的推理路径。
 * **自我进化与涌现行为**：在训练过程中，模型展现出自我进化的能力，例如反思、重新
   评估推理步骤等复杂行为。这些行为并非预设，是通过强化学习自然涌现。
 * **长上下文支持**：DeepSeek R1-Zero 支持生成超长的思维链（CoT），平均长度可达 
   1200 词。为复杂推理提供了足够的空间，使模型能进行多步回溯和验证。
 * **多任务泛化**：模型还在代码生成、知识问答等多任务中展现了强大的泛化能力。这种
   泛化能力得益于强化学习的灵活性和模型的自主学习机制。

## DeepSeek R1-Zero的项目地址

 * **HuggingFace模型库**：[https://huggingface.co/deepseek-ai/DeepSeek-R1-Zero](https://huggingface.co/deepseek-ai/DeepSeek-R1-Zero)

## DeepSeek R1-Zero的应用场景

 * **教育领域**：DeepSeek R1-Zero 可以用于个性化学习计划的制定和智能辅导系统。能
   根据学生的学习进度和兴趣爱好，提供针对性的练习和反馈，帮助学生更好地掌握知识。
 * **医疗健康**：在医疗领域，DeepSeek R1-Zero 可以用于辅助诊断和药物研发。能分析
   大量医学数据，识别病变特征，为癌症等疾病的早期筛查提供支持。
 * **自动驾驶**：DeepSeek R1-Zero 在自动驾驶领域具有潜力，能根据交通状况和突发情况
   做出快速决策，优化行驶路线，提高行车安全性。
 * **代码生成与优化**：在编程领域，DeepSeek R1-Zero 可以用于代码生成和优化。在 Codeforces
   等编程竞赛任务中表现出色，能生成高质量的代码解决方案。
 * **自然语言处理**：DeepSeek R1-Zero 在自然语言推理任务中表现出色，能处理复杂的
   语言逻辑问题，适用于问答系统、文本分析等场景。

🧭 文中关联 [AI 工具](https://ai.paooo.com/)官网与参数卡（语宙 AI 导航）

**DeepSeek ↗**

DeepSeek 是由幻方量化公司推出的 AI 智能助手和开源大模型平台。其核心功能包括提供世界
级推理能力的 A

**HuggingFace ↗**

HuggingFace：AI模型开发社区，面向大语言模型场景提供便捷实用的在线功能支持，涵盖大
模型等实用方向。

❓ 常见问题解答（FAQ）

DeepSeek R1-Zero 是什么模型？

DeepSeek R1-Zero 是 DeepSeek 团队开发的开源推理模型，核心特点是完全依赖纯强化学习
训练，没有使用监督微调（SFT）数据，主要面向数学、代码和自然语言推理任务。

DeepSeek R1-Zero 的推理能力有多强？

文章提到它在 AIME 2024 数学竞赛中的 pass@1 从 15.6% 提升到 71.0%，表现接近 OpenAI-
o1-0912，说明其在复杂推理任务上具备很强竞争力。

DeepSeek R1-Zero 可以怎么用？

它适合用于教育辅导、代码生成与优化、自然语言推理等场景；同时模型权重已开源，支持
通过蒸馏训练 7B、32B、70B 等小模型，便于研究和部署。

🔬 语宙深潜追问 · 进阶实操拆解

R1-Zero 为什么能学出推理能力？

因为奖励信号直接驱动模型在长链路推理中探索更优策略，逐步形成自我纠错和反思行为。
但它对奖励设计、采样策略和训练稳定性极其敏感，工程上并不等于“不要数据”。

开源团队如何复现这种训练范式？

先从可验证任务入手，如数学、代码和逻辑题，再设计清晰的奖励函数与自动评测器。训练
时要控制探索强度、监控崩塌风险，并准备回退机制；否则纯 RL 很容易出现不收敛或奖励
投机。

🗳️ 读者观点微投票 · 您的实战立场是？

纯强化学习能否替代监督微调？

🕸️ 语宙向量知识图谱 · 语义强关联深度内链

[🐋 所属权威专题：DeepSeek 深度实战与部署 →](https://paooo.com/topics/deepseek/)

 * [DeepSeek-R1 – DeepSeek推出的高性能AI推理模型，性能对标OpenAI o1正式版](https://paooo.com/aigc-news/22722/)
 * [DeepSeek-R1-Lite – 深度求索推出的新一代AI推理模型，媲美OpenAI o1-preview](https://paooo.com/aigc-news/25486/)
 * [DeepSeek-Prover-V1.5 – 70亿参数的开源数学大模型](https://paooo.com/aigc-news/27394/)
 * [DeepSeek-Prover-V2 – DeepSeek推出的开源数学推理大模型](https://paooo.com/aigc-news/20073/)

[🏛️ Prompt 语宙研究院](https://paooo.com/author/paooo-research/) · Prompt 语宙研究院（
paooo.com Research）专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示
词工程（Prompt Engineering）与全球高增长 AI 生产力工具实测追踪，致力于为中文开发
者与创作者提供一手、可复现的深度技术洞察。

[📄 Markdown 纯净版](https://paooo.com/aigc-news/22701/?format=md)

💡 这篇内容对您有启发吗？

[📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/)

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)
