# rStar-Math – 微软推出的小模型复杂推理与自进化SLMs的创新技术

- Link: https://paooo.com/aigc-news/22982/
- Published: 2026-06-09T15:16:37+08:00
- Author: 站外新闻

## rStar-Math是什么

rStar-Math是微软亚洲研究院推出的创新研究项目，基于蒙特卡洛树搜索（MCTS）驱动的深度
思考，使小型语言模型（SLMs）在数学推理方面达到甚至超越[OpenAI](https://paooo.com/tag/openai/)
大型模型的水平。rStar-Math不依赖于从更高级模型的数据蒸馏，是用自我进化的深度思考
提升模型性能。rStar-Math引入三种创新方法：代码增强的逐步验证推理轨迹合成、基于Q值
的过程偏好模型（PPM）训练方法，及四轮自我进化的训练策略。rStar-Math在MATH基准测试
中将Qwen2.5-Math-7B的准确率从58.8%提高到90.0%，在AIME 2024测试中平均解决53.3%的问题，
超越OpenAI的o1-preview模型。rStar-Math展示了模型的内在自我反思能力，在推理过程中
识别并纠正错误的步骤。

阅读目录

 * [rStar-Math是什么](https://paooo.com/aigc-news/22982/#rstarmath%e6%98%af%e4%bb%80%e4%b9%88)
 * [rStar-Math的主要功能](https://paooo.com/aigc-news/22982/#rstarmath%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd)
 * [rStar-Math的技术原理](https://paooo.com/aigc-news/22982/#rstarmath%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86)
 * [rStar-Math的项目地址](https://paooo.com/aigc-news/22982/#rstarmath%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80)
 * [rStar-Math的应用场景](https://paooo.com/aigc-news/22982/#rstarmath%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af)

![rStar-Math](https://paooo.com/wp-content/uploads/2026/06/rStar-Math-website-1.
avif)

## rStar-Math的主要功能

 * **生成高质量的数学推理轨迹**：基于蒙特卡洛树搜索（MCTS）生成逐步验证的推理轨迹，
   确保每个步骤的正确性和高质量。
 * **自我进化**：用四轮自我进化，逐步提升策略模型和过程偏好模型（PPM）的性能，处理
   更复杂的数学问题。
 * **提高模型的准确率**：在多个数学基准测试中显著提高模型的准确率，例如在MATH基准
   测试中将Qwen2.5-Math-7B的准确率从58.8%提高到90.0%。
 * **自我反思能力**：模型能在推理过程中识别并纠正错误的步骤，展现出自我反思的能力。

## rStar-Math的技术原理

 * **代码增强的逐步验证推理轨迹合成**
    - **MCTS驱动的深度思考**：将复杂的数学问题分解为多个单步生成任务，基于MCTS逐步
      构建搜索树，生成推理轨迹。
    - **代码执行验证**：策略模型生成自然语言（NL）推理步骤和相应的Python代码。
    - **Q值标注**：基于终端引导标注和PPM增强标注两种方法，为每个步骤自动分配Q值，
      指导MCTS节点选择和识别高质量步骤。
 * **过程偏好模型（PPM）训练方法**
    - **避免直接使用Q值**：传统的Q值作为奖励标签存在噪声和不精确的问题。rStar-Math
      通过构建步骤级的正负偏好对，使用成对排名损失来训练PPM，提高标签的可靠性。
    - **偏好对构建**：对于每个步骤，选择Q值最高的两个步骤作为正例，Q值最低的两个
      步骤作为负例。PPM通过这些偏好对进行训练，预测每个步骤的奖励标签。
 * **四轮自我进化**
    - **初始强策略模型**：第一轮用DeepSeek-Coder-V2-Instruct作为初始策略模型，进行
      MCTS rollout生成训练数据。
    - **可靠PPM训练**：第二轮用更新后的策略模型进行更可靠的Q值标注，训练第一个可靠
      的PPM。
    - **PPM增强MCTS**：第三轮用可靠的PPM进行MCTS，生成更高质量的推理轨迹，覆盖更多
      的数学和竞赛级问题。
    - **解决挑战性问题**：第四轮增加MCTS rollout次数和不同的随机种子，提高对竞赛
      级问题的覆盖率。

## rStar-Math的项目地址

 * **arXiv技术论文**：[https://arxiv.org/pdf/2501.04519](https://arxiv.org/pdf/2501.04519)

## rStar-Math的应用场景

 * **教育辅导**：为学生提供个性化的数学学习辅导，逐步解决复杂的数学问题，提高解题
   能力和理解力。
 * **科研支持**：辅助数学家和科学家进行复杂的数学问题探索，生成初步的解题思路和验证
   步骤，加速研究进程。
 * **金融科技**：在金融风险评估和量化交易中，基于精确的数学模型和推理，预测市场风险
   和优化交易策略。
 * **工程设计**：在工程设计和系统优化中，用数学推理优化系统参数，提高系统的性能和
   可靠性。
 * **数据分析**：在企业数据分析中，基于数学模型和推理，从大量数据中挖掘有价值的信息，
   进行市场预测和业务决策支持。

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,000+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[⚡ AIGC 早报生成器](https://paooo.com/mtool/)