# OpenR – 伦敦大学联合多所高校推出提升大模型推理能力的框架

- Link: https://paooo.com/aigc-news/26314/
- Published: 2026-07-09T01:35:08+08:00
- Author: 站外新闻

## OpenR是什么

OpenR是一个由伦敦大学学院（UCL）、上海交通大学、利物浦大学、香港科技大学（广州）
和西湖大学联合推出的一个开源框架，结合搜索、强化学习和过程监督提升大型语言模型（
LLM）的推理能力。框架受到[OpenAI](https://paooo.com/tag/openai/)的o1模型的启发，
模型基于在推理过程中整合强化学习显著提高模型的推理能力。OpenR是第一个提供集成技术
开源实现的框架，支持LLM基于有效的数据获取、训练和推理路径实现高级推理。OpenR支持
在线强化学习训练和多种搜索策略，遵循测试时扩展法则，支持模型在测试时通过生成或搜索
方式提供精细化的输出。OpenR提供一个自动化的数据管道，从结果标签中提取推理步骤，减少
人工标注的工作量，同时确保收集有价值的推理信息。

阅读目录

 * [OpenR是什么](https://paooo.com/aigc-news/26314/#openr%e6%98%af%e4%bb%80%e4%b9%88)
 * [OpenR的主要功能](https://paooo.com/aigc-news/26314/#openr%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd)
 * [OpenR的技术原理](https://paooo.com/aigc-news/26314/#openr%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86)
 * [OpenR的项目地址](https://paooo.com/aigc-news/26314/#openr%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80)
 * [OpenR的应用场景](https://paooo.com/aigc-news/26314/#openr%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af)

![OpenR](https://paooo.com/wp-content/uploads/2026/07/OpenR-website-1.avif)

## OpenR的主要功能

 * **集成训练与推理**：将数据获取、强化学习训练（在线和离线）及非自回归解码集成在
   一个统一平台。
 * **过程奖励模型（PRM）**：在训练期间基于策略优化技术改进LLM策略，在解码阶段引导
   LLM的搜索过程。
 * **强化学习环境**：将数学问题建模为马尔可夫决策过程（MDP），基于强化学习方法优
   化模型策略。
 * **多策略搜索与解码**：支持多种搜索算法，如Beam Search、Best-of-N，结合PRM进行
   的引导搜索和评分。
 * **数据增强与自动化标注**：基于自动化方法生成合成样本，减少人工标注依赖，提高数据
   收集效率。

## OpenR的技术原理

 * **过程奖励模型（PRM）**：PRM用在评估解决方案步骤的正确性，基于监督学习训练，将
   正确或错误的判定作为分类标签，预测每一步的后续标记。
 * **策略迭代**：在训练期间，PRM基于策略优化技术如策略迭代改进LLM策略，在解码阶段，
   PRM引导LLM的搜索过程，让推理朝着更有效的结果发展。
 * **马尔可夫决策过程（MDP）**：将数学问题转换为MDP，由状态、动作和奖励组成，模型
   生成推理步骤作为动作，根据当前状态和动作决定下一个状态。
 * **强化学习**：用近端策略优化（PPO）和群体相对策略优化（GRPO）等算法进行在线强化
   学习训练，优化模型生成的语言输出。
 * **搜索算法**：在解码阶段，用PRM评估每个解决步骤的准确性，结合语言模型进行引导
   搜索和多次生成的评分或投票。

## OpenR的项目地址

 * **项目官网**：[openreasoner.github.io](https://openreasoner.github.io/?utm_source=ai-bot.cn)
 * **GitHub仓库**：[https://github.com/openreasoner/openr](https://github.com/openreasoner/openr)
 * **技术论文**：[https://github.com/openreasoner/openr/blob/main/reports/OpenR-Wang.pdf](https://github.com/openreasoner/openr/blob/main/reports/OpenR-Wang.pdf)

## OpenR的应用场景

 * **数学问题求解**：OpenR解决数学问题，基于推理步骤的生成和评估，找到正确的解答
   路径。
 * **代码生成和调试**：在软件开发中，OpenR帮助生成代码片段，或者调试过程中查找和
   修正代码中的错误。
 * **自然语言处理（NLP）任务**：OpenR用在机器阅读理解、问答系统、文本摘要等需要深入
   理解文本和逻辑推理的NLP任务。
 * **教育辅助**：在教育领域，OpenR作为辅助工具，帮助学生理解复杂的概念和解题步骤，
   提供个性化的学习路径。
 * **自动化客户服务**：在客户服务领域，OpenR基于推理用户的问题和需求，提供准确的
   答案和解决方案。

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,000+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[⚡ AIGC 早报生成器](https://paooo.com/mtool/)