# RAGEN – 训练大模型推理 Agent 的开源强化学习框架

- Link: https://paooo.com/aigc-news/20163/
- Published: 2026-06-08T19:14:42+08:00
- Author: Prompt 语宙研究院

⚡ [Prompt](https://paooo.com/ai-image-prompts/) 语宙 AI 导读 · 30 秒核心看点

 * 基于 StarPO 的全轨迹优化，把 [Agent](https://paooo.com/trends/) 多轮交互纳入 
   MDP 统一训练。
 * 支持 PPO、GRPO、BRPO 等策略，并用奖励归一化缓解多轮训练不稳定。
 * 模块化设计便于接入自定义环境，已覆盖 Sokoban、FrozenLake 等场景。

## RAGEN是什么

RAGEN是开源的强化学习框架，用于在交互式、随机环境中训练大型语言模型（LLM）推理Agent。
基于StarPO（State-Thinking-Action-Reward Policy Optimization）框架，通过多轮交互
优化整个轨迹，支持PPO、GRPO等多种优化策略。RAGEN通过MDP形式化Agent与环境的交互，
引入渐进式奖励归一化策略，有效解决了多轮强化学习中的不稳定性。RAGEN的代码结构经过
优化，分为环境管理器、上下文管理器和代理代理三个模块，方便扩展和实验。支持多种环境，
如Sokoban、FrozenLake等，展示了良好的泛化能力。

阅读目录

 * [RAGEN是什么](https://paooo.com/aigc-news/20163/#ragen%e6%98%af%e4%bb%80%e4%b9%88)
 * [RAGEN的主要功能](https://paooo.com/aigc-news/20163/#ragen%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd)
 * [RAGEN的技术原理](https://paooo.com/aigc-news/20163/#ragen%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86)
 * [RAGEN的项目地址](https://paooo.com/aigc-news/20163/#ragen%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80)
 * [RAGEN的应用场景](https://paooo.com/aigc-news/20163/#ragen%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af)

![RAGEN](https://paooo.com/wp-content/uploads/2026/06/RAGEN-website-1.avif)

## RAGEN的主要功能

 * **多轮交互与轨迹优化**：RAGEN通过StarPO（State-Thinking-Actions-Reward Policy
   Optimization）框架，将Agent与环境的交互形式化为马尔可夫决策过程（MDP），优化整个
   交互轨迹，不仅是单步动作。全轨迹优化策略有助于Agent在复杂环境中做出更合理的决策。
 * **强化学习算法支持**：RAGEN支持多种强化学习算法，包括PPO、GRPO和BRPO等，为研究者
   提供了灵活的算法选择。
 * **易于扩展的环境支持**：RAGEN支持多种环境，包括Sokoban、FrozenLake等，提供了添加
   自定义环境的接口，方便研究者进行实验。
 * **稳定性和效率提升**：RAGEN通过基于方差的轨迹过滤、引入“评论家”以及解耦裁剪等
   技术，有效提高了训练的稳定性和效率。

## RAGEN的技术原理

 * **MDP形式化**：RAGEN将Agent与环境的交互形式化为马尔可夫决策过程（MDP），其中状态
   和动作是token序列。支持LLM对环境动态进行推理。
 * **StarPO框架**：框架通过两个交替阶段进行训练：
    - **Rollout阶段**：给定初始状态，LLM生成多条推理引导的交互轨迹，每一步接收轨迹
      历史并生成动作。
    - **Update阶段**：生成轨迹后，使用重要性采样优化整个轨迹的预期奖励，非单步优
      化，实现长远推理。
 * **优化策略**：StarPO支持多种强化学习算法，如PPO（近端策略优化）和GRPO（归一化
   奖励策略优化），适应不同的训练需求。
 * **渐进式奖励归一化策略**：为解决多轮训练中的不稳定性，RAGEN引入了基于不确定性的
   过滤、移除KL惩罚和不对称PPO裁剪等策略。
 * **模块化设计**：RAGEN采用模块化架构，包括环境状态管理器、上下文管理器和Agent代理，
   便于扩展和定制。

## RAGEN的项目地址

 * **项目官网**：[https://ragen-ai.github.io/](https://ragen-ai.github.io/?utm_source=ai-bot.cn)
 * **Github仓库**：[https://github.com/RAGEN-AI/RAGEN](https://github.com/RAGEN-AI/RAGEN)
 * **技术论文**：[https://ragen-ai.github.io/pdf/RAGEN.pdf](https://ragen-ai.github.io/pdf/RAGEN.pdf)

## RAGEN的应用场景

 * **智能对话系统**：RAGEN可用于训练对话系统，在与用户的交互中具备更好的推理能力，
   提供更加自然和准确的回答。
 * **游戏AI**：在复杂、动态的游戏环境中，RAGEN可以帮助Agent进行合理的策略规划和执行。
 * **自动化推理**：RAGEN可以应用于数学问题解答、编程任务等自动化推理场景，提高系统
   解决问题的能力。
 * **企业知识管理**：RAGEN可以用于企业内部文档助手，从公司Wiki、会议纪要中定位信息，
   生成项目报告或会议摘要。
 * **法律咨询**：在法律领域，RAGEN可以匹配相关法律条文和判例，用通俗语言解释法律
   风险。
 * **内容创作**：RAGEN可以用于技术博客撰写、新闻报道生成等场景。通过检索GitHub代码
   示例、技术文档等，RAGEN能整合信息输出结构化的教程。

❓ 常见问题解答（FAQ）

RAGEN 适合训练什么类型的 Agent？

RAGEN 主要用于训练在交互式、随机环境中进行推理的[大模型](https://paooo.com/ai-study/)
Agent，尤其适合需要多轮决策的任务，如游戏策略、自动化推理、对话系统和知识检索类应用。

RAGEN 和普通强化学习框架有什么区别？

RAGEN 的核心区别在于它把 Agent 与环境的多轮交互视为完整轨迹来优化，而不是只优化单
步动作；同时结合 StarPO、奖励归一化和轨迹过滤，提升了长链路推理训练的稳定性。

RAGEN 支持哪些环境和算法？

文中提到 RAGEN 支持 Sokoban、FrozenLake 等环境，并支持 PPO、GRPO、BRPO 等强化学习
算法；同时提供自定义环境接口，方便研究者扩展实验。

🔬 语宙深潜追问 · 进阶实操拆解

多轮交互为何要纳入轨迹优化？

因为Agent的关键能力不在单步回答，而在连续决策。把整条轨迹一起优化，才能让模型学会
在试错后修正策略，而不是只追求某一步的局部最优。

渐进式奖励归一化怎么用？

先按任务难度和回合长度做分层归一化，再逐步收紧尺度，避免早期奖励波动把策略带偏。
它的作用是让训练更稳，减少高方差导致的崩塌。

🗳️ 读者观点微投票 · 您的实战立场是？

训练推理Agent时最该优化什么？

🕸️ 语宙向量知识图谱 · 语义强关联深度内链

[🧬 所属权威专题：RAG 知识库与模型微调 →](https://paooo.com/topics/rag-fine-tuning/)

 * [OpenR – 伦敦大学联合多所高校推出提升大模型推理能力的框架](https://paooo.com/aigc-news/26314/)
 * [DeepRAG – 中科院、中科大和腾讯微信AI部联合推出的新型检索增强生成框架](https://paooo.com/aigc-news/22362/)
 * [从链式思考（CoT）到多智能体强化学习：2026 企业级推理大模型与 Agentic RAG 系统工程全景实战指南](https://paooo.com/ai-study/41594/)
 * [R1-Omni – 阿里通义开源的全模态大语言模型](https://paooo.com/aigc-news/21152/)

[🏛️ Prompt 语宙研究院](https://paooo.com/author/paooo-research/) · Prompt 语宙研究院（
paooo.com Research）专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示
词工程（Prompt Engineering）与全球高增长 AI 生产力工具实测追踪，致力于为中文开发
者与创作者提供一手、可复现的深度技术洞察。

[📄 Markdown 纯净版](https://paooo.com/aigc-news/20163/?format=md)

💡 这篇内容对您有启发吗？

[📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/)

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)
