# Polar – 英伟达开源的智能体强化学习训练框架

- Link: https://paooo.com/aigc-news/18617/
- Published: 2026-06-07T21:42:22+08:00
- Author: Prompt 语宙研究院

⚡ [Prompt](https://paooo.com/ai-image-prompts/) 语宙 AI 导读 · 30 秒核心看点

 * 零侵入接入现有 harness：不改源码即可把 Codex CLI、[Claude](https://paooo.com/aigc-news/)
   Code 等智能体接入 RL 训练。
 * API 代理在调用边界捕获 token、logprob 与响应，结合轨迹重建保证训练信号与行为对
   齐。
 * 异步 Rollout-as-a-Service 架构解耦执行与训练，prefix merging 可将训练时间缩短
   约 5.39 倍。

## Polar是什么

Polar 是英伟达推出的开源[智能体](https://paooo.com/trends/)强化学习（Agentic RL）
训练框架，核心创新在于无需修改现有智能体框架内部代码，可将其接入 GRPO 等 RL 算法
进行训练。框架通过在 LLM API 调用边界放置代理，捕获 token 级交互数据并重建训练轨迹，
使 [Codex CLI](https://ai-bot.cn/codex-cli/)、[Claude Code](https://ai-bot.cn/sites/56948.html)、
Qwen Code、Pi 等复杂代码智能体 harness 直接变为可训练的 RL 环境。

阅读目录

 * [Polar是什么](https://paooo.com/aigc-news/18617/#polar%e6%98%af%e4%bb%80%e4%b9%88)
 * [Polar的主要功能](https://paooo.com/aigc-news/18617/#polar%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd)
 * [Polar的技术原理](https://paooo.com/aigc-news/18617/#polar%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86)
 * [如何使用Polar](https://paooo.com/aigc-news/18617/#%e5%a6%82%e4%bd%95%e4%bd%bf%e7%94%a8polar)
 * [Polar的核心优势](https://paooo.com/aigc-news/18617/#polar%e7%9a%84%e6%a0%b8%e5%bf%83%e4%bc%98%e5%8a%bf)
 * [Polar的项目地址](https://paooo.com/aigc-news/18617/#polar%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80)
 * [Polar的同类竞品对比](https://paooo.com/aigc-news/18617/#polar%e7%9a%84%e5%90%8c%e7%b1%bb%e7%ab%9e%e5%93%81%e5%af%b9%e6%af%94)
 * [Polar的应用场景](https://paooo.com/aigc-news/18617/#polar%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af)

![Polar](https://paooo.com/wp-content/uploads/2026/06/Polar-website-1.avif)

## Polar的主要功能

 * **API 代理捕获**：在智能体与推理服务器之间插入兼容 Anthropic、[OpenAI](https://paooo.com/tag/openai/)、
   Google 风格的 API 代理，透明转发请求并记录 prompts、sampled tokens、log probabilities
   和 responses。
 * **轨迹重建**：提供 per-request（逐请求）和 prefix merging（前缀合并）两种策略，
   将多轮模型调用重建为训练器可直接消费的 RL 轨迹。
 * **异步服务架构**：Rollout Server 负责任务调度与负载均衡，Gateway Nodes 负责运行
   时预热、智能体执行、轨迹构建和评估，解耦训练与执行。
 * **多 Harness 兼容**：内置[ Claude Code](https://ai-bot.cn/sites/56948.html)、
   [Codex](https://ai-bot.cn/sites/53.html)、Qwen Code、[OpenCode](https://ai-bot.cn/sites/69806.html)、
   Pi、[Gemini CLI](https://ai-bot.cn/gemini-cli/) 等主流代码智能体的快捷适配。
 * **容器化运行时**：支持 Docker 和 rootless Apptainer，提供隔离执行环境。

## Polar的技术原理

 * **黑盒代理范式**：Polar 不将智能体 harness 改写为 env.init()/env.step() 接口，
   而是将 LLM API 流量作为 rollout 边界，保持 harness 原生执行逻辑不变。
 * **Token 保真轨迹重建**：直接从推理后端获取 token IDs 和 log probabilities，避免
   retokenization drift（重编码漂移），确保训练信号与行为策略严格对齐。
 * **Prefix Merging 算法**：检测多轮对话中 prompt 的 token-prefix 关系，将 append-
   only 的对话链合并为更长的训练轨迹，减少 trainer 更新次数。
 * **异步分阶段执行**：Gateway 内部分离 INIT（运行时启动）、RUN（harness 执行）、
   POSTRUN（轨迹构建与评估）三个独立工作池，配合 READY 缓冲区实现运行时预热与 GPU
   训练并行。
 * **权重同步机制**：Trainer 与 Inference Server 之间异步同步模型权重，rollout 在
   旧策略上持续采样，trainer 在收到足够轨迹后执行策略更新。

## 如何使用Polar

 * **部署 Polar 服务**：启动 Rollout Server 和 Gateway Nodes，配置 Inference Server（
   如 SGLang）。
 * **配置 Harness**：将目标智能体（如 Codex CLI）的模型 base URL 指向 Polar Gateway
   代理端点。
 * **编写适配器**：创建 harness adapter（通常只需配置环境变量、provider 设置和启动
   命令）。
 * **提交训练任务**：通过 Polar API 提交 TaskRequest，指定 harness、运行时、评估
   器和轨迹构建策略。
 * **接入 Trainer**：训练框架（如 Slime、Megatron）通过回调接收 Polar 返回的轨迹
   数据，执行 GRPO 等 RL 算法更新。

## Polar的核心优势

 * **零侵入集成**：无需修改现有智能体框架源码，降低接入 RL 训练的技术门槛。
 * **Harness 无关性**：兼容任意基于 LLM API 的智能体，包括闭源二进制程序。
 * **高效资源利用**：异步架构使 CPU 密集型运行时准备不阻塞 GPU 训练，prefix merging
   将训练时间缩短约 5.39 倍。
 * **Token 级保真**：直接从推理后端捕获原始 token，避免文本重编码带来的训练信号失真。
 * **弹性扩展**：Rollout-as-a-service 设计支持大规模分布式异步 RL 训练。

## Polar的项目地址

 * **GitHub仓库**：https://github.com/NVIDIA-NeMo/ProRL-Agent-Server
 * **arXiv技术论文**：https://arxiv.org/pdf/2605.24220

## Polar的同类竞品对比

  |  维度 |  **Polar（英伟达）** |  **SkyRL-Agent** |  **Agent Lightning** |  
   |  **核心定位** |  Rollout-as-a-Service 基础设施 |  全栈多轮 Agent RL 训练与评估系统 |  训练-智能体解耦架构 + 统一数据接口 |  
 |  **集成侵入性** |  **零侵入**：API 代理拦截，无需改 harness 源码 |  **需重写**：需将 agent 适配到 Gymnasium 风格接口 |  **低侵入**：需接入标准追踪接口或 SDK 回调 |  
 |  **Harness 兼容性** |  任意黑盒 harness（含闭源二进制） |  仅限框架内实现的 agent |  需符合预设接口的 agent |  
 |  **Rollout 边界** |  LLM API 流量边界 |  Agent 执行逻辑内部 |  Agent 执行追踪层 |  
 |  **异步架构** |  原生异步服务边界（Server + Gateway Nodes） |  支持异步，但 agent 与训练紧耦合 |  有限异步支持 |  
 |  **轨迹重建** |  Token 保真 + Prefix Merging（减少 trainer 更新） |  框架内直接生成轨迹 |  统一数据接口转换 |  
 |  **运行时隔离** |  Docker / Apptainer |  支持容器化 |  未明确 |  
 |  **训练算法耦合** |  与算法无关（GRPO / PPO 等均可接入） |  内置算法优化 |  与算法无关 |  
 |  **代表场景** |  Codex、Claude Code、Qwen Code 等现成 harness 的 RL 训练 |  长流程多轮工具使用 agent 训练 |  跨框架 agent 训练数据收集 |

## Polar的应用场景

 * **代码智能体强化学习**：对 Codex、Claude Code 等编程助手进行 RL 微调，提升 SWE-
   Bench 等软件工程 benchmark 表现。
 * **多轮工具使用 Agent 训练**：训练需要持续调用外部工具（浏览器、数据库、API）的
   长流程智能体。
 * **离线 SFT 数据生成**：利用 Polar 在自定义 harness 上批量生成高质量训练数据，
   用于监督微调。
 * **多智能体协作优化**：对包含子智能体编排和上下文压缩的复杂多 Agent 系统进行端
   到端 RL 训练。
 * **闭源 Agent 评估与改进**：对无法获取源码的闭源智能体产品进行黑盒 RL 训练和能力
   提升。

🧭 文中关联 AI 工具官网与参数卡（语宙 AI 导航）

**Claude Code ↗**

Claude Code：人工智能安全和研究公司，面向AI 编程辅助场景提供便捷实用的在线功能支持，
涵盖AI编程等

**Anthropic ↗**

Anthropic：人工智能安全和研究公司，面向大语言模型场景提供便捷实用的在线功能支持，
涵盖智能工具等实用方向

**OpenCode ↗**

开源 AI 编程工具 ， Claude Code 最佳平替。

❓ 常见问题解答（FAQ）

Polar 适合训练哪些智能体？

Polar 适合所有基于 LLM API 的智能体，尤其是代码智能体 harness，如 Codex CLI、Claude
Code、Qwen Code、Pi、Gemini CLI 等。它通过代理接入，不要求改写智能体内部代码。

Polar 为什么说是零侵入接入？

因为它不要求把智能体改造成 env.init()/env.step() 形式，而是在 LLM API 调用边界插入
代理，直接捕获请求、token 和响应，再重建可训练轨迹。

Polar 的 prefix merging 有什么作用？

prefix merging 会识别多轮对话中的 token 前缀关系，把 append-only 的调用链合并成更
长轨迹，减少 trainer 更新次数，并提升训练效率，文中提到可缩短约 5.39 倍。

🔬 语宙深潜追问 · 进阶实操拆解

token级轨迹重建有何实际价值？

它能把智能体在真实代码环境中的每一步决策还原成训练样本，保留上下文、动作和反馈，
特别适合代码生成、工具调用和长链路任务。相比离线日志，轨迹更细，能显著提升RL信号
质量。

prefix merging 为什么能提效？

它把重复前缀合并计算，减少长上下文下的冗余推理和训练开销。实际使用时最适合大量共享
系统提示、相似任务模板或多轮交互场景，但要注意前缀一致性，否则会引入错误共享。

🗳️ 读者观点微投票 · 您的实战立场是？

Polar 这种零侵入 RL 框架值得上生产吗？

🕸️ 语宙向量知识图谱 · 语义强关联深度内链

[💻 所属权威专题：Claude & AI 编程 / MCP →](https://paooo.com/topics/claude-mcp-coding/)

 * [英伟达Polar框架开源：零门槛强化学习，AI编码智能体进化提速500%+](https://paooo.com/aigc-news/18170/)
 * [英伟达开源Polar框架发布：Codex性能暴涨近600%，GRPO训练法引爆智能体革命](https://paooo.com/aigc-news/18110/)
 * [一句话生成3D游戏且直替Claude Code！至知创新重磅开源320B Agent大模型IQuest-Q1：单Token激活15B、首创MOPD多教师在线蒸馏与NL2Repo登顶全景实测拆解](https://paooo.com/ai-tool/40623/)
 * [AReaL 2.0 – 蚂蚁等开源的Agent在线强化学习基础架构](https://paooo.com/aigc-news/24030/)

[🏛️ Prompt 语宙研究院](https://paooo.com/author/paooo-research/) · Prompt 语宙研究院（
paooo.com Research）专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示
词工程（Prompt Engineering）与全球高增长 AI 生产力工具实测追踪，致力于为中文开发
者与创作者提供一手、可复现的深度技术洞察。

[📄 Markdown 纯净版](https://paooo.com/aigc-news/18617/?format=md)

💡 这篇内容对您有启发吗？

[📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/)

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)
