---
title: "Polar – 英伟达开源的智能体强化学习训练框架"
url: "https://paooo.com/aigc-news/18617/"
author: "Prompt 语宙研究院"
published_at: "2026-06-07T21:42:22+08:00"
updated_at: "2026-06-07T20:02:26+08:00"
categories: "AIGC 资讯"
tags: "Claude, Cursor, Gemini, OpenAI, 通义千问"
source: "Prompt 语宙 (https://paooo.com)"
ai_tools_directory: "语宙 AI 导航 (https://ai.paooo.com)"
---

# Polar – 英伟达开源的智能体强化学习训练框架

> 来源：[Prompt 语宙 (paooo.com)](https://paooo.com/aigc-news/18617/) · 作者：Prompt 语宙研究院 · 发布时间：2026-06-07

## AI 30 秒核心看点 (TL;DR)

- 零侵入接入现有 harness：不改源码即可把 Codex CLI、Claude Code 等智能体接入 RL 训练。
- API 代理在调用边界捕获 token、logprob 与响应，结合轨迹重建保证训练信号与行为对齐。
- 异步 Rollout-as-a-Service 架构解耦执行与训练，prefix merging 可将训练时间缩短约 5.39 倍。

## Polar是什么

Polar 是英伟达推出的开源智能体强化学习（Agentic RL）训练框架，核心创新在于无需修改现有智能体框架内部代码，可将其接入 GRPO 等 RL 算法进行训练。框架通过在 LLM API 调用边界放置代理，捕获 token 级交互数据并重建训练轨迹，使 [Codex CLI](https://ai-bot.cn/codex-cli/)、[Claude Code](https://ai-bot.cn/sites/56948.html)、Qwen Code、Pi 等复杂代码智能体 harness 直接变为可训练的 RL 环境。

## Polar的主要功能

- 
**API 代理捕获**：在智能体与推理服务器之间插入兼容 Anthropic、OpenAI、Google 风格的 API 代理，透明转发请求并记录 prompts、sampled tokens、log probabilities 和 responses。

- 
**轨迹重建**：提供 per-request（逐请求）和 prefix merging（前缀合并）两种策略，将多轮模型调用重建为训练器可直接消费的 RL 轨迹。

- 
**异步服务架构**：Rollout Server 负责任务调度与负载均衡，Gateway Nodes 负责运行时预热、智能体执行、轨迹构建和评估，解耦训练与执行。

- 
**多 Harness 兼容**：内置[ Claude Code](https://ai-bot.cn/sites/56948.html)、[Codex](https://ai-bot.cn/sites/53.html)、Qwen Code、[OpenCode](https://ai-bot.cn/sites/69806.html)、Pi、[Gemini CLI](https://ai-bot.cn/gemini-cli/) 等主流代码智能体的快捷适配。

- 
**容器化运行时**：支持 Docker 和 rootless Apptainer，提供隔离执行环境。

## Polar的技术原理

- 
**黑盒代理范式**：Polar 不将智能体 harness 改写为 env.init()/env.step() 接口，而是将 LLM API 流量作为 rollout 边界，保持 harness 原生执行逻辑不变。

- 
**Token 保真轨迹重建**：直接从推理后端获取 token IDs 和 log probabilities，避免 retokenization drift（重编码漂移），确保训练信号与行为策略严格对齐。

- 
**Prefix Merging 算法**：检测多轮对话中 prompt 的 token-prefix 关系，将 append-only 的对话链合并为更长的训练轨迹，减少 trainer 更新次数。

- 
**异步分阶段执行**：Gateway 内部分离 INIT（运行时启动）、RUN（harness 执行）、POSTRUN（轨迹构建与评估）三个独立工作池，配合 READY 缓冲区实现运行时预热与 GPU 训练并行。

- 
**权重同步机制**：Trainer 与 Inference Server 之间异步同步模型权重，rollout 在旧策略上持续采样，trainer 在收到足够轨迹后执行策略更新。

## 如何使用Polar

- 
**部署 Polar 服务**：启动 Rollout Server 和 Gateway Nodes，配置 Inference Server（如 SGLang）。

- 
**配置 Harness**：将目标智能体（如 Codex CLI）的模型 base URL 指向 Polar Gateway 代理端点。

- 
**编写适配器**：创建 harness adapter（通常只需配置环境变量、provider 设置和启动命令）。

- 
**提交训练任务**：通过 Polar API 提交 TaskRequest，指定 harness、运行时、评估器和轨迹构建策略。

- 
**接入 Trainer**：训练框架（如 Slime、Megatron）通过回调接收 Polar 返回的轨迹数据，执行 GRPO 等 RL 算法更新。

## Polar的核心优势

- 
**零侵入集成**：无需修改现有智能体框架源码，降低接入 RL 训练的技术门槛。

- 
**Harness 无关性**：兼容任意基于 LLM API 的智能体，包括闭源二进制程序。

- 
**高效资源利用**：异步架构使 CPU 密集型运行时准备不阻塞 GPU 训练，prefix merging 将训练时间缩短约 5.39 倍。

- 
**Token 级保真**：直接从推理后端捕获原始 token，避免文本重编码带来的训练信号失真。

- 
**弹性扩展**：Rollout-as-a-service 设计支持大规模分布式异步 RL 训练。

## Polar的项目地址

- **GitHub仓库**：https://github.com/NVIDIA-NeMo/ProRL-Agent-Server

- **arXiv技术论文**：https://arxiv.org/pdf/2605.24220

## Polar的同类竞品对比

维度
**Polar（英伟达）**
**SkyRL-Agent**
**Agent Lightning**

**核心定位**
Rollout-as-a-Service 基础设施
全栈多轮 Agent RL 训练与评估系统
训练-智能体解耦架构 + 统一数据接口

**集成侵入性**
**零侵入**：API 代理拦截，无需改 harness 源码
**需重写**：需将 agent 适配到 Gymnasium 风格接口
**低侵入**：需接入标准追踪接口或 SDK 回调

**Harness 兼容性**
任意黑盒 harness（含闭源二进制）
仅限框架内实现的 agent
需符合预设接口的 agent

**Rollout 边界**
LLM API 流量边界
Agent 执行逻辑内部
Agent 执行追踪层

**异步架构**
原生异步服务边界（Server + Gateway Nodes）
支持异步，但 agent 与训练紧耦合
有限异步支持

**轨迹重建**
Token 保真 + Prefix Merging（减少 trainer 更新）
框架内直接生成轨迹
统一数据接口转换

**运行时隔离**
Docker / Apptainer
支持容器化
未明确

**训练算法耦合**
与算法无关（GRPO / PPO 等均可接入）
内置算法优化
与算法无关

**代表场景**
Codex、Claude Code、Qwen Code 等现成 harness 的 RL 训练
长流程多轮工具使用 agent 训练
跨框架 agent 训练数据收集

## Polar的应用场景

- 
**代码智能体强化学习**：对 Codex、Claude Code 等编程助手进行 RL 微调，提升 SWE-Bench 等软件工程 benchmark 表现。

- 
**多轮工具使用 Agent 训练**：训练需要持续调用外部工具（浏览器、数据库、API）的长流程智能体。

- 
**离线 SFT 数据生成**：利用 Polar 在自定义 harness 上批量生成高质量训练数据，用于监督微调。

- 
**多智能体协作优化**：对包含子智能体编排和上下文压缩的复杂多 Agent 系统进行端到端 RL 训练。

- 
**闭源 Agent 评估与改进**：对无法获取源码的闭源智能体产品进行黑盒 RL 训练和能力提升。

## 常见问题解答 (FAQ)

### Polar 适合训练哪些智能体？
Polar 适合所有基于 LLM API 的智能体，尤其是代码智能体 harness，如 Codex CLI、Claude Code、Qwen Code、Pi、Gemini CLI 等。它通过代理接入，不要求改写智能体内部代码。

### Polar 为什么说是零侵入接入？
因为它不要求把智能体改造成 env.init()/env.step() 形式，而是在 LLM API 调用边界插入代理，直接捕获请求、token 和响应，再重建可训练轨迹。

### Polar 的 prefix merging 有什么作用？
prefix merging 会识别多轮对话中的 token 前缀关系，把 append-only 的调用链合并成更长轨迹，减少 trainer 更新次数，并提升训练效率，文中提到可缩短约 5.39 倍。

---
探索 2,800+ 全球实用 AI 工具与官方直达入口：[语宙 AI 导航 (https://ai.paooo.com/)](https://ai.paooo.com/)
