5月28日，英伟达（NVIDIA）研究团队正式开源了名为 Polar 的强化学习训练框架。该框架的核心创新在于，它能够让 Codex、Claude Code、Qwen Code 等现有主流代码智能体（Agent）在不修改任何原生代码的情况下，无缝接入 GRPO（广义相对策略优化）强化学习训练。

image.png

一、行业痛点:智能体强化学习的“围墙”

代码智能体正从执行简单的单步命令，进化到处理仓库级代码修改、操作系统交互等复杂长流程任务。这使得开发者越来越依赖成熟的执行框架（Harness）来构建应用。然而，一个现实难题随之浮现：如何将这些复杂的框架与传统的强化学习基础设施无缝衔接？这中间存在不小的挑战。

  • 接入成本高: 传统方法要求将代码逻辑强行重写为 env.init（）、env.step() 等标准环境接口，极其繁琐。

  • 首先是信息缺失问题。在重新构建环境的过程中，关键的工具调用细节、多轮对话的上下文信息，或是多个子智能体之间的协作逻辑，常常会丢失。这直接导致模型无法获取到高质量的训练信号。

image.png

二、核心解法:将“边界”作为训练入口

Polar 不要求重写执行框架，而是将“模型 API 边界”作为训练的切入点。

  • 其次是黑盒处理难题。Polar 的解决方案是在代码执行框架与模型推理服务器之间，插入一个透明的代理网关（Gateway）。无论智能体调用的是 Anthropic、OpenAI 还是 Google 的 API 接口，这个网关都能无缝地拦截和转发所有请求。

  • 轨迹重构: 在转发过程中，Polar 实时记录提示词、采样 Token、对数概率等关键信息，并将其重建成强化学习训练器所需的“轨迹”数据。

  • 第三是系统效率优化。Polar 采用了高效的异步架构设计。其中，Rollout Server 负责任务调度与数据持久化，Gateway Node 则处理智能体的生命周期和资源回收。通过引入预热缓冲池（READY buffer）以及并行任务处理机制，系统有效避免了长尾任务对 GPU 训练资源的阻塞。

三、性能飞跃:让编码智能体脱胎换骨

实验数据显示，Polar 配合 GRPO 训练带来了显著的性能增益:

  • 在权威的 SWE-Bench Verified 基准测试中，基于同一个 Qwen3.5-4B 基础模型，Polar 在不同代码框架下取得了令人瞩目的成绩：

    • Codex 框架: pass@1分数从3.8% 飙升至26.4%（涨幅高达 594.74%）。

    • 例如，在 Claude Code 框架下，任务成功率从 29.8% 大幅提升至 34.6%。

    • Pi 框架: 从34.2% 提升至40.4%。

  • 极致效率: 引入 prefix_merging 策略后，相比传统的 per_request 模式，训练墙钟时间缩短约 5.39倍，GPU 利用率从20.4% 跃升至 87.7%。

行业点评

英伟达开源 Polar，本质上是为“AI 智能体”领域铺就了一条通往高效强化学习训练的“高速公路”。它不仅让研究人员能够利用海量的开源代码框架进行快速训练，更通过底层的系统优化，显著降低了对 GPU 算力的硬性需求。

随着 Polar 的普及，开发者无需再为“如何让模型适配训练框架”而苦恼，未来 AI 编码智能体的进化路径将变得更加标准化与高效。这标志着 AI 智能体的训练正在从实验室的手动调优，向规模化、系统化的工程化生产迈进。

论文地址：https://arxiv.org/pdf/2605.24220