# AReaL 2.0 – 蚂蚁等开源的Agent在线强化学习基础架构

- Link: https://paooo.com/aigc-news/24030/
- Published: 2026-07-07T13:45:57+08:00
- Author: 站外新闻

## AReaL 2.0是什么

AReaL 2.0是蚂蚁联合香港科技大学、清华大学开源的Agent在线强化学习基础架构，能让已
部署的Agent从真实交互轨迹中持续自我演进。AReaL 2.0通过轨迹数据协议、企业级数据代理
和演进控制平面三根支柱，将生产环境中的会话流转化为可训练经验，无需重写Agent或推倒
业务系统，已加入PyTorch基金会并支持昇腾NPU适配。

阅读目录

 * [AReaL 2.0是什么](https://paooo.com/aigc-news/24030/#areal-20%e6%98%af%e4%bb%80%e4%b9%88)
 * [AReaL 2.0的主要功能](https://paooo.com/aigc-news/24030/#areal-20%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd)
 * [AReaL 2.0的技术原理](https://paooo.com/aigc-news/24030/#areal-20%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86)
 * [如何使用AReaL 2.0](https://paooo.com/aigc-news/24030/#%e5%a6%82%e4%bd%95%e4%bd%bf%e7%94%a8areal-20)
 * [AReaL 2.0的核心优势](https://paooo.com/aigc-news/24030/#areal-20%e7%9a%84%e6%a0%b8%e5%bf%83%e4%bc%98%e5%8a%bf)
 * [AReaL 2.0的项目地址](https://paooo.com/aigc-news/24030/#areal-20%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80)
 * [AReaL 2.0的同类竞品对比](https://paooo.com/aigc-news/24030/#areal-20%e7%9a%84%e5%90%8c%e7%b1%bb%e7%ab%9e%e5%93%81%e5%af%b9%e6%af%94)
 * [AReaL 2.0的应用场景](https://paooo.com/aigc-news/24030/#areal-20%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af)

![AReaL 2.0](https://paooo.com/wp-content/uploads/2026/07/AReaL-2.0-website-1.avif)

## AReaL 2.0的主要功能

 * **在线RL闭环**：将Agent真实交互轨迹自动转化为可训练经验，实现从执行到学习的闭
   环。
 * **轨迹数据采集**：通过ATDP协议以步骤为单位记录完整决策过程，包括观察、动作、结果
   和元数据。
 * **企业级数据治理**：Data Proxy负责拦截、脱敏、权限控制和轨迹持久化，确保训练前
   完成合规处理。
 * **演进控制平面**：根据轨迹统计、失败簇、用户修正率等多维信号，判断模型更新、记忆
   写入或工具调整等修复入口。
 * **微服务化架构**：将训练、推理、权重更新拆分为Gateway、Router、Data Proxy等可
   独立部署的组件。

## AReaL 2.0的技术原理

 * **Agent Trajectory Data Protocol (ATDP)**：面向学习的智能体轨迹协议，将复杂任务
   拆分为可追责、可回放的学习样本。以步骤为单位记录Agent的观察、内部状态、动作选择、
   动作结果、奖励反馈以及模型版本、工具版本、租户、成本等元数据，回答”哪次检索、
   哪个工具调用影响了任务成败”等关键问题。
 * **Agentic Data Proxy**：部署在模型、工具、检索系统、人类反馈渠道等关键边界上的
   学习数据层。负责拦截、采集、脱敏、权限控制、轨迹持久化、奖励收集和回放管理。数据
   进入训练队列前即完成治理，区分可见字段、训练资格数据和仅用于调试审计的数据。
 * **Agent Evolution Control Plane**：智能体演进控制平面，将”是否更新、更新哪里”
   变成可治理的系统性决策。根据轨迹统计、用户修正率、工具失败簇、评估器得分、成本
   信号、安全约束和分布漂移，判断演进应落在模型RL、偏好优化、记忆写入还是工具路由
   调整层面，并支持回放评估、回归测试、灰度发布和版本化追踪。
 * **Online RL微服务运行时**：将原有RL基础设施改造为承接Agent服务流量的在线系统。
   Gateway作为入口承接请求；Router维护会话与Data Proxy的绑定关系，保证多轮交互上下文
   连续；Data Proxy管理会话状态和轨迹；Agent-Compute Worker执行推理、采样和训练计算；
   Controller负责调度、扩缩容和健康检查。

![挖挖GitHub](https://paooo.com/wp-content/uploads/2026/07/wawagithub-9.avif)

微信关注回复“**开源**”，加入**AI开源项目交流群**

## 如何使用AReaL 2.0

 * **访问项目主页**：打开GitHub仓库 https://github.com/areal-project/AReaL 获取源
   码和文档。
 * **安装基础设施**：部署AReaL 2.0的Gateway、Router、Data Proxy和Controller等微服务
   组件。
 * **切换推理入口**：将现有Agent的LLM API调用后端（base_url/api_key）指向AReaL 2.0
   管理的Gateway。
 * **配置轨迹协议**：启用ATDP，以步骤为单位记录Agent的观察、动作、工具调用和结果。
 * **部署数据代理**：配置Data Proxy完成数据拦截、脱敏、权限控制和轨迹持久化。
 * **启动训练闭环**：将采集的真实轨迹导入训练服务，启动在线RL，让Agent从交互中持续
   学习。

## AReaL 2.0的核心优势

 * **低侵入式接入**：只需切换LLM推理后端，无需重写Agent的规划、工具调用、沙箱或记忆
   模块。
 * **真实轨迹驱动**：直接用线上真实交互数据训练，弥合离线仿真环境与实际行为之间的
   差距。
 * **企业级安全治理**：数据脱敏、权限控制和合规边界在训练前完成，适配多租户、多业务
   线场景。
 * **可解释可回滚**：每次演进经过回放评估、回归测试和版本化追踪，出问题可快速退回。
 * **开源生态丰富**：已加入PyTorch基金会，社区提供昇腾NPU适配和LoRA低算力方案。

## AReaL 2.0的项目地址

 * **项目官网**：https://areal-ai.io/en/intro.html
 * **GitHub仓库**：https://github.com/areal-project/AReaL
 * **arXiv技术论文**：https://arxiv.org/pdf/2607.01120

## AReaL 2.0的同类竞品对比

  |  对比维度 |  AReaL 2.0 |  OpenRLHF |  
   |  **产品定位** |  Agent在线RL基础设施，面向服务侧持续演进 |  通用LLM RLHF训练框架，面向模型后训练 |  
 |  **数据来源** |  真实部署环境中的在线会话轨迹 |  离线构建的偏好数据集和仿真环境 |  
 |  **接入方式** |  微服务化，低侵入切换推理后端即可接入 |  需重构训练流程，适配特定模型结构 |  
 |  **数据治理** |  内置企业级Data Proxy，训练前完成脱敏与权限控制 |  需额外搭建数据清洗和治理流程 |  
 |  **架构设计** |  Gateway-Router-Worker微服务解耦，支持会话保持和横向扩展 |  集中式训练架构，侧重分布式计算效率 |  
 |  **适用场景** |  已上线的Agent从真实交互中持续自我改进 |  新模型的RLHF后训练与对齐优化 |

## AReaL 2.0的应用场景

 * **软件工程智能体**：训练Coding Agent从真实issue修复、代码审查和PR生成中持续改进
   策略，如Claude Code类Agent的端到端RL训练。
 * **企业客服助手**：从用户对话、满意度反馈和人工修正中优化回复策略、工具调用路径
   和知识检索准确性。
 * **科研实验助理**：记录文献检索、实验设计、数据分析的完整轨迹，优化多工具编排和
   跨平台操作能力。
 * **复杂任务调度Agent**：在多轮交互、多工具调用的工作流中，持续改进工具选择、路
   由策略和错误恢复机制。
 * **多租户SaaS智能体**：为不同业务线、不同权限边界的Agent提供隔离的轨迹采集和定制
   化在线学习服务。