# 攻克 70 万 Token 长程智能体训练！阿里千问重磅开源 QwenGyre：首创弹性 GPU 调度与 TITO 轨迹树，在线 RL 提速 1.78 倍

- Link: https://paooo.com/aigc-news/40133/
- Published: 2026-10-18T12:10:47+08:00
- Author: 站外新闻

> **💡 站外导读：**随着前沿大模型加速向自主编程、系统运维与复杂科研等长链条智能体（
> Agentic AI）演进，单次任务执行动辄消耗数十万 Token、持续数小时。传统离线强化学习
> 与固态资源调度不仅面临严重的 GPU 空转与长尾等待，还会因上下文压缩导致虚假对齐信号。
> 阿里千问团队正式发布 QwenGyre 框架，首次攻克 70 万 Token 超长程智能体的在线强化
> 学习（Online RL）难题，通过弹性 GPU 调度与保真轨迹树实现端到端 1.78 倍提速，为
> 顶级基础模型的自主进化筑牢工程底座。

在[大模型](https://paooo.com/ai-study/)向 Agentic 时代大步迈进的今天，AI 不再仅仅
是简单的“一问一答”对话机器人，而是需要深入到真实软件工程环境中，连续数小时调用数
十次甚至上百次命令行、测试套件与代码编辑工具，单次任务执行消耗的上下文体量迅速攀升
至 70 万到 100 万 Token 级别。然而，如何让大模型在这类高复杂度、超长周期的任务中
通过在线强化学习（Online RL）自我迭代，一直是困扰全球 AI 基础架构团队的核心痛点。

阅读目录

 * [一、长程智能体进化之困：为何传统 RL 框架集体失效？](https://paooo.com/aigc-news/40133/#%e4%b8%80%e9%95%bf%e7%a8%8b%e6%99%ba%e8%83%bd%e4%bd%93%e8%bf%9b%e5%8c%96%e4%b9%8b%e5%9b%b0%e4%b8%ba%e4%bd%95%e4%bc%a0%e7%bb%9f-rl-%e6%a1%86%e6%9e%b6%e9%9b%86%e4%bd%93%e5%a4%b1%e6%95%88)
 * [二、架构突破：零中断弹性 GPU 调度与 RDMA KV Cache 迁移](https://paooo.com/aigc-news/40133/#%e4%ba%8c%e6%9e%b6%e6%9e%84%e7%aa%81%e7%a0%b4%e9%9b%b6%e4%b8%ad%e6%96%ad%e5%bc%b9%e6%80%a7-gpu-%e8%b0%83%e5%ba%a6%e4%b8%8e-rdma-kv-cache-%e8%bf%81%e7%a7%bb)
 * [三、数据范式革新：TITO 轨迹树与部分成果评估 (Partial Scoring)](https://paooo.com/aigc-news/40133/#%e4%b8%89%e6%95%b0%e6%8d%ae%e8%8c%83%e5%bc%8f%e9%9d%a9%e6%96%b0tito-%e8%bd%a8%e8%bf%b9%e6%a0%91%e4%b8%8e%e9%83%a8%e5%88%86%e6%88%90%e6%9e%9c%e8%af%84%e4%bc%b0-partial-scoring)
 * [四、工业级实测：Qwen3.8-2.4T 突破 NL2RepoBench 极限](https://paooo.com/aigc-news/40133/#%e5%9b%9b%e5%b7%a5%e4%b8%9a%e7%ba%a7%e5%ae%9e%e6%b5%8bqwen3824t-%e7%aa%81%e7%a0%b4-nl2repobench-%e6%9e%81%e9%99%90)
       * [📝 站长洞察 (Editor’s Insight)](https://paooo.com/aigc-news/40133/#%f0%9f%93%9d-%e7%ab%99%e9%95%bf%e6%b4%9e%e5%af%9f-editor8217s-insight)

阿里通义千问团队重磅推出了专为长程[智能体](https://paooo.com/trends/)量身打造的在
线强化学习系统级框架——**QwenGyre**。该框架彻底重塑了 GPU 算力集群调度拓扑与轨迹回溯
范式，成功在 Qwen3.8-2.4T 旗舰模型上实现了超长程在线自博弈对齐，为工业级自主智能
体的研发提供了关键范例。

## 一、长程智能体进化之困：为何传统 RL 框架集体失效？

将传统基于短对话或单步推理的强化学习机制（如 PPO、DPO 或 GRPO）直接迁移到超长程智能
体任务中，必然遭遇系统吞吐与学习质量的双重崩塌：

 * **算力空转与长尾等待（Colocate 瓶颈）**：当推理采样与模型反向传播训练共用同一
   组 GPU 时，由于长程智能体各分支耗时差异巨大（有的几分钟报错，有的执行数小时），
   快任务完成后必须原地空转等待最慢的长尾任务，导致极其昂贵的 GPU 集群平均算力利用
   率甚至不足 30%。
 * **分区僵化与吞吐浪费（Async 瓶颈）**：若将采样 GPU 与训练 GPU 进行静态物理隔离，
   当长任务仍在采样推进时，训练节点因缺乏充足梯度数据而长时间停等；而当海量轨迹涌出
   时，又会引发严峻的显存爆仓与训练积压。
 * **上下文压缩引发的“虚假对齐信号”**：长程任务执行中常伴随子智能体派发与上下文截断，
   传统数据流拼装往往会丢失采样瞬间真实的注意力掩码，导致策略梯度反向传播时根据“
   被篡改或拼凑的伪上下文”更新参数，极大诱发模型的对齐漂移与幻觉。

![阿里千问开源超长程智能体在线强化学习框架 QwenGyre 架构全景图](https://paooo.com/
wp-content/uploads/2026/10/sre-curated-1792296634025-443.avif)

## 二、架构突破：零中断弹性 GPU 调度与 RDMA KV Cache 迁移

为了打破采样与训练之间的僵局，QwenGyre 在基础设施层设计了极具创新的**弹性计算单元（
Elastic Scheduler）**：

 1. **同构计算单元动态变形**：QwenGyre 将 GPU 集群细粒度划分为多个同构计算单元（Cell）。
    每个 Cell 既能加载 SGLang 高性能推理引擎提供高并发采样服务，也能在需要时瞬间承载
    Megatron-LM 副本切入分布式反向传播训练。
 2. **无损请求重路由（Request Re-routing）**：系统内部设置了智能水位传感器（Watermark）。
    只要存量未完成任务能被现有采样容量承载且数据就绪，系统便按序将闲置的推理 Cell 逐
    个切换为训练 Cell。切换过程中，正在进行的智能体工作区、终端执行容器和工具状态完全
    保留，仅耗费数秒即可完成平滑调度。
 3. **跨节点 RDMA KV Cache 极速穿透**：在角色切换与请求转移时，QwenGyre 借助高速 RDMA
    网络直接完成会话注意力键值缓存（KV Cache）的内存跨卡迁移，彻底免去了上下文重新 
    Prefill 的昂贵算力开销。
 4. **流式核心与卫星 Cell 架构**：核心 Cell（Core Cell）牢牢维护权威参数权重与优化器
    状态；卫星 Cell（Satellite Cell）则随数据到来动态拉取快照中途加入正在执行的批次，
    梯度累计完成后由核心统一汇总更新，实现了训练与采样的极致重叠。

## 三、数据范式革新：TITO 轨迹树与部分成果评估 (Partial Scoring)

除了底层算力调度，QwenGyre 在数据轨迹处理上构建了严密的算法防线：

  |  对比维度 |  传统强化学习处理方式 |  阿里通义千问 QwenGyre 范式 |  
   |  **上下文保真度** |  历史摘要压缩、子任务拼接，容易产生虚假上下文 |  **TITO (Token-in Token-out) 机制，严格锁定生成时原始真实输入** |  
 |  **未完成任务利用** |  超时或未闭环任务全额判定失败或直接丢弃 |  **Partial Scoring（部分评分），对中间可验证阶段成果合理折算奖励** |  
 |  **分支损失均衡** |  分支多的任务 Token 权重严重主导梯度方向 |  **共享前缀只计一次损失，执行内与执行间双层解耦归一化** |  
 |  **端到端训练加速** |  基准 1.0x（频繁受长尾等待卡顿拖累） |  **端到端最高加速 1.78x（较 Async）、1.85x（较 Colocate）** |

值得重点关注的是 **TITO 轨迹树（Trajectory Tree）** 架构：QwenGyre 在网络代理层精确
捕获模型每次调用的原始 Token ID 与行为概率。多个探索分支在分叉前所共享的[提示词](https://paooo.com/ai-image-prompts/)
与代码上下文被树状复用，在计算策略梯度损失时，共享前缀仅计一次，且严格在单次执行
内部完成 Token 级平均后再跨任务平均。这不仅避免了某一个繁冗分支的梯度“绑架”整个 
Batch 的更新方向，更保证了超长程探索的数学收敛稳定性。

## 四、工业级实测：Qwen3.8-2.4T 突破 NL2RepoBench 极限

在业界极具挑战性的软件仓库级端到端生成评测基准 **NL2RepoBench** 中（要求智能体从
自然语言规格出发，多轮自主调用工具从零构建完整的复杂多包仓库）：

 * **性能指标显著飞跃**：在 Qwen3.8-2.4T 顶级旗舰模型上，QwenGyre 仅用了 48 步在
   线强化学习训练，便将仓库端到端通过率从 **52.48% 显著推高至 58.54%**。
 * **大幅压缩算力周期**：在相同的物理 GPU 预算下，48 步的完整训练周期从传统基线的**
   134.55 小时大幅压缩至 75.42 小时**，综合算力成本降低接近一半。
 * **典型应用全覆盖**：目前该技术已成功拓展至跨仓库技术栈架构迁移、多轮终端自主运
   维排障、以及层级多 Agent 自主协同流水线等硬核场景。

#### 📝 站长洞察 (Editor’s Insight)

从短对话的指令微调（SFT）与 DPO 对齐，到真正具备工业级解决能力的长程智能体（Long-
Horizon Agent），大模型研发的竞争正在全面转向底层 Infra 与系统工程架构。QwenGyre
的精髓在于把原本割裂的“动态分布式推理”与“大规模反向传播训练”打造成了一套流动的自
适应水库系统：它不仅化解了单次任务 70 万 Token 的算力黑洞，更通过 TITO 轨迹树杜绝
了虚假上下文带来的训练毒化。阿里千问此举标志着中国团队在顶尖大模型基础设施层面的
创新已迈入无人区，也为未来具备真正自我迭代、自我进化能力的“终极 AI 软件工程师”提供
了最坚实的工程范本。

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,000+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[⚡ AIGC 早报生成器](https://paooo.com/mtool/)