# Token耗费腰斩、SWE-bench Pro暴涨25.5%！Hugging Face开源Harness Adapters：在Pi/OpenCode/Hermes内用AsyncGRPO训出可融合超级适配器

- Link: https://paooo.com/trends/43050/
- Published: 2026-11-21T16:09:04+08:00
- Author: Prompt 语宙研究院

⚡ [Prompt](https://paooo.com/ai-image-prompts/) 语宙 AI 导读 · 30 秒核心看点

 * 不改基础权重，直接在真实[Agent](https://paooo.com/trends/) Harness里训练，避免“
   仿真重写”带来的线上线下偏差。
 * 从59,000个环境严筛出171道Qualified黄金题，先做四重校验，再做难度标定，保证奖励
   信号有效。
 * AsyncGRPO+LoRA训练后，SWE-bench Pro最高涨25.5个百分点，工具调用大幅下降，且适
   配器可无冲突融合。

> **💡 站外导读：**通用大模型直接套进编程智能体框架（Harness），常伴随工具盲目试
> 错与Token膨胀。Hugging Face发布完整Harness Adapters强化学习配方，不改基础权重，
> 直接把Qwen3.8-27B放进Pi、OpenCode与Hermes真实容器跑AsyncGRPO训练，SWE-bench Pro
> 最高暴涨25.5个百分点且工具调用大砍53%至73%，更可无冲突融合成通用超级适配器。

![Hugging Face 开源 Harness Adapters：使用 AsyncGRPO 在真实编程智能体框架内训练超级
LoRA 适配器封面图](https://paooo.com/wp-content/uploads/2026/11/paooo-evaoo-1121-
1600-1795248514763-4399.avif)

## 一、告别“假循环”仿真：把原版 Agent Harness 原封不动塞进强化学习回路

开源基础模型出厂时面向的是泛化能力，而非某一款特定编程智能体框架（Agent Harness）
的上下文格式、工具描述或错误回传机制。因此当开发者将 Qwen3.8-27B 这类 27B 级模型
接入终端代理工具时，往往会白白丢掉大量潜能与推理成本——例如在 `pi` 框架下跑 `Terminal-
Bench 2.1`，基座模型 `pass@1` 仅有 39%，平均每道题要烧掉 2.9K Tokens；而一旦冻结
底座权重、加挂一枚经强化学习定制的 LoRA 适配器，通过率直接跃升至 55%，平均 Token
消耗压低到 1.5K，模型想得更少、调用工具更准、首次出手命中率显著拔高。

阅读目录

 * [一、告别“假循环”仿真：把原版 Agent Harness 原封不动塞进强化学习回路](https://paooo.com/trends/43050/#%e4%b8%80%e5%91%8a%e5%88%ab%e5%81%87%e5%be%aa%e7%8e%af%e4%bb%bf%e7%9c%9f%e6%8a%8a%e5%8e%9f%e7%89%88-agent-harness-%e5%8e%9f%e5%b0%81%e4%b8%8d%e5%8a%a8%e5%a1%9e%e8%bf%9b%e5%bc%ba%e5%8c%96%e5%ad%a6)
 * [二、从 59,000 个环境中严选 171 道黄金赛题：OpenEnv 四重校验与难度筛选](https://paooo.com/trends/43050/#%e4%ba%8c%e4%bb%8e-59000-%e4%b8%aa%e7%8e%af%e5%a2%83%e4%b8%ad%e4%b8%a5%e9%80%89-171-%e9%81%93%e9%bb%84%e9%87%91%e8%b5%9b%e9%a2%98openenv-%e5%9b%9b%e9%87%8d%e6%a0%a1%e9%aa%8c%e4%b8%8e%e9%9a%be%e5%ba%a6)
 * [三、2×B200 异步 GRPO、SafeAgents 防越界与近乎正交的“超级适配器”融合](https://paooo.com/trends/43050/#%e4%b8%892%c3%97b200-%e5%bc%82%e6%ad%a5-grposafeagents-%e9%98%b2%e8%b6%8a%e7%95%8c%e4%b8%8e%e8%bf%91%e4%b9%8e%e6%ad%a3%e4%ba%a4%e7%9a%84%e8%b6%85%e7%ba%a7%e9%80%82%e9%85%8d%e5%99%a8%e8%9e%8d%e5%90%88)
 * [四、横跨 Thinking 模式的意外爆发、跨框架迁移实测与“推理泄露”反思](https://paooo.com/trends/43050/#%e5%9b%9b%e6%a8%aa%e8%b7%a8-thinking-%e6%a8%a1%e5%bc%8f%e7%9a%84%e6%84%8f%e5%a4%96%e7%88%86%e5%8f%91%e8%b7%a8%e6%a1%86%e6%9e%b6%e8%bf%81%e7%a7%bb%e5%ae%9e%e6%b5%8b%e4%b8%8e%e6%8e%a8%e7%90%86%e6%b3%84)
       * [📝 站长洞察 (Editor’s Insight)](https://paooo.com/trends/43050/#%f0%9f%93%9d-%e7%ab%99%e9%95%bf%e6%b4%9e%e5%af%9f-editor8217s-insight)

更关键的工程突破在于训练架构本身。绝大多数传统 RL 框架（如 `verl` 的 AgentLoop、`
SkyRL-Gym`、`rLLM`、`slime` 或 `ART`）都要求开发者在 Python 里按训练框架自己的接口
重新写一遍简化版智能体循环，这种“仿真重写”不可避免地引入线上部署与线下训练的交互
偏差。Hugging Face 此次借鉴 `Agent Lightning v1.0`（“harnessed agentic RL”）与 `
SkyRL` Harbor 集成的思路，利用 `OpenEnv` 与 `Harbor` 构建预装真实软件的 Docker 镜
像，直接运行未做任何魔改的 `Pi 1.5.2`、`OpenCode 2.2.7` 与 `Hermes Agent v0.22.6`，
并在 Harness 与 `vLLM` 推理服务之间架设透明代理记录真实发出的 Token 序列，真正实现“
部署即训练、轨迹零失真”。

## 二、从 59,000 个环境中严选 171 道黄金赛题：OpenEnv 四重校验与难度筛选

智能体强化学习最致命的隐患不是算力不足，而是验证器（Verifier）作弊或任务难度失衡——
放水通过的验证器会教坏模型，而全对或全错的题目在 GRPO（组相对策略优化）中根本产生
不了梯度信号。Hugging Face 团队从 Hub 约 59,000 个 Harbor 格式环境中剔除重复项、
评估集与禁训数据，精准锁定两大训练仓并自建第三路合成管线：`SWE-smith`（在真实 Python
与 Go 仓库注入运算符翻转或[大模型](https://paooo.com/ai-study/)改写 Bug，贡献 717
题）、`SWE-Gym / TaskTrove`（直接抽取真实 GitHub Issue 与已合并修复补丁，贡献 130
题），以及借助 `Repo2RLEnv` 旗下 `Tasksmith` 靶向补齐 HTTP 流式传输、文件系统与序列
化短板（从 30 个合并 PR 成功炼出 24 题，最终合计构成覆盖 35 个仓库、单仓上限 40 
题的 871 题数据集 `harness-hub/agentic-coding-envs`）。

为了剔除脏数据，每道候选题都要先过一轮 `openenv validate --sandbox hf-sandbox` 四重
语义与确定性测试：参考答案必须拿满奖励（`semantic.oracle_max`）、空操作必须显著低
分（`semantic.floor_gap`）、“金丝雀”已知错误解绝不能反超空操作（`semantic.canary_floor`），
且重放参考解得分必须完全一致（`runtime.episode_determinism`）。1,127 条初选样本最终
有 858 条闯关成功，同时这一关还抓出了 Tasksmith 误放不完整实现以及 Terminal-Bench
2.1 官方 `regex-log` 验证器放过已知错解的隐藏缺陷。

紧接着，团队让基座 Qwen3.8-27B 对候选题各尝试 4 次（分层抽样仓尝试 8 次）做“难度
标定”：在 442 道有效题里，151 题每次必对、120 题全军覆没，唯有余下 171 题（占 SWE-
Gym 73%，而 Go 题大多过于简单、逾三分之一 Python 注入题则全错）属于“时对时错”的 `
Qualified` 黄金训练集。团队在 8×H200 上用 OpenCode（限 48 次调用）跑 50 步 4 组消融
实验证明，剔除坏验证器并仅保留 Qualified 子集，才能在有限步数里打出最陡峭的有效奖赏
曲线。

![Hugging Face 基于 Hub、Repo2RLEnv Tasksmith 与 OpenEnv 校验构建高纯度 RL 编码任务
的筛选流水线示意图](https://paooo.com/wp-content/uploads/2026/11/paooo-evaoo-inline-
1121-1600-1795248521229-2817.avif)

![Qwen3.8-27B 在 442 道候选题上的基础难度分布与 Qualified 黄金学习区间统计图](https://
paooo.com/wp-content/uploads/2026/11/paooo-evaoo-inline-1121-1600-1795248528960-
5894.avif)

## 三、2×B200 异步 GRPO、SafeAgents 防越界与近乎正交的“超级适配器”融合

正式训练全面采用 TRL 稳定版 `AsyncGRPOTrainer`——其核心优势在于无需死等整个批次中
最慢的长尾轨迹跑完即可推进下一步梯度更新。团队通过 `all-linear` 方式在 Qwen3.8-27B
上挂载 LoRA，训练 rollout 期间关闭思考模式以拉高吞吐，奖励函数由“验证器通过与否 
+ 0.1 工具效率加分”组成。经过 Termgrade 环境上的三档学习率扫描（`1e-5` 几乎原地踏步
0.52→0.50；`1e-4` 在 40 步内将轨迹轮数从 18 压塌至 6 且熵失控；`5e-5` 长程易震荡），
最终稳定锚定 `2e-5`。

硬件编排方面，每个适配器独占两张 NVIDIA `B200` GPU（1 卡专职 vLLM 推理服务、1 卡
负责参数更新），打满 `--token-budget` 并将 750 条环境任务与 300 条 Termgrade 任务
按仓库家族交错洗牌，累计推进 598 步、消化 78,114 个样本与 1.67 亿训练 Token。训练
过程中还全程挂载了开源防护插件 `harness-hub/qwen-safeagents-plugin`，在累计核验的
130 万次工具调用中精准拦截了 647 次疑似越权或触碰测试路径的违规操作，且千次调用被
拦率随训练步数稳步下滑。

当 Pi（160 步）、Hermes（160 步）与 OpenCode（150 步）三枚专精 LoRA 训成后，研究
团队逐层测量任意两者的权重增量余弦相似度，结果惊人地低至 **0.01~0.02**——说明不同
框架把模型推向了几乎完全正交的参数空间。团队遂用 PEFT `combination_type="cat"` 沿
秩维度拼出 Rank 96（3×32）的 `super-adapter`，并在 89 道 Terminal-Bench 2.1 上比对
了三档缩放权重：直接相加（权重 1）虽让工具调用降至 13.4 次但 Pi 分数跌回 40.2% 底座
水平；均值（权重 1/3）过度稀释收益；而 **1/2 缩放系数**取得了三框架均分 52.5% 且
调用从 49.2 次压至 25.9 次的最佳平衡。

![训练过程中 SafeAgents 插件每千次工具调用拦截高危尝试次数随训练步数持续下降趋势
图](https://paooo.com/wp-content/uploads/2026/11/paooo-evaoo-inline-1121-1600-1795248538023-
2137.avif)

  |  智能体框架 (Harness) |  评测基准 (Benchmark) |  Qwen3.8-27B 底座 (非思考 / 思考) |  专精适配器 (非思考) |  Super-Adapter (非思考 / 思考及调用降幅) |  
   |  Pi 1.5.2 |  SWE-bench Pro (Hard 51) |  40.0% / 74.0% |  64.0% (-60% 调用) |  46.0% (-73%) / 74.0% (-48%) |  
 |  Hermes v0.22.6 |  SWE-bench Pro (Hard 51) |  29.4% / 45.1% |  43.1% (-56% 调用) |  47.1% (-60%) / 60.8% (-36%) |  
 |  OpenCode 2.2.7 |  SWE-bench Pro (Hard 51) |  35.3% / 47.1% |  51.0% (-72% 调用) |  45.1% (-63%) / 66.7% (-31%) |  
 |  Pi 1.5.2 |  Terminal-Bench 2.1 (89 题) |  40.0% / 52.9% |  56.5% (-56% 调用) |  48.2% (-56%) / 57.6% (-25%) |  
 |  Hermes v0.22.6 |  Terminal-Bench 2.1 (89 题) |  44.7% / 58.8% |  58.8% (-70% 调用) |  55.3% (-53%) / 63.5% (-19%) |  
 |  OpenCode 2.2.7 |  Terminal-Bench 2.1 (89 题) |  47.6% / 54.9% |  52.4% (-53% 调用) |  52.4% (-68%) / 58.5% (-22%) |

## 四、横跨 Thinking 模式的意外爆发、跨框架迁移实测与“推理泄露”反思

在 131,072 Token 总上限、温度 0.8 且零人工调参的公平赛场下（需注意 Pi 默认不保留
前序推理轮次，而 OpenCode 与 Hermes 会保留，故只能同框架内纵比不可跨框架横比），
单框架专精适配器统治了“关闭思考模式”赛道：Pi 在 SWE-bench Pro 硬核子集由 39.2%（
40.0% 成对计）跃升至 64.7%（+25.5 个百分点，`p=0.002`），Terminal-Bench 2.1 全集
亦分别带来 Pi +16.3、Hermes +14.1 与 OpenCode 留出子集 +13.6 的显著跃迁；非思考下
的工具调用量全面骤降 53%–72%，Token 总量亦减少 44%–60%。

真正的惊喜发生在开启默认 `xhigh` 思考模式之后：尽管融合版 `super-adapter` 在训练
全过程中一秒钟都没开过思考模式，它在 6 组（框架×基准）对比中对开启思考的底座拿下**
5 胜 1 平**（均分从 55.5% 拔高到 63.5%，`p=0.004`），其中 Hermes 暴涨 +16 点、OpenCode
暴涨 +20 点，工具调用仍再省 31%–48%。此外，把 Pi 适配器直接搬到 OpenCode（44.8%→
54.0%）与 Hermes（46.3%→56.1%）上依然能留住绝大部分增益并削减约 45% 调用；而在 300
题纯业务流自动化基准 `AutomationBench` 上，除了 Hermes 略掉 5.3 点外，Pi 与 OpenCode
反而小幅领先底座（27.0%/25.3% vs 23.0%），说明领域内强化学习并未摧毁通用分布外能力。

团队在文章末尾也坦诚披露了一个关键的“事后发现”：复盘评测轨迹时，他们观察到即便在
禁用思考的模板下，经过 RL 的模型在调用工具前仍倾向于自发输出一两句诸如 `..wait? ..
let me see` 的简短内省文本——相当于一种隐性的 **“Reasoning Leakage（推理泄露）”**，
试图绕开非思考约束借取思维链收益。不过由于所有对照均被严格锁死在相同的 Token 预算
上限内，且它确实在同条件下远胜底座并在成本上碾压纯思考模式（社区更验证了该适配器
甚至能跨版本提升 Swift-1.5 等 Qwen3.8 衍生体），这一现象反而为下一代混合思考/非思考
联合 RL 训练指明了极富价值的研究方向。

#### 📝 站长洞察 (Editor’s Insight)

这篇来自 Hugging Face 团队的工程长文，打破了“大模型能力全靠预训练和提示词微调”的
迷思，把 Agent 工程推进到“模型与框架联合进化”新阶段。过去同一款 27B 开源模型套进
不同 Coding CLI 表现往往大相径庭，动辄空转几十轮烧干预算；HF 给出的解法极其务实：
别在训练框架里手写山寨 Agent 循环，直接把原汁原味的容器架进 OpenEnv，对着真轨迹用
AsyncGRPO 跑强化学习。更惊艳的是三款框架权重更新仅 0.01 至 0.02 的近正交特性——企业
完全可以为内部工具链分别训出轻量 LoRA 再融合成通用超级适配器，用单卡跑出比肩闭源
旗舰的性价比。

🧭 文中关联 [AI 工具](https://ai.paooo.com/)官网与参数卡（语宙 AI 导航）

**OpenCode ↗**

开源 AI 编程工具 ， Claude Code 最佳平替。

❓ 常见问题解答（FAQ）

Harness Adapters解决了什么问题？

它解决的是通用大模型接入编程智能体框架时的工具盲试、Token膨胀和训练仿真失真问题。
做法是不改底座权重，直接在真实Harness容器里做强化学习，让训练轨迹与线上部署一致。

为什么要先筛选Qualified黄金题？

因为GRPO需要稳定且有区分度的奖励信号。若验证器放水，模型会学坏；若题目全对或全错，
又难以产生有效梯度。筛出“时对时错”的题，才能更高效地提升策略。

这套方法能带来哪些实测收益？

文中实测显示，Qwen3.8-27B接入后，SWE-bench Pro最高提升25.5个百分点，工具调用减少
53%至73%，Token消耗也明显下降，且训练出的适配器还能融合成通用超级适配器。

🔬 语宙深潜追问 · 进阶实操拆解

AsyncGRPO为何比传统RL更适合容器训练？

AsyncGRPO把环境交互、奖励计算和参数更新解耦，能更充分利用并行容器与异步采样，减少
等待空转。对工具调用类任务尤其友好，既提升吞吐，也更稳定地收集长链路轨迹。

可融合适配器上线前要重点验证什么？

重点看与底座的融合后是否出现能力回退、工具格式漂移和长上下文劣化。上线前应做多任务
回归、失败案例回放和成本评估，确认收益来自真实泛化而非单一基准过拟合。

🗳️ 读者观点微投票 · 您的实战立场是？

你会为真实容器训练超级适配器买单吗？

🕸️ 语宙向量知识图谱 · 语义强关联深度内链

[🧬 所属权威专题：RAG 知识库与模型微调 →](https://paooo.com/topics/rag-fine-tuning/)

 * [180B 参数激活仅 6B！基元律动发布 Agent 原生模型 NeoHorse-1.5-Flash：首创“第二圈”递归自我改进闭环、ALE 飙升 9.2 分与 NL2Repo 软件工程实测全景拆解](https://paooo.com/ai-tool/41690/)
 * [日活154万与单日狂吞92万亿Token！DeepSeek开源智能体Harness爆发式增长：万物皆插件极简架构、长程Agent算力黑洞与创作者生态全景深度拆解](https://paooo.com/ai-tool/42178/)
 * [从2.8T多模态巨兽到多Agent统一路由！开源项目周刊精选深度拆解：Kimi K3.1 Pro开放自部署、Magpie打破配置孤岛与代码驱动视频全景实战](https://paooo.com/ai-tool/42254/)
 * [港大OpenHarness开源：仅1.1万行代码复刻98% Claude Code功能，轻量级AI Agent框架新标杆](https://paooo.com/aigc-news/10908/)

[🏛️ Prompt 语宙研究院](https://paooo.com/author/paooo-research/) · Prompt 语宙研究院（
paooo.com Research）专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示
词工程（Prompt Engineering）与全球高增长 AI 生产力工具实测追踪，致力于为中文开发
者与创作者提供一手、可复现的深度技术洞察。

[📄 Markdown 纯净版](https://paooo.com/trends/43050/?format=md)

💡 这篇内容对您有启发吗？

[📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/)

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)
