💡 站外导读:做长程智能体后训练一定要海量数据与巨型集群吗?RadixArk在Hugging Face重磅开源首个模型DaisyRose-27B(Apache 2.0协议),基于Qwen3.8-27B仅用1,200条精选长程任务在144张H200上训练18天,即将Terminal-Bench 4.1成绩从5.6%翻倍至12.0%。其背后的异步RL框架Miles更将GPU有效算力利用率推高至37%,端到端训练速度直接翻倍。

一、 1200 条任务撬动翻倍突破:DaisyRose-27B 开源细节与推理快启
RadixArk 正式在 Hugging Face 发布了旗下首个开源权重模型 DaisyRose-27B,并以宽松的 Apache 2.0 协议向社区全面开放。该模型基于 Qwen3.8-27B 底座构建,专门面向需要多步规划、深度工具调用与长周期环境交互的长程智能体(Long-Horizon Agent)场景进行强化学习后训练。
最引人注目的是其极高的数据效率:研究团队仅在 144 张 NVIDIA H200 GPU 上运行了 18 天(总计约 63,000 GPU-hours),利用精选的 1,200 条高难度长程任务,便让 Terminal-Bench 4.1 的 pass@1 指标从原版 Qwen3.8-27B 的 5.6% 翻倍跃升至 12.0%,并在多项推理、指令遵循与代码基准上全面反超基座(评测取 BF16 与 FP8 运行中的较高分,两者在双测基准上的分差均小于 1 个百分点)。
在模型兼容性方面,DaisyRose-27B 完整保留了 Qwen3.8-27B 的网络架构、Tokenizer、对话模板、图像理解能力与 256K-token 上下文窗口,在长达 1M tokens 的超长训练会话中则通过 Harness Summarization 跨多条轨迹折叠延续上下文。模型默认开启“先思考后回答”模式,推理过程通过 reasoning_content 返回,最终答案位于 content。官方推荐配合 SGLang 与 DSpark 投机解码进行低延迟部署,并给出标准 OpenAI Python 客户端调用配置:
from openai import OpenAI
client = OpenAI(base_url="http://localhost:30000/v1", api_key="none")
response = client.chat.completions.create(
model="DaisyRose-27B",
messages=[{"role": "user", "content": "How many positive divisors does 360 have?"}],
temperature=1.0,
top_p=0.95,
extra_body={"top_k": 20, "min_p": 0.0},
)
print(response.choices[0].message.reasoning_content)
print(response.choices[0].message.content)
| 核心工程模块 | DaisyRose-27B 关键实测配置与指标 | 对比基准 / 优化幅度 |
|---|---|---|
| 模型底座与核心战绩 | 基于 Qwen3.8-27B,256K 上下文 + 图像理解,Apache 2.0 开源 | Terminal-Bench 4.1 pass@1 从 5.6% 提升至 12.0% |
| 训练规模与数据量 | 1,200 条长程任务(单次至多 1.5h / >100 次工具调用),144 张 H200 训 18 天 | 总算力 63,000 GPU-hours,单会话支持达 1M tokens |
| Miles 异步 RL 后端 | 128 张 H200 跑智能体推理 + 16 张 H200 运行训练器全异步解耦 | MFU 达 37%(Megatron 开源训练器仅 16%),省 57% GPU 时间 |
| 端到端训练吞吐 | 计入智能体沙箱交互耗时实测约 16,800 tokens/s | 对比开源训练器约 8,300 tokens/s 实现 2x 提速 |
| AgentENV 弹性沙箱 | 9 周累计运行 94.4 万次,峰值并发 1,566 个,按需动态扩缩内存 | 后期创建成功率 >99.95%,对比云沙箱降本约 80% |
二、 数据工程的“三道铁律”:如何筛选出 1200 条真正有效的长程任务?
DaisyRose-27B 的训练任务由 RadixArk 与 Eigent AI 联合构建,覆盖机器学习、软件工程与科学研究等多个学科。团队从数千条原始候选题目中大浪淘沙,最终仅保留了约 1,200 条进入正式强化学习训练集,背后严格遵循三条筛选原则:
1. 靶向错题本设计与难度动态校准
团队先让原版 Qwen3.8-27B 跑遍所有候选任务,摸清基座模型的系统性短板,再围绕“希望模型不再犯的错误”对任务逐一重构,同时精细调节任务复杂度,确保解题率恰好落在梯度信噪比最高的有效学习区间。
2. 多步强依赖与超长执行跨度
每条任务都要求智能体进行多步相互依赖的推理、规划与命令执行。在强化学习采样期间,单次尝试在隔离沙箱内的最长执行时间高达 1.5 小时,往往包含 100 次以上工具调用 以及 超过 256K 的输出 tokens,彻底告别短平快问答式训练。
3. 轨迹级防作弊审计(Anti-Reward-Hacking)
研究团队并未迷信自动化脚本评分,而是结合模型的真实探索轨迹对每道任务进行了人工复核。任何存在设计漏洞、允许模型“不解决真实问题却能蒙混通过测试”的任务,均被果断返修或剔除。
三、 揭秘 Miles 异步强化学习后端:37% MFU 与端到端训练吞吐翻倍
长程智能体 RL 训练最大的工程噩梦在于严重的“长尾等待”——少数长达一小时、累计 1M tokens 的轨迹会拖垮整批同步训练器的 GPU 利用率。为此,RadixArk 使用自研开源框架 Miles 构建了完全异步的训推解耦模式:在 144 张 H200 集群中,128 张 GPU 专职运行智能体环境推理与采样,另外 16 张 GPU 运行训练器从回传轨迹中持续学习,双方全程互不阻塞等待;每完成一步参数更新,最新权重即刻分发至 128 张推理卡。
得益于专门针对“少量超长多轨迹会话”优化的内部训练后端,Miles 在 DaisyRose-27B 发布运行中实现了高达 37% 的模型算力利用率(MFU),而基于 Megatron 的开源对比训练器在同等负载下仅达到 16%——这意味着完成同样的强化学习步数可直接 节省 57% 的 GPU 机时。RadixArk 还披露,这套后端在稀疏混合专家(MoE)架构上优势更为悬殊:在 Qwen3.6-35B-A3B 上可实现 6.2 倍加速,在约 300B 参数的 GLM-5.3-Flash 上更是达到 超过 10 倍。

四、 从 16.8k tokens/s 到数周零故障:稳定性实测曲线验证
若把智能体在沙箱内执行命令、读取反馈的全部等待时间都计算在内,DaisyRose-27B 在 144 张 H200 上的端到端训练吞吐稳定达到约 16,800 tokens/s,相比开源训练器在同规模硬件上的约 8,300 tokens/s 直接实现翻倍以上提速。
更难能可贵的是系统在超长周期下的工程鲁棒性:在横跨数周、累计消耗 63,000 GPU-hours 的完整发布训练中,Miles 集群从第 1 步到最后 1 步的训练吞吐与 GPU 利用率始终维持平稳高位,未出现长程异步 RL 常见的显存泄漏或通信雪崩。

五、 94.4 万次容器仅花两成钱:AgentENV 弹性沙箱工程实战
长程智能体训练不仅吃 GPU,更极度依赖高并发、强隔离的执行沙箱。RadixArk 基于开源 AgentENV 项目构建了专属沙箱服务(并向社区回馈了多项修复)。从 9 月中旬至 11 月中旬的九周时间里,该沙箱集群累计支撑了约 944,000 次环境创建,单刻最高并发达 1,566 个沙箱。
整个基础设施从最初的 1 台主机一路弹性扩容至最多 12 台主机,期间团队在不中断训练任务的前提下热发布了 10 次服务升级。纵观全部九周,沙箱创建总体成功率为 99%,而自 10 月下旬优化稳定后,成功率更是突破 99.95%。
最令人印象深刻的是其极致成本控制:相比直接采购主流商用云沙箱服务,这套自建沙箱基础设施总成本暴降约 80%。其中最关键的一招在于动态内存弹性伸缩——沙箱不再按固定上限死锁宿主机内存,而是随智能体实际任务负载动态涨落,从而大幅提升了单机沙箱混部密度。目前 DaisyRose-27B 权重、SGLang 部署指南及 Miles / AgentENV 工具链均已开放,开发者可直接上手复现或训练专属长程智能体。

📝 站长洞察 (Editor’s Insight)
DaisyRose-27B释放了一个极其振奋的信号:长程Agent的后训练壁垒,正从“无脑堆卡堆数据”转向“高精度小样本+极致的训推异步Infra”。区区1,200条人工防作弊洗净的任务就能让27B模型在Terminal-Bench 4.1上成绩翻倍,证明了数据质量与沙箱反馈真实性的决定性权重;而Miles用128+16异步解耦把MFU拉到37%、AgentENV靠动态内存压缩把百万级沙箱压低80%成本,更是给了中小实验室一份可直接抄作业的开源工程蓝图。配合SGLang和DSpark投机解码,27B级别的长程编码与执行智能体已经具备极强的端侧与私有化落地性价比。
DaisyRose-27B是基于什么模型训练的?
DaisyRose-27B基于Qwen3.8-27B构建,保留了其网络架构、Tokenizer、对话模板、图像理解能力和256K上下文窗口,并面向长程智能体场景做强化学习后训练。
它为什么只用1200条任务就能提升这么多?
因为团队先用基座模型筛出系统性短板,再围绕“错题本”重构任务,并控制难度落在有效学习区间;同时每条任务都具备多步依赖和超长执行跨度,训练信号更密集。
Miles异步RL框架带来了什么实际收益?
Miles把智能体推理和训练器完全异步解耦,128张H200跑推理、16张H200跑训练器,MFU达到37%,相比开源训练器约16%更高,端到端训练速度约提升2倍。
Miles异步RL最该先优化哪一环?
优先看样本生产、rollout并发和GPU等待三处瓶颈。先把环境交互与训练解耦,再做批量化采样和异步回传,通常比单纯调超参更能抬高MFU与吞吐。
1200条长程任务如何避免过拟合?
关键是任务多样性、难度分层和严格验证集隔离。训练时要控制重复轨迹比例,加入失败样本与反事实扰动,并用多轮离线评测监控是否只学会刷分而非泛化。
