💡 站外导读:过去衡量 AI 智能体水平,往往只看单个模型能否独立跑完预设流水线,却很少考察模型在面对复杂工程时能否自己排兵布阵。Einsia AI 旗下 Navers Lab 最新开源的 WorkflowArena 填补了这一评测空白:在 8 大领域 145 项高度耦合的真实长程任务中,系统不预设任何分工脚本,完全交由主模型临场决定是否拆分、如何调度最多 16 个并发子智能体并整合并行成果。实测结果令人警醒——即便顶尖配置解决率仍不足四成。

一、 为什么传统榜单测不出“真智能体”?WorkflowArena 的开放式编排定义
当多智能体系统(Multi-Agent Systems)从实验室走向生产环境,真正的瓶颈早已不是单个上下文窗口内的问答准确率,而是可执行工作流编排(Executable Workflow Orchestration)能力:面对一项跨模块、强耦合的复杂目标,主智能体能否将其拆解为可并行子任务、精准向每个从零上下文启动的 Worker 传递必要信息,并在最后把碎片化结果对齐整合为可验收的最终产物。
此前的 Agent 基准测试通常存在两类盲区:要么只评估单一上下文的端到端完成度,要么由人类开发者预先写死静态 DAG 与角色分工,测的其实是开发者的工程设计而非模型的组织智商。WorkflowArena(arXiv:2611.12856) 首次把“系统拓扑设计权”交还给运行时的大模型本身。在干净隔离的 Harbor 兼容容器环境中,每道题目赋予主智能体与最多 16 个并发 Worker 共计 14,400 秒(4 小时) 的共享执行时间预算——所有规划、派生、上下文交接、返工与验证成本均计入同一总账。
二、 8 大领域 145 项硬核任务与“拒绝差不多”的隐藏判题机制
WorkflowArena 在任务构建上刻意筛选“可拆分但相互耦合”的真实工作流素材,共计收录 145 道规范任务,涵盖 17 种交付形态,横跨八大专业领域:软件工程(SWE,17 题)、企业运营(OPS,18 题)、科学研究(SCI,16 题,含 33 份冻结科学数据文件)、形式数学(MATH,24 题)、金融会计(FIN,16 题,随附 154 份数据源记录)、法律实务(LAW,22 题)、内容设计(CDN,14 题)以及 3D 建模与动画(3D,18 题)。
为彻底杜绝“子任务看似做对、合并时接口炸裂”的虚假繁荣,WorkflowArena 坚持 隐藏式整体判题(Hidden Verifier):测试脚本与参考答案严格存放于 Solver 容器不可见的 tests/ 侧。其主指标 Overall Resolved(完全解决率) 要求交付物满足该任务的全部验收标准——代码修改须全量通过回归测试、财务报表须完成跨主体对账、3D 部件须遵守共享空间几何约束;只要有一环未整合成功即判定失败,同时辅以 0–100 的 Overall Score 连续分记录部分进展,且运营类任务还额外校验操作日志合规性。

三、 9 大模型 25 组配置横向实测:八大领域分化剧烈,Opus 5.5 夺魁仍不足四成
研究团队在论文中完整评测了 9 款主流大模型共 25 组推理强度(Effort)配置(包括 Claude Code 承载的 Claude 系列与开源/国产模型,以及 Codex 承载的 GPT-6 系列)。最引人注目的发现是:没有任何一款模型能在所有八个领域全面称王,且顶尖模型的总解决率仍有极大提升空间——最佳成绩仅为 Claude Opus 5.5(max)的 36.95%,最佳连续分为 Claude Opus 5.5(high)的 80.21 分。
深入拆解行为日志还会发现截然不同的调度哲学:在高推理强度下,Claude 系列(Claude Code)倾向于“少调度、大编队”——减少工作流调用频次,但单次拉起规模更大的 Worker 群体;而 GPT-6 系列(Codex)则偏好“高频次、小步快跑”,频繁拆出细粒度小单元委派。更耐人寻味的是各领域的严重偏科:例如 Claude Opus 5.5(max)在形式数学 MATH 拿下 95.83% 的惊人解决率,在 LAW 法律实务却录得 0.00%;而 GPT-6 Astra(xhigh) 在 OPS 运营与 MATH 表现稳健,在 SWE 却全线交出 0.00%。

| 模型与执行底座 (Harness) | 推理强度 (Effort) | 总解决率 (Resolved %) | 连续得分 / 核心分域表现亮点与短板 |
|---|---|---|---|
| Claude Opus 5.5 (Claude Code) | max | 36.95% | Score 79.94 | MATH 95.83%、CDN 57.14%、SCI 56.25%、SWE 29.41%,但 LAW 0.00% |
| Claude Opus 5.5 (Claude Code) | high | 34.11% | Score 80.21 (全场最高) | FIN 18.75%、3D 27.78%、LAW 4.55% |
| Claude Sonnet 5.5 (Claude Code) | max | 33.21% | Score 73.11 | CDN 64.29% (全场最佳)、LAW 9.09%、MATH 79.17% |
| GPT-6 Astra (Codex) | xhigh | 30.80% | Score 77.69 | MATH 83.33%、CDN 57.14%、OPS 22.22% (high 达 27.78%),SWE 0.00% |
| GPT-6.1 Sol (Codex) | xhigh | 29.50% | Score 77.52 | MATH 79.17%、CDN 57.14%、3D 22.22%、SWE 0.00% |
| Kimi K3.1 Pro (Claude Code) | max | 16.48% | Score 62.73 | 在 32 题迁移子集引入 Opus 5.5 动态编排后,连续分可从 35.75 跃升至 46.61 |
| GPT-6 Luna / Doubao-Seed-Evolving | max / high | 13.32% / 10.84% | Score 55.44 / 48.66 | 轻量与特定优化梯队,长程耦合任务整合失分显著 |
| DeepSeek V4.1 Flash / GLM-5.3 Flash | max / max | 6.08% / 4.43% | Score 34.48 / 39.03 | 极低单题成本路线,但复杂多步协同仍需强编排大脑外挂赋能 |
四、 “换脑不换手”编排迁移实证:为何决定上限的是编排而非盲目烧钱?
为了把“写工作流的大脑”和“干具体活的双手”彻底解耦,Navers Lab 在 32 道高难度跨领域题目上设计了极具启发性的 Workflow Transfer(编排迁移)实验:让前沿强模型(如 Claude Opus 5.5 或 GPT-6 Astra)只负责撰写可执行工作流与 Worker 提示指令,绝不允许触碰工作区任何文件;实际文件修改、代码编写与计算全部交给固定不变的执行模型(Kimi K3.1 Pro、GPT-6 Luna、Doubao-Seed-Evolving 或 DeepSeek V4.1 Flash)完成,并分别测试事前冻结的“静态编排”与根据 Worker 反馈在线调整的“动态编排”。
实验数据给出了极其震撼的工程答案:当执行底座固定为 Kimi K3.1 Pro 时,它自己当指挥官的动态得分为 35.75;一旦换上 Opus 5.5(max) 编写静态流程即跃升至 45.04,切换为 Opus 5.5 动态协同更一举飙升至 46.61(净增 +10.86 分)。同样,DeepSeek V4.1 Flash 在 Opus 5.5 动态编排驱动下从自编排的 18.37 大幅提高到 25.24;而有趣的是,若改用 GPT-6 Astra 给 DeepSeek V4.1 Flash 写静态工作流,得分反而滑落至 12.85。这意味着优质编排策略并非简单的“提示词加长”,而是必须与执行模型的指令遵循习惯、上下文边界高度契合——目前仓库已完整开源(git clone https://github.com/Einsia/WorkflowArena.git)并提供 SHA-256 资产校验与 Harbor 一键物化脚本,方便工程团队在真实生产栈中复现这套帕累托最优组合。
📝 站长洞察 (Editor’s Insight)
WorkflowArena 是近期最值得 Agent 架构师精读的硬核基准,它用 145 道真实交付题撕开了当下“多智能体热潮”的两层窗户纸:第一,哪怕强如 Claude Opus 5.5 全力输出,面对跨越代码、财务对账、3D 空间约束的强耦合长程任务,完全解决率也只有 36.95%,证明多智能体从“能拆分”到“能无损整合”还有很长的路要走;第二,“换脑不换手”迁移实验揭示了一条极具性价比的工程捷径——生产环境完全可以用极高智商的旗舰模型充当轻量级动态 Orchestrator 编排调度,把海量读写执行卸载给高并发低价模型,从而在成本与解决率帕累托前沿上跑出最优解。
WorkflowArena主要测什么能力?
它主要评测多智能体系统的可执行工作流编排能力,包括任务拆解、子智能体调度、上下文交接、并行结果整合与最终验收,而不是只看单轮问答或静态流水线完成度。
WorkflowArena为什么比传统Agent榜单更难?
因为它不预设固定分工脚本,主模型必须在运行时自己决定是否拆分、如何派发最多16个并发Worker,并在统一时间预算内完成返工与整合;同时采用隐藏式整体判题,任何一环失败都算未解决。
哪款模型在WorkflowArena上表现最好?
文中给出的最佳总解决率是Claude Opus 5.5(max),为36.95%;最佳连续分是Claude Opus 5.5(high),为80.21分。但各领域表现差异很大,说明当前顶尖模型仍存在明显偏科。
📊 WorkflowArena 任务类型与数量分布(AI 视觉结构化提取)
核心发现:图中展示的是 WorkflowArena 的任务类别分布图,共 145 项任务,数量最多的是 MATH(24)和 LAW(22),OPS 与 3D 各 18 项。
| 任务类别 | 任务数 |
|---|---|
| LAW | 22 |
| MATH | 24 |
| OPS | 18 |
| 3D | 18 |
| SCI | 16 |
| FIN | 16 |
| CDN | 14 |
| SWE | 17 |
长程编排落地最先补哪层能力?
优先补任务分解、状态管理和失败恢复三层。长程编排的瓶颈通常不在单步推理,而在跨步骤记忆、工具调用一致性与异常回滚。先把可观测性、重试策略和人工接管点设计好,再谈模型替换。
换脑不换手迁移怎么降低风险?
先冻结工具接口和执行协议,只替换决策模型,再用离线回放与小流量灰度验证。重点看任务完成率、错误传播率和回滚成本,而不是只看单轮准确率。若指标波动大,说明工作流约束还不够强。
