Prompt 语宙Prompt 语宙
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
阅读: Opus 5.5 max解决率仅36.95%!Navers Lab开源WorkflowArena:145项长程多智能体编排基准与“换脑不换手”迁移实测全拆解
Share
通知 阅读更多
Font Resizer字体
Font Resizer字体
Prompt 语宙Prompt 语宙
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
已有帐户? 登陆
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
WorkflowArena 八大领域 145 项长程任务覆盖全景与代表性多智能体交付物概览图
Prompt 语宙 > 强化 AI 学习 > Opus 5.5 max解决率仅36.95%!Navers Lab开源WorkflowArena:145项长程多智能体编排基准与“换脑不换手”迁移实测全拆解
强化 AI 学习

Opus 5.5 max解决率仅36.95%!Navers Lab开源WorkflowArena:145项长程多智能体编排基准与“换脑不换手”迁移实测全拆解

Prompt 语宙研究院
最近更新: 2026年11月21日 下午3:08
Agent基准评测 Claude Opus 5.5 Navers Lab WorkflowArena 多智能体编排
SHARE
⚡ Prompt 语宙 AI 导读 · 30 秒核心看点
  • WorkflowArena用145项真实长程任务评测“编排能力”,不再只看单模型答题。
  • 隐藏式整体判题要求端到端验收,能否拆分、调度、整合结果才是关键。
  • 实测中Claude Opus 5.5 max仅36.95%居首,八大领域分化明显,偏科严重。

💡 站外导读:过去衡量 AI 智能体水平,往往只看单个模型能否独立跑完预设流水线,却很少考察模型在面对复杂工程时能否自己排兵布阵。Einsia AI 旗下 Navers Lab 最新开源的 WorkflowArena 填补了这一评测空白:在 8 大领域 145 项高度耦合的真实长程任务中,系统不预设任何分工脚本,完全交由主模型临场决定是否拆分、如何调度最多 16 个并发子智能体并整合并行成果。实测结果令人警醒——即便顶尖配置解决率仍不足四成。

WorkflowArena 八大领域 145 项长程任务覆盖全景与代表性多智能体交付物概览图

一、 为什么传统榜单测不出“真智能体”?WorkflowArena 的开放式编排定义

当多智能体系统(Multi-Agent Systems)从实验室走向生产环境,真正的瓶颈早已不是单个上下文窗口内的问答准确率,而是可执行工作流编排(Executable Workflow Orchestration)能力:面对一项跨模块、强耦合的复杂目标,主智能体能否将其拆解为可并行子任务、精准向每个从零上下文启动的 Worker 传递必要信息,并在最后把碎片化结果对齐整合为可验收的最终产物。

阅读目录
  • 一、 为什么传统榜单测不出“真智能体”?WorkflowArena 的开放式编排定义
  • 二、 8 大领域 145 项硬核任务与“拒绝差不多”的隐藏判题机制
  • 三、 9 大模型 25 组配置横向实测:八大领域分化剧烈,Opus 5.5 夺魁仍不足四成
  • 四、 “换脑不换手”编排迁移实证:为何决定上限的是编排而非盲目烧钱?
      • 📝 站长洞察 (Editor’s Insight)

此前的 Agent 基准测试通常存在两类盲区:要么只评估单一上下文的端到端完成度,要么由人类开发者预先写死静态 DAG 与角色分工,测的其实是开发者的工程设计而非模型的组织智商。WorkflowArena(arXiv:2611.12856) 首次把“系统拓扑设计权”交还给运行时的大模型本身。在干净隔离的 Harbor 兼容容器环境中,每道题目赋予主智能体与最多 16 个并发 Worker 共计 14,400 秒(4 小时) 的共享执行时间预算——所有规划、派生、上下文交接、返工与验证成本均计入同一总账。

二、 8 大领域 145 项硬核任务与“拒绝差不多”的隐藏判题机制

WorkflowArena 在任务构建上刻意筛选“可拆分但相互耦合”的真实工作流素材,共计收录 145 道规范任务,涵盖 17 种交付形态,横跨八大专业领域:软件工程(SWE,17 题)、企业运营(OPS,18 题)、科学研究(SCI,16 题,含 33 份冻结科学数据文件)、形式数学(MATH,24 题)、金融会计(FIN,16 题,随附 154 份数据源记录)、法律实务(LAW,22 题)、内容设计(CDN,14 题)以及 3D 建模与动画(3D,18 题)。

为彻底杜绝“子任务看似做对、合并时接口炸裂”的虚假繁荣,WorkflowArena 坚持 隐藏式整体判题(Hidden Verifier):测试脚本与参考答案严格存放于 Solver 容器不可见的 tests/ 侧。其主指标 Overall Resolved(完全解决率) 要求交付物满足该任务的全部验收标准——代码修改须全量通过回归测试、财务报表须完成跨主体对账、3D 部件须遵守共享空间几何约束;只要有一环未整合成功即判定失败,同时辅以 0–100 的 Overall Score 连续分记录部分进展,且运营类任务还额外校验操作日志合规性。

WorkflowArena 基准构建流程与隐藏式整体判题评测协议架构图

三、 9 大模型 25 组配置横向实测:八大领域分化剧烈,Opus 5.5 夺魁仍不足四成

研究团队在论文中完整评测了 9 款主流大模型共 25 组推理强度(Effort)配置(包括 Claude Code 承载的 Claude 系列与开源/国产模型,以及 Codex 承载的 GPT-6 系列)。最引人注目的发现是:没有任何一款模型能在所有八个领域全面称王,且顶尖模型的总解决率仍有极大提升空间——最佳成绩仅为 Claude Opus 5.5(max)的 36.95%,最佳连续分为 Claude Opus 5.5(high)的 80.21 分。

深入拆解行为日志还会发现截然不同的调度哲学:在高推理强度下,Claude 系列(Claude Code)倾向于“少调度、大编队”——减少工作流调用频次,但单次拉起规模更大的 Worker 群体;而 GPT-6 系列(Codex)则偏好“高频次、小步快跑”,频繁拆出细粒度小单元委派。更耐人寻味的是各领域的严重偏科:例如 Claude Opus 5.5(max)在形式数学 MATH 拿下 95.83% 的惊人解决率,在 LAW 法律实务却录得 0.00%;而 GPT-6 Astra(xhigh) 在 OPS 运营与 MATH 表现稳健,在 SWE 却全线交出 0.00%。

WorkflowArena 九大模型 25 种配置的完全解决率与单题平均推理成本帕累托前沿对比图
模型与执行底座 (Harness) 推理强度 (Effort) 总解决率 (Resolved %) 连续得分 / 核心分域表现亮点与短板
Claude Opus 5.5 (Claude Code) max 36.95% Score 79.94 | MATH 95.83%、CDN 57.14%、SCI 56.25%、SWE 29.41%,但 LAW 0.00%
Claude Opus 5.5 (Claude Code) high 34.11% Score 80.21 (全场最高) | FIN 18.75%、3D 27.78%、LAW 4.55%
Claude Sonnet 5.5 (Claude Code) max 33.21% Score 73.11 | CDN 64.29% (全场最佳)、LAW 9.09%、MATH 79.17%
GPT-6 Astra (Codex) xhigh 30.80% Score 77.69 | MATH 83.33%、CDN 57.14%、OPS 22.22% (high 达 27.78%),SWE 0.00%
GPT-6.1 Sol (Codex) xhigh 29.50% Score 77.52 | MATH 79.17%、CDN 57.14%、3D 22.22%、SWE 0.00%
Kimi K3.1 Pro (Claude Code) max 16.48% Score 62.73 | 在 32 题迁移子集引入 Opus 5.5 动态编排后,连续分可从 35.75 跃升至 46.61
GPT-6 Luna / Doubao-Seed-Evolving max / high 13.32% / 10.84% Score 55.44 / 48.66 | 轻量与特定优化梯队,长程耦合任务整合失分显著
DeepSeek V4.1 Flash / GLM-5.3 Flash max / max 6.08% / 4.43% Score 34.48 / 39.03 | 极低单题成本路线,但复杂多步协同仍需强编排大脑外挂赋能

四、 “换脑不换手”编排迁移实证:为何决定上限的是编排而非盲目烧钱?

为了把“写工作流的大脑”和“干具体活的双手”彻底解耦,Navers Lab 在 32 道高难度跨领域题目上设计了极具启发性的 Workflow Transfer(编排迁移)实验:让前沿强模型(如 Claude Opus 5.5 或 GPT-6 Astra)只负责撰写可执行工作流与 Worker 提示指令,绝不允许触碰工作区任何文件;实际文件修改、代码编写与计算全部交给固定不变的执行模型(Kimi K3.1 Pro、GPT-6 Luna、Doubao-Seed-Evolving 或 DeepSeek V4.1 Flash)完成,并分别测试事前冻结的“静态编排”与根据 Worker 反馈在线调整的“动态编排”。

实验数据给出了极其震撼的工程答案:当执行底座固定为 Kimi K3.1 Pro 时,它自己当指挥官的动态得分为 35.75;一旦换上 Opus 5.5(max) 编写静态流程即跃升至 45.04,切换为 Opus 5.5 动态协同更一举飙升至 46.61(净增 +10.86 分)。同样,DeepSeek V4.1 Flash 在 Opus 5.5 动态编排驱动下从自编排的 18.37 大幅提高到 25.24;而有趣的是,若改用 GPT-6 Astra 给 DeepSeek V4.1 Flash 写静态工作流,得分反而滑落至 12.85。这意味着优质编排策略并非简单的“提示词加长”,而是必须与执行模型的指令遵循习惯、上下文边界高度契合——目前仓库已完整开源(git clone https://github.com/Einsia/WorkflowArena.git)并提供 SHA-256 资产校验与 Harbor 一键物化脚本,方便工程团队在真实生产栈中复现这套帕累托最优组合。

📝 站长洞察 (Editor’s Insight)

WorkflowArena 是近期最值得 Agent 架构师精读的硬核基准,它用 145 道真实交付题撕开了当下“多智能体热潮”的两层窗户纸:第一,哪怕强如 Claude Opus 5.5 全力输出,面对跨越代码、财务对账、3D 空间约束的强耦合长程任务,完全解决率也只有 36.95%,证明多智能体从“能拆分”到“能无损整合”还有很长的路要走;第二,“换脑不换手”迁移实验揭示了一条极具性价比的工程捷径——生产环境完全可以用极高智商的旗舰模型充当轻量级动态 Orchestrator 编排调度,把海量读写执行卸载给高并发低价模型,从而在成本与解决率帕累托前沿上跑出最优解。

🧭 文中关联 AI 工具官网与参数卡(语宙 AI 导航)
Opus ↗
Opus助力创意革新,在内容创作与营销推广等方面发挥作用,提供独特创作体验。
Claude Code ↗
Claude Code:人工智能安全和研究公司,面向AI 编程辅助场景提供便捷实用的在线功能支持,涵盖AI编程等
Claude ↗
Anthropic 打造的新一代安全人工智能模型,具备超长上下文理解能力,最强代码伴侣。
❓ 常见问题解答(FAQ)
WorkflowArena主要测什么能力?

它主要评测多智能体系统的可执行工作流编排能力,包括任务拆解、子智能体调度、上下文交接、并行结果整合与最终验收,而不是只看单轮问答或静态流水线完成度。

WorkflowArena为什么比传统Agent榜单更难?

因为它不预设固定分工脚本,主模型必须在运行时自己决定是否拆分、如何派发最多16个并发Worker,并在统一时间预算内完成返工与整合;同时采用隐藏式整体判题,任何一环失败都算未解决。

哪款模型在WorkflowArena上表现最好?

文中给出的最佳总解决率是Claude Opus 5.5(max),为36.95%;最佳连续分是Claude Opus 5.5(high),为80.21分。但各领域表现差异很大,说明当前顶尖模型仍存在明显偏科。

📊 WorkflowArena 任务类型与数量分布(AI 视觉结构化提取)

核心发现:图中展示的是 WorkflowArena 的任务类别分布图,共 145 项任务,数量最多的是 MATH(24)和 LAW(22),OPS 与 3D 各 18 项。

任务类别任务数
LAW22
MATH24
OPS18
3D18
SCI16
FIN16
CDN14
SWE17
🔬 语宙深潜追问 · 进阶实操拆解
长程编排落地最先补哪层能力?

优先补任务分解、状态管理和失败恢复三层。长程编排的瓶颈通常不在单步推理,而在跨步骤记忆、工具调用一致性与异常回滚。先把可观测性、重试策略和人工接管点设计好,再谈模型替换。

换脑不换手迁移怎么降低风险?

先冻结工具接口和执行协议,只替换决策模型,再用离线回放与小流量灰度验证。重点看任务完成率、错误传播率和回滚成本,而不是只看单轮准确率。若指标波动大,说明工作流约束还不够强。

🗳️ 读者观点微投票 · 您的实战立场是?
多智能体编排该继续押注大模型吗?
🕸️ 语宙向量知识图谱 · 语义强关联深度内链
🤖 所属权威专题:AI Agent 智能体工作流 →
  • 三分之二公开榜单都在误判!Eugene Yan 万字拆解 12 大 AI 智能体评测:隐藏断言错杀与 pass^k 可靠性重构全指南
  • 腾讯甩出 WorkBuddy Bench:一套把代码、网页、办公、安全全装进来的编码智能体考场
  • 谁才是 2026 编码智能体之王?7 大开源 Coding Agent 巅峰对决 Claude Code:统一模型底座、6 大极限用例实测与 Token 成本全景横评
  • Qwen3.7-Max 编程能力登顶全球第二!Code Arena 1541分碾压GPT-5.5,35小时自主任务改写生产力规则
🏛️ Prompt 语宙研究院 · Prompt 语宙研究院(paooo.com Research)专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示词工程(Prompt Engineering)与全球高增长 AI 生产力工具实测追踪,致力于为中文开发者与创作者提供一手、可复现的深度技术洞察。
📄 Markdown 纯净版
💡 这篇内容对您有启发吗?
📡 RSS 订阅✨ 提交 AI 工具 / 合作
🚀 Prompt 语宙 AI 创作者生态:探索 2,800+ 全球实用 AI 工具与高精度生图提示词咒语库
🧭 语宙 AI 导航 (ai.paooo.com)🎨 AI 生图 Prompt 库📚 核心专题导航⚡ AIGC 早报生成器
角色零漂移:JSON 分镜、Cref 向量锚定与 I2V 物理运动提示词工程实战
Apple PASCAL 语法海报:极客圈的传奇作品 [译]
2024 AI 预测 [译]
发挥 AI 在职场中的作用:如何在新的 2024 年保持领先![译]
探究 10 倍效能工程师的神话与杰出工程师的真实面貌 [译]
TAGGED:Agent基准评测Claude Opus 5.5Navers LabWorkflowArena多智能体编排
分享
Email 复制链接 打印
Share
Prompt 语宙研究院 头像
ByPrompt 语宙研究院
Follow:
Prompt 语宙研究院(paooo.com Research)专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示词工程(Prompt Engineering)与全球高增长 AI 生产力工具实测追踪,致力于为中文开发者与创作者提供一手、可复现的深度技术洞察。
上一篇 NVIDIA 总部大楼外景与 2028 至 2029 年 AI 封装基板及先进封装供应链扩产协议封面 砸超10亿美元锁定3.5倍ABF载板!NVIDIA 公布 2028–2029 供应链扩产长约:景硕、三星电机、矽品精密与京元电子全链卡位拆解
下一篇 PhysisServe 物理 AI 自回归去噪细粒度流水编排推理系统技术框架头图 33B模型仅4.1ms延迟、并发最高翻3.3倍!逆矩阵联合智源与vLLM开源PhysisServe:Stage级细粒度流水线打破物理AI实时推理死结
Ad image
Ad image

最近更新

Latent Space 对话 Black Forest Labs 核心创始人 Andreas Blattmann 与 Dustin Podell:从 FLUX 到视觉智能与世界动作模型
视觉智能为什么不能只靠静态图片?对话Black Forest Labs创始人:FLUX 3音画联合训练、扩散与自回归之争及世界动作模型全拆解
强化 AI 学习
Google 官方详解网站迁移至 CDN 如何避免爬虫流量激增打崩源站与误封 Googlebot 导致搜索掉收录
刚切上CDN源站反被爬虫打崩?Google官方拆解迁移翻车悖论:冷缓存雪崩、验证码误杀与预热止血指南
AI 工具
GitHub 正式上线 Repository insights 页面,集中展示 Copilot 代码审查采纳率与评论分类统计结果
AI代码审查到底有没有被采纳?GitHub上线Repository insights与repos-1-day API:四维信号、力度趋势及统计陷阱全拆解
AI 工具
Forrester AI 颠覆评估模型 17 大技术与服务品类分布图:呈现受颠覆、中立、争夺与加速四类市场象限及细分赛道数量
80%技术市场面临AI重塑冲击!Forrester拆解200+细分赛道颠覆矩阵:四大象限与Top 20合同采购谈判实战
最新趋势

相关推荐

两个一文不名的学生怎样将一个想法变成珠宝行业每月 3 万美元的成功故事 [译]
强化 AI 学习

两个一文不名的学生怎样将一个想法变成珠宝行业每月 3 万美元的成功故事 [译]

宝玉的分享
AI办公效率 AI智能体 Etsy YouTube
昨夜,麻省理工学院 (MIT) 无人安然入眠 [译]
强化 AI 学习

昨夜,麻省理工学院 (MIT) 无人安然入眠 [译]

宝玉的分享
AI办公效率 AI智能体 ChatGPT OpenAI 大模型微调 开源大模型
提高提示一致性的结构化生成方法 [译]
强化 AI 学习

提高提示一致性的结构化生成方法 [译]

宝玉的分享
AI编程 Llama 大模型微调 开源大模型
Hugging Face 团队在 32GB 内存 Mac 上通过 Transformers 流式推理 180B MoE 大模型封面图
强化 AI 学习

180B参数硬塞进32GB内存!Hugging Face突破Transformers卸载瓶颈:SSD流式专家推理实测追平Strata仅差6%

Prompt 语宙研究院
Hugging Face Transformers Metal内核优化 MoE专家流式推理 Qwen3.8-Flash-Next 端侧大模型
/ Prompt 语宙 /

探索生成式 AI 的无限创作潜能,一站式获取前沿 AIGC 资讯、高阶 Prompt 咒语与全球实用 AI 工具。

核心专栏

  • 语宙 AI 工具导航
  • EVA 视觉抠图工坊Hot
  • 出海数字营销宝典
  • AI 生图咒语灵感库
  • 24H 硅谷 AI 情报流

生态与服务

  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作

标签

开源大模型 AI智能体 AI办公效率 AI绘画提示词 OpenAI 大模型微调 Midjourney AI编程 stable diffusion AI视频生成 ChatGPT 3D与空间智能 HuggingFace AI音频与语音 RAG检索增强 Claude Flux AIGC Gemini 通义千问 Anthropic Llama Cursor DeepSeek Prompt AI Agent Kimi 智谱AI 具身智能 YouTube
Prompt 语宙Prompt 语宙
Follow US
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.