# PawBench – 阿里通义推出的通用智能体评测基准

- Link: https://paooo.com/aigc-news/18539/
- Published: 2026-06-07T18:00:10+08:00
- Author: Prompt 语宙研究院

⚡ [Prompt](https://paooo.com/ai-image-prompts/) 语宙 AI 导读 · 30 秒核心看点

 * 将模型与 Harness 联合评测，解决只看模型不看框架的盲区。
 * 150 道真实任务、4050 个测试单元，支持多切片诊断与回归验证。
 * Docker 沙箱+混合评分，能追踪轨迹并量化 Harness 差距。

## PawBench是什么

PawBench 是通义实验室推出的通用[智能体](https://paooo.com/trends/)评测基准，面向
个人助理与 Agent 场景，将底座模型与运行框架（Harness）纳入同一评测体系。PawBench
v1.0 构建了 150 道真实任务、4050 个测试单元的评测集，通过 9 个模型 × 3 个 Harness
的交叉评测，能评估模型+Harness的最佳组合，帮 Harness 开发者精准定位问题并验证优化。

阅读目录

 * [PawBench是什么](https://paooo.com/aigc-news/18539/#pawbench%e6%98%af%e4%bb%80%e4%b9%88)
 * [PawBench的主要功能](https://paooo.com/aigc-news/18539/#pawbench%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd)
 * [PawBench的技术原理](https://paooo.com/aigc-news/18539/#pawbench%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86)
 * [如何使用PawBench](https://paooo.com/aigc-news/18539/#%e5%a6%82%e4%bd%95%e4%bd%bf%e7%94%a8pawbench)
 * [PawBench的核心优势](https://paooo.com/aigc-news/18539/#pawbench%e7%9a%84%e6%a0%b8%e5%bf%83%e4%bc%98%e5%8a%bf)
 * [PawBench的项目地址](https://paooo.com/aigc-news/18539/#pawbench%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80)
 * [PawBench的同类竞品对比](https://paooo.com/aigc-news/18539/#pawbench%e7%9a%84%e5%90%8c%e7%b1%bb%e7%ab%9e%e5%93%81%e5%af%b9%e6%af%94)
 * [PawBench的应用场景](https://paooo.com/aigc-news/18539/#pawbench%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af)

![PawBench](https://paooo.com/wp-content/uploads/2026/06/PawBench-website-1.avif)

## PawBench的主要功能

 * **联合评测**：将底座模型与运行框架（Harness）纳入同一评测体系，评估 LLM × Harness
   的联合效果。
 * **真实任务集**：构建 150 道真实任务、4050 个测试单元，从 6 个高质量 Agent 评测
   集抽取并聚合。
 * **五维标签体系**：每道题按应用场景、原子能力、复杂度（L1-L3）、输入模态、运行
   环境进行结构化标注。
 * **混合评分机制**：结合自动评分器（规则断言）与 LLM-as-judge（语义质量评估），
   分数范围 0 到 1。
 * **多切片榜单**：支持 Overall（150 题）、Text（124 题）、Multimodal（26 题）三
   个维度自由切换查看。
 * **全量轨迹保留**：所有任务在 Docker 沙箱中运行，执行轨迹、grader 产物和环境快照
   完整保存。
 * **深度诊断分析**：支持按模型规模、模态、任务类型、技能领域等维度切片，定位 Harness
   具体行为缺陷。

## PawBench的技术原理

 * **交叉评测矩阵**：构建 9 个模型 × 3 个 Harness × 150 道任务的三维评测空间，通过
   控制变量法隔离模型能力与框架能力的贡献。
 * **五维标签体系**：从应用场景、原子能力、复杂度、输入模态、运行环境五个维度对任务
   进行结构化标注，支持多维度切片下钻分析。
 * **混合评分机制**：结合确定性规则断言（文件存在性、字段匹配、exit code）与 LLM-
   as-judge 语义评估，平衡客观性与灵活性。
 * **Docker 沙箱隔离**：每个测试单元在独立容器中运行，捕获执行轨迹、workspace 产物
   及环境快照，确保结果可复现与问题可追溯。
 * **产物级硬校验**：通过检查文件是否落盘、diff 是否生成、测试是否通过等实质性指标，
   避免模型”虚假完工”。

## 如何使用PawBench

 * **克隆源码**：访问 GitHub 仓库 `agentscope-ai/PawBench` 克隆评测框架。
 * **配置环境**：写入待测模型的 API 密钥，并配置 Harness 运行环境。
 * **选择任务**：从 150 道任务中选择特定切片（Text/Multimodal）或全量任务启动。
 * **运行评测**：在 Docker 沙箱中执行任务，系统自动保留执行轨迹与产物。
 * **获取评分**：通过自动评分器与 LLM-as-judge 计算混合权重最终分数。
 * **提交榜单**：访问 `agentscope-ai.github.io/PawBench` 提交结果并查看排名。

## PawBench的核心优势

 * **诊断 Harness **：通过 4050 个测试单元的切片分析，精准定位框架在 Skill 加载、
   路径感知、工具配置等方面的行为缺陷。
 * **真实复现性**：基于 Docker 沙箱运行，执行轨迹与环境快照完整保留，失败案例可逐
   层回溯复盘。
 * **零门槛开箱评测**：还原开发者首次 clone 后的默认体验，不追求”配齐所有 API Key
   的理论上限”。
 * **持续回归验证**：Harness 每次修复后可重新切片跑分，验证优化是否真实对应到问题
   维度。
 * **Harness 分差量化**：首次证明 Harness 差距（最高 6.4 分）堪比一次重[大模型](https://paooo.com/ai-study/)
   版本升级，为小模型反超提供路径。

## PawBench的项目地址

 * **项目官网**：https://agentscope-ai.github.io/PawBench/
 * **GitHub仓库**：https://github.com/agentscope-ai/PawBench

## PawBench的同类竞品对比

  |  对比维度 |  **PawBench** |  **SWE-bench** |  **AgentBench** |  
   |  **核心定位** |  评测”模型 + Harness”联合效果 |  评测模型解决真实代码问题的能力 |  评测模型作为 Agent 在多环境中的通用能力 |  
 |  **Harness/框架评估** |  ✅ **核心能力**，明确隔离框架贡献 |  ❌ 否，仅评估模型本身 |  ❌ 否，仅评估模型本身 |  
 |  **任务来源** |  6 个 Agent 评测集聚合（150 道） |  真实 GitHub Issue/PR（2000+） |  多环境模拟任务（1000+） |  
 |  **典型任务** |  办公协同、软件工程、自动化脚本、Web 搜索、Skill 调用 |  代码 Bug 修复、功能实现、测试通过 |  OS 操作、数据库查询、网页浏览、卡牌游戏、家务决策 |  
 |  **评分机制** |  自动规则断言 + LLM-as-judge 混合 |  单元测试通过/失败（二元） |  环境规则评分（准确率/成功率） |  
 |  **环境隔离** |  Docker 沙箱 + 工作区产物校验 |  代码沙箱 + Git 仓库快照 |  多环境容器（OS/DB/Web 等） |  
 |  **任务标签体系** |  五维标签（场景/能力/复杂度/模态/环境） |  按编程语言/仓库切片 |  按环境类型切片 |  
 |  **榜单维度** |  Overall / Text / Multimodal 三切片 |  按 Verified/Multimodal/Full 分榜 |  按环境（OS/DB/KG/DCG 等）分榜 |  
 |  **失败诊断能力** |  保留执行轨迹、产物快照、环境状态，支持逐层回溯 |  保留代码补丁与测试日志 |  保留环境交互日志 |  
 |  **零配置评测** |  还原首次 clone 后的默认体验 |  需配置代码仓库环境 |  需配置各环境容器 |  
 |  **最佳适用** |  Harness 开发者优化、模型+框架选型 |  代码模型能力评估、编程助手研发 |  通用 Agent 能力评估、多模态决策研究 |

## PawBench的应用场景

 * **Harness 开发者优化**：通过切片分析定位框架在 Skill 加载、路径感知、Web 工具
   默认可用性等方面的具体缺陷。
 * **模型选型参考**：帮助用户根据纯文本 / 多模态 / Skill / Web 搜索等任务类型选择
   最佳模型 + Harness 组合。
 * **基准回归测试**：Harness 迭代修复后重新跑分，验证优化是否真实解决对应切片问题。
 * **学术研究**：为通用智能体研究提供可复现的交叉评测基准，推动模型与框架协同进化。

❓ 常见问题解答（FAQ）

PawBench主要评测什么？

PawBench 主要评测通用智能体场景中的“模型 + Harness”联合效果，而不是只看底座模型本身。
它通过真实任务、切片榜单和混合评分，帮助开发者定位框架在工具调用、路径感知、技能
加载等环节的问题。

PawBench和SWE-bench有什么区别？

SWE-bench 主要评测模型解决真实代码问题的能力，重点在代码修复与测试通过；PawBench
则更关注智能体场景下模型与运行框架的联合表现，覆盖办公协同、Web 搜索、Skill 调用
等更广泛任务。

PawBench为什么适合做Harness诊断？

因为它保留了完整执行轨迹、grader 产物和环境快照，并支持按模型规模、模态、任务类型
等维度切片分析。开发者可以据此回溯失败原因，验证每次修复是否真正改善了对应问题。

🔬 语宙深潜追问 · 进阶实操拆解

为什么要把Harness纳入评测？

因为智能体性能不只取决于模型，还受工具调用、状态管理、重试策略影响。把Harness纳入
后，才能区分是模型弱，还是编排层把能力浪费了。

如何用PawBench定位真实瓶颈？

先按任务类型拆分得分，再看失败发生在规划、执行还是恢复环节；结合轨迹日志和混合评
分，能快速判断该调模型、改提示词，还是重写工具链。

🗳️ 读者观点微投票 · 您的实战立场是？

通用智能体评测该先测模型还是框架？

🕸️ 语宙向量知识图谱 · 语义强关联深度内链

[🤖 所属权威专题：AI Agent 智能体工作流 →](https://paooo.com/topics/ai-agents/)

 * [WorkBuddy Bench – 腾讯开源的编码智能体评测套件](https://paooo.com/aigc-news/39087/)
 * [美团发布VitaBench：首个生活场景大模型Agent评测基准，66个工具与跨场景任务重新定义AI评测](https://paooo.com/aigc-news/13271/)
 * [HelloBench – 评估LLMs长文本生成能力的开源基准测试工具](https://paooo.com/aigc-news/26505/)
 * [FullStack Bench – 字节豆包联合M-A-P社区开源的全新代码评估基准](https://paooo.com/aigc-news/25053/)

[🏛️ Prompt 语宙研究院](https://paooo.com/author/paooo-research/) · Prompt 语宙研究院（
paooo.com Research）专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示
词工程（Prompt Engineering）与全球高增长 AI 生产力工具实测追踪，致力于为中文开发
者与创作者提供一手、可复现的深度技术洞察。

[📄 Markdown 纯净版](https://paooo.com/aigc-news/18539/?format=md)

💡 这篇内容对您有启发吗？

[📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/)

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)
