Prompt 语宙Prompt 语宙
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
阅读: PawBench – 阿里通义推出的通用智能体评测基准
Share
通知 阅读更多
Font Resizer字体
Font Resizer字体
Prompt 语宙Prompt 语宙
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
已有帐户? 登陆
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
PawBench – 阿里通义推出的通用智能体评测基准
Prompt 语宙 > AIGC 资讯 > PawBench – 阿里通义推出的通用智能体评测基准
AIGC 资讯

PawBench – 阿里通义推出的通用智能体评测基准

Prompt 语宙研究院
最近更新: 2026年6月7日 下午6:00
AI办公效率 AI智能体 大模型微调 开源大模型 通义千问
SHARE
⚡ Prompt 语宙 AI 导读 · 30 秒核心看点
  • 将模型与 Harness 联合评测,解决只看模型不看框架的盲区。
  • 150 道真实任务、4050 个测试单元,支持多切片诊断与回归验证。
  • Docker 沙箱+混合评分,能追踪轨迹并量化 Harness 差距。

PawBench是什么

PawBench 是通义实验室推出的通用智能体评测基准,面向个人助理与 Agent 场景,将底座模型与运行框架(Harness)纳入同一评测体系。PawBench v1.0 构建了 150 道真实任务、4050 个测试单元的评测集,通过 9 个模型 × 3 个 Harness 的交叉评测,能评估模型+Harness的最佳组合,帮 Harness 开发者精准定位问题并验证优化。

阅读目录
  • PawBench是什么
  • PawBench的主要功能
  • PawBench的技术原理
  • 如何使用PawBench
  • PawBench的核心优势
  • PawBench的项目地址
  • PawBench的同类竞品对比
  • PawBench的应用场景

PawBench

PawBench的主要功能

  • 联合评测:将底座模型与运行框架(Harness)纳入同一评测体系,评估 LLM × Harness 的联合效果。
  • 真实任务集:构建 150 道真实任务、4050 个测试单元,从 6 个高质量 Agent 评测集抽取并聚合。
  • 五维标签体系:每道题按应用场景、原子能力、复杂度(L1-L3)、输入模态、运行环境进行结构化标注。
  • 混合评分机制:结合自动评分器(规则断言)与 LLM-as-judge(语义质量评估),分数范围 0 到 1。
  • 多切片榜单:支持 Overall(150 题)、Text(124 题)、Multimodal(26 题)三个维度自由切换查看。
  • 全量轨迹保留:所有任务在 Docker 沙箱中运行,执行轨迹、grader 产物和环境快照完整保存。
  • 深度诊断分析:支持按模型规模、模态、任务类型、技能领域等维度切片,定位 Harness 具体行为缺陷。

PawBench的技术原理

  • 交叉评测矩阵:构建 9 个模型 × 3 个 Harness × 150 道任务的三维评测空间,通过控制变量法隔离模型能力与框架能力的贡献。
  • 五维标签体系:从应用场景、原子能力、复杂度、输入模态、运行环境五个维度对任务进行结构化标注,支持多维度切片下钻分析。
  • 混合评分机制:结合确定性规则断言(文件存在性、字段匹配、exit code)与 LLM-as-judge 语义评估,平衡客观性与灵活性。
  • Docker 沙箱隔离:每个测试单元在独立容器中运行,捕获执行轨迹、workspace 产物及环境快照,确保结果可复现与问题可追溯。
  • 产物级硬校验:通过检查文件是否落盘、diff 是否生成、测试是否通过等实质性指标,避免模型”虚假完工”。

如何使用PawBench

  • 克隆源码:访问 GitHub 仓库 agentscope-ai/PawBench 克隆评测框架。
  • 配置环境:写入待测模型的 API 密钥,并配置 Harness 运行环境。
  • 选择任务:从 150 道任务中选择特定切片(Text/Multimodal)或全量任务启动。
  • 运行评测:在 Docker 沙箱中执行任务,系统自动保留执行轨迹与产物。
  • 获取评分:通过自动评分器与 LLM-as-judge 计算混合权重最终分数。
  • 提交榜单:访问 agentscope-ai.github.io/PawBench 提交结果并查看排名。

PawBench的核心优势

  • 诊断 Harness :通过 4050 个测试单元的切片分析,精准定位框架在 Skill 加载、路径感知、工具配置等方面的行为缺陷。
  • 真实复现性:基于 Docker 沙箱运行,执行轨迹与环境快照完整保留,失败案例可逐层回溯复盘。
  • 零门槛开箱评测:还原开发者首次 clone 后的默认体验,不追求”配齐所有 API Key 的理论上限”。
  • 持续回归验证:Harness 每次修复后可重新切片跑分,验证优化是否真实对应到问题维度。
  • Harness 分差量化:首次证明 Harness 差距(最高 6.4 分)堪比一次重大模型版本升级,为小模型反超提供路径。

PawBench的项目地址

  • 项目官网:https://agentscope-ai.github.io/PawBench/
  • GitHub仓库:https://github.com/agentscope-ai/PawBench

PawBench的同类竞品对比

对比维度 PawBench SWE-bench AgentBench
核心定位 评测”模型 + Harness”联合效果 评测模型解决真实代码问题的能力 评测模型作为 Agent 在多环境中的通用能力
Harness/框架评估 ✅ 核心能力,明确隔离框架贡献 ❌ 否,仅评估模型本身 ❌ 否,仅评估模型本身
任务来源 6 个 Agent 评测集聚合(150 道) 真实 GitHub Issue/PR(2000+) 多环境模拟任务(1000+)
典型任务 办公协同、软件工程、自动化脚本、Web 搜索、Skill 调用 代码 Bug 修复、功能实现、测试通过 OS 操作、数据库查询、网页浏览、卡牌游戏、家务决策
评分机制 自动规则断言 + LLM-as-judge 混合 单元测试通过/失败(二元) 环境规则评分(准确率/成功率)
环境隔离 Docker 沙箱 + 工作区产物校验 代码沙箱 + Git 仓库快照 多环境容器(OS/DB/Web 等)
任务标签体系 五维标签(场景/能力/复杂度/模态/环境) 按编程语言/仓库切片 按环境类型切片
榜单维度 Overall / Text / Multimodal 三切片 按 Verified/Multimodal/Full 分榜 按环境(OS/DB/KG/DCG 等)分榜
失败诊断能力 保留执行轨迹、产物快照、环境状态,支持逐层回溯 保留代码补丁与测试日志 保留环境交互日志
零配置评测 还原首次 clone 后的默认体验 需配置代码仓库环境 需配置各环境容器
最佳适用 Harness 开发者优化、模型+框架选型 代码模型能力评估、编程助手研发 通用 Agent 能力评估、多模态决策研究

PawBench的应用场景

  • Harness 开发者优化:通过切片分析定位框架在 Skill 加载、路径感知、Web 工具默认可用性等方面的具体缺陷。
  • 模型选型参考:帮助用户根据纯文本 / 多模态 / Skill / Web 搜索等任务类型选择最佳模型 + Harness 组合。
  • 基准回归测试:Harness 迭代修复后重新跑分,验证优化是否真实解决对应切片问题。
  • 学术研究:为通用智能体研究提供可复现的交叉评测基准,推动模型与框架协同进化。
❓ 常见问题解答(FAQ)
PawBench主要评测什么?

PawBench 主要评测通用智能体场景中的“模型 + Harness”联合效果,而不是只看底座模型本身。它通过真实任务、切片榜单和混合评分,帮助开发者定位框架在工具调用、路径感知、技能加载等环节的问题。

PawBench和SWE-bench有什么区别?

SWE-bench 主要评测模型解决真实代码问题的能力,重点在代码修复与测试通过;PawBench 则更关注智能体场景下模型与运行框架的联合表现,覆盖办公协同、Web 搜索、Skill 调用等更广泛任务。

PawBench为什么适合做Harness诊断?

因为它保留了完整执行轨迹、grader 产物和环境快照,并支持按模型规模、模态、任务类型等维度切片分析。开发者可以据此回溯失败原因,验证每次修复是否真正改善了对应问题。

🔬 语宙深潜追问 · 进阶实操拆解
为什么要把Harness纳入评测?

因为智能体性能不只取决于模型,还受工具调用、状态管理、重试策略影响。把Harness纳入后,才能区分是模型弱,还是编排层把能力浪费了。

如何用PawBench定位真实瓶颈?

先按任务类型拆分得分,再看失败发生在规划、执行还是恢复环节;结合轨迹日志和混合评分,能快速判断该调模型、改提示词,还是重写工具链。

🗳️ 读者观点微投票 · 您的实战立场是?
通用智能体评测该先测模型还是框架?
🕸️ 语宙向量知识图谱 · 语义强关联深度内链
🤖 所属权威专题:AI Agent 智能体工作流 →
  • WorkBuddy Bench – 腾讯开源的编码智能体评测套件
  • 美团发布VitaBench:首个生活场景大模型Agent评测基准,66个工具与跨场景任务重新定义AI评测
  • HelloBench – 评估LLMs长文本生成能力的开源基准测试工具
  • FullStack Bench – 字节豆包联合M-A-P社区开源的全新代码评估基准
🏛️ Prompt 语宙研究院 · Prompt 语宙研究院(paooo.com Research)专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示词工程(Prompt Engineering)与全球高增长 AI 生产力工具实测追踪,致力于为中文开发者与创作者提供一手、可复现的深度技术洞察。
📄 Markdown 纯净版
💡 这篇内容对您有启发吗?
📡 RSS 订阅✨ 提交 AI 工具 / 合作
🚀 Prompt 语宙 AI 创作者生态:探索 2,800+ 全球实用 AI 工具与高精度生图提示词咒语库
🧭 语宙 AI 导航 (ai.paooo.com)🎨 AI 生图 Prompt 库📚 核心专题导航⚡ AIGC 早报生成器
Infinity – 字节跳动推出的高分辨率图像生成模型
混元3D v2.5 – 腾讯推出的最新版 3D 生成模型
Toolkami – 开源 AI Agent 框架,七种核心工具支持运行
融光AI Fusion Video:开源全流程AI视频创作平台,Agent架构自动分镜到成片,多模型支持Docker一键部署
Writesonic
TAGGED:AI办公效率AI智能体大模型微调开源大模型通义千问
分享
Email 复制链接 打印
Share
Prompt 语宙研究院 头像
ByPrompt 语宙研究院
Follow:
Prompt 语宙研究院(paooo.com Research)专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示词工程(Prompt Engineering)与全球高增长 AI 生产力工具实测追踪,致力于为中文开发者与创作者提供一手、可复现的深度技术洞察。
上一篇 MAI-Voice-2 – 微软推出的新一代文本转语音模型 MAI-Voice-2 – 微软推出的新一代文本转语音模型
下一篇 BrowserAct Skills – 开源的 AI Agent 浏览器自动化 CLI 工具 BrowserAct Skills – 开源的 AI Agent 浏览器自动化 CLI 工具
Ad image
Ad image

最近更新

NVIDIA Vera Rubin 亮相 MLPerf 评测并在训练与端点测试中领先
单GPU训练性能翻倍且智能体每瓦吞吐暴增10倍!NVIDIA Vera Rubin首战MLPerf大获全胜:DeepSeek-V3千卡扩展效率97%与Agentic端点推理全景深度拆解
AIGC 资讯
美国商务部大楼与半导体出口管制新规
算力超1200万TPP即触发许可且限期90天整改!美国商务部突发全球数据中心新规:封死离岸云端远程租用算力与废止AI扩散规则全景深度拆解
AIGC 资讯
AI 原生 CRM 初创公司 Dreamteam 获 5300 万美元融资,挑战 Salesforce 与 HubSpot
斩获5300万美元对标Salesforce!前Freshworks高管创办AI原生CRM Dreamteam:基于Company Brain虚拟记忆与自动化智能体流水线深度拆解
AI 工具
Optimizely 谈营销智能体落地:企业需将审核从输出转向输入
告别Vibe Coding虚火!Optimizely解密企业级营销智能体落地法则:从“输出审核”走向“输入约束”、专用Harness架构与800落地页规模化实战
最新趋势

相关推荐

谷歌强推AI教练取代Fitbit引众怒:新版界面被批幼稚,用户体验全面崩盘?
AI 工具AIGC 资讯

谷歌强推AI教练取代Fitbit引众怒:新版界面被批幼稚,用户体验全面崩盘?

Prompt 语宙研究院
AI健康教练 Fitbit Google Health 用户体验 谷歌
EdgeClaw:面壁智能联合清华开源AI智能体框架,首创三层数据安全协议,实现端云协同与本地隐私守护
AI 工具AIGC 资讯

EdgeClaw:面壁智能联合清华开源AI智能体框架,首创三层数据安全协议,实现端云协同与本地隐私守护

Prompt 语宙研究院
AI智能体框架 数据安全 清华 端云协同 面壁智能
MIP-Adapter – 阿里开源多参考图像融合的个性化图像生成技术
AIGC 资讯

MIP-Adapter – 阿里开源多参考图像融合的个性化图像生成技术

Prompt 语宙研究院
HuggingFace stable diffusion 大模型微调 开源大模型 通义千问
DeviantArt DreamUp
AI 工具

DeviantArt DreamUp

remaker
AI办公效率 AI绘画提示词 Midjourney stable diffusion
/ Prompt 语宙 /

探索生成式 AI 的无限创作潜能,一站式获取前沿 AIGC 资讯、高阶 Prompt 咒语与全球实用 AI 工具。

核心专栏

  • Remaker AI
  • BGRemaker 抠图Hot
  • AIGC 工具
  • Prompt 咒语生成器
  • 去水印工具

生态与服务

  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作

标签

开源大模型 AI智能体 AI办公效率 AI绘画提示词 OpenAI 大模型微调 Midjourney AI编程 stable diffusion AI视频生成 ChatGPT 3D与空间智能 HuggingFace AI音频与语音 RAG检索增强 Claude Flux AIGC Gemini 通义千问 Anthropic Llama Cursor DeepSeek Prompt AI Agent Kimi 智谱AI 具身智能 YouTube
Prompt 语宙Prompt 语宙
Follow US
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.