# GTA – 上海AI Lab联合交大推出评估通用工具智能体的基准测试

- Link: https://paooo.com/aigc-news/25787/
- Published: 2026-07-16T10:18:29+08:00
- Author: Prompt 语宙研究院

⚡ [Prompt](https://paooo.com/ai-image-prompts/) 语宙 AI 导读 · 30 秒核心看点

 * GTA用229个真实风格问题和14种真实部署工具，评估LLM通用工具调用能力。
 * 基准覆盖感知、操作、逻辑、创造力，并引入多模态输入输出与细粒度指标。
 * 实测采用step-by-step与end-to-end双模式，能更清晰定位模型工具使用瓶颈。

## GTA是什么

GTA（a benchmark for General Tool Agents）是上海交通大学和上海AI实验室共同推出的
基准测试，评估大型语言模型（LLMs）在真实世界场景中调用工具的能力。GTA基于提供真实
的用户问题、真实部署的工具和多模态输入输出，建立一个全面、细粒度的评估框架，有效
衡量LLMs在复杂场景下的工具使用能力。GTA包含229个人类设计的问题，覆盖感知、操作、
逻辑和创造力等多个类别，要求模型推理合适的工具，规划操作步骤，解决现实世界中的复杂
任务。

阅读目录

 * [GTA是什么](https://paooo.com/aigc-news/25787/#gta%e6%98%af%e4%bb%80%e4%b9%88)
 * [GTA的主要功能](https://paooo.com/aigc-news/25787/#gta%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd)
 * [GTA的技术原理](https://paooo.com/aigc-news/25787/#gta%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86)
 * [GTA的项目地址](https://paooo.com/aigc-news/25787/#gta%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80)
 * [GTA的应用场景](https://paooo.com/aigc-news/25787/#gta%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af)

![GTA](https://paooo.com/wp-content/uploads/2026/07/GTA-website-1.avif)

## GTA的主要功能

 * **真实用户查询**：包含229个人类编写的问题，问题具有简单的现实世界目标，但解决
   步骤和所需工具是隐含的，要求LLM基于推理选择合适的工具、规划操作步骤。
 * **真实部署的工具**：GTA提供一个评估平台，部署涵盖感知、操作、逻辑和创造力四大
   类别的14种工具，评估代理的实际任务执行性能。
 * **多模态输入输出**：GTA引入空间场景、网页截图、表格、代码片段、手写/打印材料等
   多模态输入，要求模型处理丰富的上下文信息，给出文本或图像输出。
 * **细粒度评估**：GTA设计细粒度的评估指标，包括指令遵循准确率（InstAcc）、工具选择
   准确率（ToolAcc）、参数预测准确率（ArgAcc）和答案总结准确率（SummAcc），及最终
   答案准确率（AnsAcc）。
 * **模型评测**：GTA在逐步模式（step-by-step mode）和端到端模式（end-to-end mode）
   下评估语言模型，提供对模型工具使用能力的全面评估。

## GTA的技术原理

 * **数据集构建**：GTA的数据集构建包括问题构建和工具链构建两个步骤。问题由专家设计
   样例和标注文档，由标注人员基于样例设计更多的问题。工具链由标注人员手动调用部署
   好的工具构建，确保每个问题都能用提供的工具解决。
 * **工具调用**：GTA用ReAct风格的提示模板，让LLM用特定的格式调用工具，处理工具返回
   的结果。模板支持LLM进行推理和规划，决定何时及如何调用工具。
 * **多模态处理**：GTA要求LLM处理和理解多模态输入，包括图像、文本等，要求模型具备
   跨模态的理解和推理能力。
 * **细粒度评估指标**：GTA设计的评估指标覆盖工具调用的整个过程，从LLM的工具调用过程
   到执行结果，提供对模型性能的全面评估。
 * **模型比较**：基于比较不同模型在GTA上的表现，揭示现有模型在处理真实世界问题时
   面临的工具使用瓶颈，为未来的通用工具[智能体](https://paooo.com/trends/)提供改进
   方向。

## GTA的项目地址

 * **项目官网**：[open-compass.github.io/GTA](https://open-compass.github.io/GTA/?utm_source=ai-bot.cn)
 * **GitHub仓库**：[https://github.com/open-compass/GTA](https://github.com/open-compass/GTA)
 * **HuggingFace模型库**：[https://huggingface.co/datasets/Jize1/GTA](https://huggingface.co/datasets/Jize1/GTA)
 * **arXiv技术论文**：[https://arxiv.org/pdf/2407.08713](https://arxiv.org/pdf/2407.08713)

## GTA的应用场景

 * **智能助理开发**：GTA评估和训练智能助理，让其更好地理解和执行复杂的用户请求，
   涉及多步骤和多种工具的调用。
 * **多模态交互**：在需要处理图像、文本和其他多媒体内容的场景中，GTA帮助模型学习
   如何结合多种输入类型解决问题。
 * **自动化客户服务**：GTA用在开发自动解决客户问题的系统，系统需要调用不同的工具
   和资源提供准确的答案和解决方案。
 * **教育和培训**：GTA作为教育工具，帮助学生理解如何设计和实现复杂的任务，任务需要
   多步骤推理和工具使用。
 * **研究和开发**：研究人员用GTA测试和比较不同的LLMs，探索工具使用能力的新方法，
   推动AI技术的发展。

🧭 文中关联 [AI 工具](https://ai.paooo.com/)官网与参数卡（语宙 AI 导航）

**HuggingFace ↗**

HuggingFace：AI模型开发社区，面向大语言模型场景提供便捷实用的在线功能支持，涵盖大
模型等实用方向。

❓ 常见问题解答（FAQ）

GTA基准测试主要评估什么能力？

GTA主要评估大语言模型在真实世界场景中调用工具的能力，包括工具选择、参数预测、步骤
规划、结果总结以及最终答案生成，重点看模型能否处理复杂、多步骤、带多模态输入的任务。

GTA和普通工具调用评测有什么不同？

GTA的特点是使用真实用户问题、真实部署工具和多模态输入输出，并提供细粒度指标如InstAcc、
ToolAcc、ArgAcc、SummAcc和AnsAcc，因此比只看最终答案的评测更能反映真实工具使用能力。

GTA适合用在哪些场景？

GTA可用于智能助理开发、多模态交互、自动化客户服务、教育培训以及LLM研究对比，帮助
开发者评估模型在复杂任务中是否能正确选工具、按步骤执行并输出可靠结果。

🔬 语宙深潜追问 · 进阶实操拆解

为什么工具选择比答案更关键？

因为智能体失败往往不是不会答，而是选错工具、参数填错或调用顺序不对。真实任务里，
正确的工具链路决定上限，答案总结只是最后一公里，基准应优先暴露前半段能力。

如何用 GTA 结果指导优化？

先按五项细粒度指标拆分短板：是检索失败、参数预测差，还是多模态理解不足。然后针对
性做工具描述增强、参数模板约束和调用规划训练，比单纯扩[大模型](https://paooo.com/ai-study/)
更有效。

🗳️ 读者观点微投票 · 您的实战立场是？

GTA 基准能测出工具智能体真本事吗？

🕸️ 语宙向量知识图谱 · 语义强关联深度内链

[🤖 所属权威专题：AI Agent 智能体工作流 →](https://paooo.com/topics/ai-agents/)

 * [SuperGPQA – 豆包大模型联合 M-A-P 开源的知识推理基准测试集](https://paooo.com/aigc-news/21345/)
 * [SimpleQA – OpenAI开源的新基准，用于评估前沿模型的事实准确性](https://paooo.com/aigc-news/25984/)
 * [AndroidLab – 清华和北大联合推出系统化评估Android智能代理的框架](https://paooo.com/aigc-news/25781/)
 * [OlympicArena – 上海交大联合 AI Lab 等推出的多学科认知推理基准测试框架](https://paooo.com/aigc-news/20543/)

[🏛️ Prompt 语宙研究院](https://paooo.com/author/paooo-research/) · Prompt 语宙研究院（
paooo.com Research）专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示
词工程（Prompt Engineering）与全球高增长 AI 生产力工具实测追踪，致力于为中文开发
者与创作者提供一手、可复现的深度技术洞察。

[📄 Markdown 纯净版](https://paooo.com/aigc-news/25787/?format=md)

💡 这篇内容对您有启发吗？

[📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/)

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)