---
title: "SimpleQA – OpenAI开源的新基准，用于评估前沿模型的事实准确性"
url: "https://paooo.com/aigc-news/25984/"
author: "Prompt 语宙研究院"
published_at: "2026-07-17T12:18:29+08:00"
updated_at: "2026-07-17T12:18:29+08:00"
categories: "AIGC 资讯"
tags: "AI智能体, ChatGPT, Claude, OpenAI"
source: "Prompt 语宙 (https://paooo.com)"
ai_tools_directory: "语宙 AI 导航 (https://ai.paooo.com)"
---

# SimpleQA – OpenAI开源的新基准，用于评估前沿模型的事实准确性

> 来源：[Prompt 语宙 (paooo.com)](https://paooo.com/aigc-news/25984/) · 作者：Prompt 语宙研究院 · 发布时间：2026-07-17

## AI 30 秒核心看点 (TL;DR)

- SimpleQA用4326道单一答案题，专测大模型事实性回答与自我校准能力。
- 它通过双人独立标注、严格筛选和分类评分，保证基准可复现、易评估。
- 实测前沿模型准确率仍不足50%，说明“会答”不等于“答对且知道自己对不对”。

## SimpleQA是什么

SimpleQA是OpenAI推出的基准测试，用在评估大型语言模型回答简短、寻求事实问题的能力。SimpleQA包含4326个问题，每个问题设计为只有一个正确答案，易于评分。SimpleQA挑战性强，即使是最先进的大模型如o1-preview和Claude Sonnet 3.5的准确率也不到50%。所有问题经过两位独立标注员验证，确保参考答案的准确性和时效性。SimpleQA能评估模型的事实性回答能力，能测量模型的“校准”程度，即模型对自己回答准确性的自我评估能力。SimpleQA的数据集具有多样性，涵盖多个主题，包括历史、科学、艺术等，用在推动更可靠、可信赖的语言模型的发展。

## SimpleQA的主要功能

- **评估事实性回答能力：** SimpleQA主要用在测试语言模型回答简短、事实性问题的能力，问题设计为只有一个正确答案。

- **挑战性问题设计：** 问题对抗性地收集，针对GPT-4等前沿模型，确保测试具有挑战性。

- **易于评分：** 问题设计让答案易于评定，答案被分类为正确、错误或未尝试。

- **模型自我认知评估：** 基于评估模型是否“知道自己知道什么”，衡量模型的自我认知能力。

- **校准测量：** 测量模型对回答准确性的自信程度，即模型是否能准确评估自己的回答。

## SimpleQA的技术原理

- **数据收集与验证：** 基于AI训练师创建问题和答案对，由另一名AI训练师独立验证答案，确保一致性。

- **高标准问题筛选：** 问题必须满足特定标准，包括单一答案、答案随时间不变、有证据支持、具有挑战性，且截至2023年可回答。

- **质量控制：** 用ChatGPT分类器检测违反标准的问题是提高问题质量的步骤之一。

- **多样性和覆盖：** 基于ChatGPT分类问题主题和答案类型，确保数据集的多样性。

- **评分机制：** 用提示的ChatGPT分类器对模型的回答进行评分，确定其是否正确、错误或未尝试。

- **性能评估：** 比较模型在SimpleQA上的表现，评估其在事实性问题回答方面的能力。

- **校准评估：** 询问模型对答案的置信度，且与实际准确性进行比较，评估模型的校准能力。

## SimpleQA的项目地址

- **项目官网**：[openai.com/index/introducing-simpleqa](https://openai.com/index/introducing-simpleqa/?utm_source=ai-bot.cn)

- **GitHub仓库**：[https://github.com/openai/simple-evals/](https://github.com/openai/simple-evals/)

- **技术论文**：[https://cdn.openai.com/papers/simpleqa.pdf](https://cdn.openai.com/papers/simpleqa.pdf)

## SimpleQA的应用场景

- **模型开发与测试：** 开发者用SimpleQA测试和比较不同语言模型的性能，特别是在处理事实性问题时的准确性和可靠性。

- **研究与学术：** 研究人员探索和发表关于语言模型在事实性回答方面的能力，推动自然语言处理领域的学术研究。

- **教育工具：** 在教育领域，作为评估教学辅助工具性能的手段，帮助教师了解和选择最适合学生学习需求的语言模型。

- **信息检索系统：** 在构建或优化搜索引擎和信息检索系统时，评估和提升系统对用户查询的响应质量和准确性。

- **问答系统：** 对于问答系统（QA系统）的开发，SimpleQA提供标准化的测试集，帮助开发者评估和改进系统的回答质量。

## 📊 SimpleQA 基准中不同模型的结果构成（正确 / 未尝试 / 错误）

> 核心发现：在 SimpleQA 上，o1-preview 的正确率最高，且相比 GPT-4o mini 和 o1-mini，未尝试比例明显更高；GPT-4o mini 的错误占比最高，整体事实准确性最弱。

| 模型 | 正确 | 未尝试 | 错误 |
| --- | --- | --- | --- |
| GPT-4o mini | 约 9% | 约 1% | 约 90% |
| o1-mini | 约 8% | 约 28% | 约 64% |
| GPT-4o | 约 38% | 约 1% | 约 61% |
| o1-preview | 约 43% | 约 9% | 约 48% |

## 常见问题解答 (FAQ)

### SimpleQA主要评估大模型什么能力？
SimpleQA主要评估语言模型对简短事实问题的回答能力，包括答案是否正确、是否易于评分，以及模型对自己回答置信度的校准能力。它特别关注“知道自己知道什么”的自我认知表现。

### SimpleQA为什么说对前沿模型很有挑战？
因为它的问题是对抗性收集的，专门针对前沿模型设计，且要求答案单一、可验证、随时间相对稳定。即使是o1-preview和Claude Sonnet 3.5，准确率也不到50%。

### SimpleQA适合用在哪些场景？
它适合模型开发测试、学术研究、教育工具评估、信息检索系统优化和问答系统改进。开发者可用它比较不同模型在事实性回答上的准确率与可靠性。

---
探索 2,800+ 全球实用 AI 工具与官方直达入口：[语宙 AI 导航 (https://ai.paooo.com/)](https://ai.paooo.com/)
