# SimpleQA – OpenAI开源的新基准，用于评估前沿模型的事实准确性

- Link: https://paooo.com/aigc-news/25984/
- Published: 2026-07-17T12:18:29+08:00
- Author: Prompt 语宙研究院

⚡ [Prompt](https://paooo.com/ai-image-prompts/) 语宙 AI 导读 · 30 秒核心看点

 * SimpleQA用4326道单一答案题，专测[大模型](https://paooo.com/ai-study/)事实性回答
   与自我校准能力。
 * 它通过双人独立标注、严格筛选和分类评分，保证基准可复现、易评估。
 * 实测前沿模型准确率仍不足50%，说明“会答”不等于“答对且知道自己对不对”。

## SimpleQA是什么

SimpleQA是[OpenAI](https://paooo.com/tag/openai/)推出的基准测试，用在评估大型语言
模型回答简短、寻求事实问题的能力。SimpleQA包含4326个问题，每个问题设计为只有一个
正确答案，易于评分。SimpleQA挑战性强，即使是最先进的大模型如o1-preview和Claude Sonnet
3.5的准确率也不到50%。所有问题经过两位独立标注员验证，确保参考答案的准确性和时效
性。SimpleQA能评估模型的事实性回答能力，能测量模型的“校准”程度，即模型对自己回答
准确性的自我评估能力。SimpleQA的数据集具有多样性，涵盖多个主题，包括历史、科学、
艺术等，用在推动更可靠、可信赖的语言模型的发展。

阅读目录

 * [SimpleQA是什么](https://paooo.com/aigc-news/25984/#simpleqa%e6%98%af%e4%bb%80%e4%b9%88)
 * [SimpleQA的主要功能](https://paooo.com/aigc-news/25984/#simpleqa%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd)
 * [SimpleQA的技术原理](https://paooo.com/aigc-news/25984/#simpleqa%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86)
 * [SimpleQA的项目地址](https://paooo.com/aigc-news/25984/#simpleqa%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80)
 * [SimpleQA的应用场景](https://paooo.com/aigc-news/25984/#simpleqa%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af)

![SimpleQA](https://paooo.com/wp-content/uploads/2026/07/SimpleQA-website-1.avif)

## SimpleQA的主要功能

 * **评估事实性回答能力：** SimpleQA主要用在测试语言模型回答简短、事实性问题的能力，
   问题设计为只有一个正确答案。
 * **挑战性问题设计：** 问题对抗性地收集，针对GPT-4等前沿模型，确保测试具有挑战性。
 * **易于评分：** 问题设计让答案易于评定，答案被分类为正确、错误或未尝试。
 * **模型自我认知评估：** 基于评估模型是否“知道自己知道什么”，衡量模型的自我认知
   能力。
 * **校准测量：** 测量模型对回答准确性的自信程度，即模型是否能准确评估自己的回答。

## SimpleQA的技术原理

 * **数据收集与验证：** 基于AI训练师创建问题和答案对，由另一名AI训练师独立验证答案，
   确保一致性。
 * **高标准问题筛选：** 问题必须满足特定标准，包括单一答案、答案随时间不变、有证据
   支持、具有挑战性，且截至2023年可回答。
 * **质量控制：** 用[ChatGPT](https://paooo.com/tag/chatgpt/)分类器检测违反标准的
   问题是提高问题质量的步骤之一。
 * **多样性和覆盖：** 基于ChatGPT分类问题主题和答案类型，确保数据集的多样性。
 * **评分机制：** 用提示的ChatGPT分类器对模型的回答进行评分，确定其是否正确、错误
   或未尝试。
 * **性能评估：** 比较模型在SimpleQA上的表现，评估其在事实性问题回答方面的能力。
 * **校准评估：** 询问模型对答案的置信度，且与实际准确性进行比较，评估模型的校准
   能力。

## SimpleQA的项目地址

 * **项目官网**：[openai.com/index/introducing-simpleqa](https://openai.com/index/introducing-simpleqa/?utm_source=ai-bot.cn)
 * **GitHub仓库**：[https://github.com/openai/simple-evals/](https://github.com/openai/simple-evals/)
 * **技术论文**：[https://cdn.openai.com/papers/simpleqa.pdf](https://cdn.openai.com/papers/simpleqa.pdf)

## SimpleQA的应用场景

 * **模型开发与测试：** 开发者用SimpleQA测试和比较不同语言模型的性能，特别是在处理
   事实性问题时的准确性和可靠性。
 * **研究与学术：** 研究人员探索和发表关于语言模型在事实性回答方面的能力，推动自然
   语言处理领域的学术研究。
 * **教育工具：** 在教育领域，作为评估教学辅助工具性能的手段，帮助教师了解和选择
   最适合学生学习需求的语言模型。
 * **信息检索系统：** 在构建或优化搜索引擎和信息检索系统时，评估和提升系统对用户
   查询的响应质量和准确性。
 * **问答系统：** 对于问答系统（QA系统）的开发，SimpleQA提供标准化的测试集，帮助
   开发者评估和改进系统的回答质量。

🧭 文中关联 AI 工具官网与参数卡（语宙 AI 导航）

**ChatGPT ↗**

OpenAI 研发的通用人工智能对话大模型，支持多模态交互与深度推理。

**Claude ↗**

Anthropic 打造的新一代安全人工智能模型，具备超长上下文理解能力，最强代码伴侣。

❓ 常见问题解答（FAQ）

SimpleQA主要评估大模型什么能力？

SimpleQA主要评估语言模型对简短事实问题的回答能力，包括答案是否正确、是否易于评分，
以及模型对自己回答置信度的校准能力。它特别关注“知道自己知道什么”的自我认知表现。

SimpleQA为什么说对前沿模型很有挑战？

因为它的问题是对抗性收集的，专门针对前沿模型设计，且要求答案单一、可验证、随时间
相对稳定。即使是o1-preview和Claude Sonnet 3.5，准确率也不到50%。

SimpleQA适合用在哪些场景？

它适合模型开发测试、学术研究、教育工具评估、信息检索系统优化和问答系统改进。开发
者可用它比较不同模型在事实性回答上的准确率与可靠性。

📊 SimpleQA 基准中不同模型的结果构成（正确 / 未尝试 / 错误）（AI 视觉结构化提取）

**核心发现：**在 SimpleQA 上，o1-preview 的正确率最高，且相比 GPT-4o mini 和 o1-
mini，未尝试比例明显更高；GPT-4o mini 的错误占比最高，整体事实准确性最弱。

| 模型 | 正确 | 未尝试 | 错误 | 
| GPT-4o mini | 约 9% | 约 1% | 约 90% | 
| o1-mini | 约 8% | 约 28% | 约 64% | 
| GPT-4o | 约 38% | 约 1% | 约 61% | 
| o1-preview | 约 43% | 约 9% | 约 48% |

🔬 语宙深潜追问 · 进阶实操拆解

事实性评测为何要看校准？

因为“答对”不够，模型还要知道自己何时不确定。校准能力差的模型会高置信度胡说，实际
产品里比偶尔答错更危险。上线时应结合置信阈值、拒答策略和来源引用，降低幻觉伤害。

SimpleQA适合测哪些能力？

它特别适合测短事实问答、唯一答案检索和置信度校准，不适合评估开放式推理或长链条分析。
若用于模型选型，最好再补充领域知识集、时效性问题和带引用回答评测，才能更接近真实
业务。

🗳️ 读者观点微投票 · 您的实战立场是？

大模型事实性不到50%，你还敢直接上线吗？

🕸️ 语宙向量知识图谱 · 语义强关联深度内链

[⚡ 所属权威专题：OpenAI GPT 与 Sora 生态 →](https://paooo.com/topics/openai-gpt-sora/)

 * [FACTS Grounding – 谷歌推出的评估大模型能力的基准测试](https://paooo.com/aigc-news/24771/)
 * [AxBench – 斯坦福大学推出评估语言模控制方法的基准测试框架](https://paooo.com/aigc-news/22268/)
 * [MMSearch – 评估大型多模态AI搜索引擎能力的基准测试工具](https://paooo.com/aigc-news/26499/)
 * [SuperGPQA – 豆包大模型联合 M-A-P 开源的知识推理基准测试集](https://paooo.com/aigc-news/21345/)

[🏛️ Prompt 语宙研究院](https://paooo.com/author/paooo-research/) · Prompt 语宙研究院（
paooo.com Research）专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示
词工程（Prompt Engineering）与全球高增长 AI 生产力工具实测追踪，致力于为中文开发
者与创作者提供一手、可复现的深度技术洞察。

[📄 Markdown 纯净版](https://paooo.com/aigc-news/25984/?format=md)

💡 这篇内容对您有启发吗？

[📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/)

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)
