SimpleQA是什么
SimpleQA是OpenAI推出的基准测试,用在评估大型语言模型回答简短、寻求事实问题的能力。SimpleQA包含4326个问题,每个问题设计为只有一个正确答案,易于评分。SimpleQA挑战性强,即使是最先进的大模型如o1-preview和Claude Sonnet 3.5的准确率也不到50%。所有问题经过两位独立标注员验证,确保参考答案的准确性和时效性。SimpleQA能评估模型的事实性回答能力,能测量模型的“校准”程度,即模型对自己回答准确性的自我评估能力。SimpleQA的数据集具有多样性,涵盖多个主题,包括历史、科学、艺术等,用在推动更可靠、可信赖的语言模型的发展。

SimpleQA的主要功能
- 评估事实性回答能力: SimpleQA主要用在测试语言模型回答简短、事实性问题的能力,问题设计为只有一个正确答案。
- 挑战性问题设计: 问题对抗性地收集,针对GPT-4等前沿模型,确保测试具有挑战性。
- 易于评分: 问题设计让答案易于评定,答案被分类为正确、错误或未尝试。
- 模型自我认知评估: 基于评估模型是否“知道自己知道什么”,衡量模型的自我认知能力。
- 校准测量: 测量模型对回答准确性的自信程度,即模型是否能准确评估自己的回答。
SimpleQA的技术原理
- 数据收集与验证: 基于AI训练师创建问题和答案对,由另一名AI训练师独立验证答案,确保一致性。
- 高标准问题筛选: 问题必须满足特定标准,包括单一答案、答案随时间不变、有证据支持、具有挑战性,且截至2023年可回答。
- 质量控制: 用ChatGPT分类器检测违反标准的问题是提高问题质量的步骤之一。
- 多样性和覆盖: 基于ChatGPT分类问题主题和答案类型,确保数据集的多样性。
- 评分机制: 用提示的ChatGPT分类器对模型的回答进行评分,确定其是否正确、错误或未尝试。
- 性能评估: 比较模型在SimpleQA上的表现,评估其在事实性问题回答方面的能力。
- 校准评估: 询问模型对答案的置信度,且与实际准确性进行比较,评估模型的校准能力。
SimpleQA的项目地址
- 项目官网:openai.com/index/introducing-simpleqa
- GitHub仓库:https://github.com/openai/simple-evals/
- 技术论文:https://cdn.openai.com/papers/simpleqa.pdf
SimpleQA的应用场景
- 模型开发与测试: 开发者用SimpleQA测试和比较不同语言模型的性能,特别是在处理事实性问题时的准确性和可靠性。
- 研究与学术: 研究人员探索和发表关于语言模型在事实性回答方面的能力,推动自然语言处理领域的学术研究。
- 教育工具: 在教育领域,作为评估教学辅助工具性能的手段,帮助教师了解和选择最适合学生学习需求的语言模型。
- 信息检索系统: 在构建或优化搜索引擎和信息检索系统时,评估和提升系统对用户查询的响应质量和准确性。
- 问答系统: 对于问答系统(QA系统)的开发,SimpleQA提供标准化的测试集,帮助开发者评估和改进系统的回答质量。
SimpleQA主要评估大模型什么能力?
SimpleQA主要评估语言模型对简短事实问题的回答能力,包括答案是否正确、是否易于评分,以及模型对自己回答置信度的校准能力。它特别关注“知道自己知道什么”的自我认知表现。
SimpleQA为什么说对前沿模型很有挑战?
因为它的问题是对抗性收集的,专门针对前沿模型设计,且要求答案单一、可验证、随时间相对稳定。即使是o1-preview和Claude Sonnet 3.5,准确率也不到50%。
SimpleQA适合用在哪些场景?
它适合模型开发测试、学术研究、教育工具评估、信息检索系统优化和问答系统改进。开发者可用它比较不同模型在事实性回答上的准确率与可靠性。
📊 SimpleQA 基准中不同模型的结果构成(正确 / 未尝试 / 错误)(AI 视觉结构化提取)
核心发现:在 SimpleQA 上,o1-preview 的正确率最高,且相比 GPT-4o mini 和 o1-mini,未尝试比例明显更高;GPT-4o mini 的错误占比最高,整体事实准确性最弱。
| 模型 | 正确 | 未尝试 | 错误 |
|---|---|---|---|
| GPT-4o mini | 约 9% | 约 1% | 约 90% |
| o1-mini | 约 8% | 约 28% | 约 64% |
| GPT-4o | 约 38% | 约 1% | 约 61% |
| o1-preview | 约 43% | 约 9% | 约 48% |
事实性评测为何要看校准?
因为“答对”不够,模型还要知道自己何时不确定。校准能力差的模型会高置信度胡说,实际产品里比偶尔答错更危险。上线时应结合置信阈值、拒答策略和来源引用,降低幻觉伤害。
SimpleQA适合测哪些能力?
它特别适合测短事实问答、唯一答案检索和置信度校准,不适合评估开放式推理或长链条分析。若用于模型选型,最好再补充领域知识集、时效性问题和带引用回答评测,才能更接近真实业务。
