Prompt 语宙Prompt 语宙
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
阅读: Math24o – SuperCLUE 开源的高中奥林匹克数学竞赛推理测评基准
Share
通知 阅读更多
Font Resizer字体
Font Resizer字体
Prompt 语宙Prompt 语宙
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
已有帐户? 登陆
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
Math24o – SuperCLUE 开源的高中奥林匹克数学竞赛推理测评基准
Prompt 语宙 > AIGC 资讯 > Math24o – SuperCLUE 开源的高中奥林匹克数学竞赛推理测评基准
AIGC 资讯

Math24o – SuperCLUE 开源的高中奥林匹克数学竞赛推理测评基准

Prompt 语宙研究院
最近更新: 2026年6月8日 上午5:27
Anthropic Claude DeepSeek OpenAI 开源大模型
SHARE
⚡ Prompt 语宙 AI 导读 · 30 秒核心看点
  • 基于 2024 年高中数学竞赛预赛题,Math24o 用 21 道高难度解答题评估大模型数学推理。
  • 答案唯一且可自动判分,能客观衡量模型在函数、数列、几何等题型上的正确率。
  • 实测显示 o3-mini(high) 以 85.71 分领先,DeepSeek-R1 为 57.14 分,差距明显。

Math24o是什么

Math24o 是中文大模型测评基准 SuperCLUE 开源的高中奥林匹克数学竞赛级别的数学推理测评基准。主要用于评估大型语言模型在数学推理方面的能力。使用2024年全国高中数学竞赛的部分预赛试题,包含21道高难度解答题,答案唯一且为整数或小数。测评通过程序自动判断模型答案与参考答案是否一致,以客观评估模型的正确率。测评基准能有效衡量语言模型在解决复杂数学问题时的表现,为相关研究和开发提供了有力的工具。

阅读目录
  • Math24o是什么
  • Math24o的主要功能
  • Math24o的技术实现
  • Math24o的项目地址
  • Math24o的模型性能评估与对比
  • Math24o的应用场景

Math24o

Math24o的主要功能

  • 高难度数学问题测评:Math24o 使用2024年全国高中数学竞赛的预赛试题,包含21道高难度的解答题,题目类型涵盖函数、数列、几何等多个数学领域,能全面评估模型在高中数学竞赛中的推理能力。
  • 答案唯一性与客观评估:所有测评题目的最终答案都是唯一的,且必须是整数或小数,确保了测评的公正性和可靠性。通过程序自动判断模型答案与参考答案是否一致,客观地评估模型的正确率。
  • 自动化评估流程:Math24o 提供了自动化评估工具,用户可以将模型的回答保存到指定文件中,通过运行Python脚本自动获取模型的平均得分和每道题目的详细评估结果。
  • 为模型研发提供参考:测评基准为未来模型的研发提供参考,帮助开发者了解模型在复杂数学任务中的表现,推动模型在数学推理能力上的进一步提升。

Math24o的技术实现

  • 技术实现:Math24o 的技术实现基于 Python 编程语言,通过编写特定的脚本来实现自动化评估功能。使整个评估过程更加高效和标准化,减少了人为干预的可能性。

Math24o的项目地址

  • Github仓库:https://github.com/CLUEbenchmark/Math24o

Math24o的模型性能评估与对比

从测试结果可以看出,o3-mini(high) 表现最为出色,得分最高,达到了85.71分,其他模型如QwQ-32B和DeepSeek-R1等得分相对较低,分别为66.67分和57.14分,表明当前大模型在高中奥数领域的性能仍有提升空间。

排名 模型 机构 总分 使用方式 发布日期
1 o3-mini(high) OpenAI 85.71 API 2025.03.12
2 Gemini-2.0-Flash-Thinking-Exp-01-21 Google 71.43 API 2025.03.12
3 QwQ-Max-Preview 阿里云 66.67 官网 2025.03.12
3 QwQ-32B 阿里云 66.67 模型 2025.03.12
3 o1 OpenAI 66.67 API 2025.03.12
4 DeepSeek-R1 深度求索 57.14 API 2025.03.12
4 Claude 3.7 Sonnet Anthropic 57.14 POE 2025.03.12

Math24o的应用场景

  • 教育领域:Math24o 为教育领域提供了评估和提升学生数学能力的工具。通过使用高中奥林匹克数学竞赛级别的题目,能帮助教师和教育研究者了解学生在复杂数学问题上的推理能力和解题技巧。
  • 学术研究:在学术研究中,Math24o 可以作为评估和比较不同大型语言模型(LLMs)数学推理能力的基准。研究人员可以用基准来衡量模型在解决复杂数学问题时的表现,推动模型性能的提升和优化。
  • 模型开发与优化:Math24o 为开发和优化大型语言模型提供了重要的参考。测试模型在高中奥林匹克数学竞赛题目上的表现,开发者可以更好地理解模型的优势和不足,调整模型的架构和训练策略,提高模型在数学推理任务中的性能。
  • 智慧校园建设:Math24o 可以作为智慧校园建设的一部分,帮助学校评估和提升学生的数学能力。
  • 教育资源整合:Math24o 的题目和评估工具可以整合到教育资源平台中,为学生和教师提供丰富的学习和教学资源
🧭 文中关联 AI 工具官网与参数卡(语宙 AI 导航)
Anthropic ↗
Anthropic:人工智能安全和研究公司,面向大语言模型场景提供便捷实用的在线功能支持,涵盖智能工具等实用方向
Claude ↗
Anthropic 打造的新一代安全人工智能模型,具备超长上下文理解能力,最强代码伴侣。
❓ 常见问题解答(FAQ)
Math24o 主要用来测什么?

Math24o 是 SuperCLUE 开源的高中奥林匹克数学竞赛推理测评基准,主要用于评估大型语言模型在复杂数学推理上的能力,尤其适合检验模型解答高难度竞赛题的正确率与稳定性。

Math24o 的题目和评分方式有什么特点?

它使用 2024 年全国高中数学竞赛部分预赛试题,共 21 道高难度解答题,答案唯一且为整数或小数。系统通过程序自动比对模型答案与参考答案,客观输出平均得分和逐题结果。

哪些模型在 Math24o 上表现较好?

根据文中测试结果,o3-mini(high) 得分最高,为 85.71 分;Gemini-2.0-Flash-Thinking-Exp-01-21 为 71.43 分;QwQ-Max-Preview、QwQ-32B、o1 均为 66.67 分,DeepSeek-R1 和 Claude 3.7 Sonnet 为 57.14 分。

🔬 语宙深潜追问 · 进阶实操拆解
21道题的基准怎么避免样本太少?

小样本基准要靠高质量标注和稳定评分补足统计不足。可增加分题型分析、错误模式归因和多次采样评测,并结合历史竞赛题做外部验证,提升结论可信度。

自动判分能否真实反映推理水平?

能反映一部分,但前提是答案格式严格、步骤规则明确。对奥数题更适合做“最终答案+关键步骤”双层评分,单靠最终数值容易漏掉中间推理错误。

🗳️ 读者观点微投票 · 您的实战立场是?
奥数基准该追求难度还是可复现?
🕸️ 语宙向量知识图谱 · 语义强关联深度内链
🐋 所属权威专题:DeepSeek 深度实战与部署 →
  • QwQ-32B-Preview – 阿里开源的AI推理模型,基准测试超越 o1 模型
  • Light-R1 – 360智脑开源的长思维链推理模型
  • DeepSeek-Math-V2重磅发布:开源数学推理模型,IMO/CMO金牌水平,开启AI自我验证新纪元
  • DeepSeek-Prover-V2 – DeepSeek推出的开源数学推理大模型
🏛️ Prompt 语宙研究院 · Prompt 语宙研究院(paooo.com Research)专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示词工程(Prompt Engineering)与全球高增长 AI 生产力工具实测追踪,致力于为中文开发者与创作者提供一手、可复现的深度技术洞察。
📄 Markdown 纯净版
💡 这篇内容对您有启发吗?
📡 RSS 订阅✨ 提交 AI 工具 / 合作
🚀 Prompt 语宙 AI 创作者生态:探索 2,800+ 全球实用 AI 工具与高精度生图提示词咒语库
🧭 语宙 AI 导航 (ai.paooo.com)🎨 AI 生图 Prompt 库📚 核心专题导航⚡ AIGC 早报生成器
TimesFM 2.0 – 谷歌研究团队开源的时间序列预测模型
阿里通义HumanOmniV2开源:多模态推理模型突破意图理解,69%准确率引领AI新范式
RAGEN – 训练大模型推理 Agent 的开源强化学习框架
Uber AI预算四个月烧光:工程效率飙升背后,企业正陷入’生产率幻觉’危机
VoxCPM:面壁智能联合清华推出0.5B参数语音模型,实现业界顶尖零样本克隆与实时合成
TAGGED:AnthropicClaudeDeepSeekOpenAI开源大模型
分享
Email 复制链接 打印
Share
Prompt 语宙研究院 头像
ByPrompt 语宙研究院
Follow:
Prompt 语宙研究院(paooo.com Research)专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示词工程(Prompt Engineering)与全球高增长 AI 生产力工具实测追踪,致力于为中文开发者与创作者提供一手、可复现的深度技术洞察。
上一篇 Seed-Thinking-v1.5 – 字节跳动推出的最新思考模型 Seed-Thinking-v1.5 – 字节跳动推出的最新思考模型
下一篇 WebThinker – 人民大学联合智源研究院等机构推出的深度研究智能体 WebThinker – 人民大学联合智源研究院等机构推出的深度研究智能体
Ad image
Ad image

最近更新

NVIDIA Vera Rubin 亮相 MLPerf 评测并在训练与端点测试中领先
单GPU训练性能翻倍且智能体每瓦吞吐暴增10倍!NVIDIA Vera Rubin首战MLPerf大获全胜:DeepSeek-V3千卡扩展效率97%与Agentic端点推理全景深度拆解
AIGC 资讯
美国商务部大楼与半导体出口管制新规
算力超1200万TPP即触发许可且限期90天整改!美国商务部突发全球数据中心新规:封死离岸云端远程租用算力与废止AI扩散规则全景深度拆解
AIGC 资讯
AI 原生 CRM 初创公司 Dreamteam 获 5300 万美元融资,挑战 Salesforce 与 HubSpot
斩获5300万美元对标Salesforce!前Freshworks高管创办AI原生CRM Dreamteam:基于Company Brain虚拟记忆与自动化智能体流水线深度拆解
AI 工具
Optimizely 谈营销智能体落地:企业需将审核从输出转向输入
告别Vibe Coding虚火!Optimizely解密企业级营销智能体落地法则:从“输出审核”走向“输入约束”、专用Harness架构与800落地页规模化实战
最新趋势

相关推荐

MagicStock
AI 工具

MagicStock

remaker
AI办公效率 AI绘画提示词 Midjourney 开源大模型
ID-Animator – 腾讯等推出的个性化人物视频生成框架
AIGC 资讯

ID-Animator – 腾讯等推出的个性化人物视频生成框架

Prompt 语宙研究院
AI视频生成 Civitai ComfyUI stable diffusion 开源大模型
代码100%由AI编写: 9 年iOS开发者 15 天打造外卖游戏,斩获2. 5 万美元奖​金
AIGC 资讯

代码100%由AI编写: 9 年iOS开发者 15 天打造外卖游戏,斩获2. 5 万美元奖​金

Prompt 语宙研究院
AI绘画提示词 AI编程 Claude Claude Code Cursor
中国首个1.58-bit三值大模型BitCPM-CANN开源发布:显存降6倍,8B模型可跑在手机上
AI 工具AIGC 资讯

中国首个1.58-bit三值大模型BitCPM-CANN开源发布:显存降6倍,8B模型可跑在手机上

Prompt 语宙研究院
三值大模型 低比特大模型 华为昇腾 端侧AI 面壁智能
/ Prompt 语宙 /

探索生成式 AI 的无限创作潜能,一站式获取前沿 AIGC 资讯、高阶 Prompt 咒语与全球实用 AI 工具。

核心专栏

  • Remaker AI
  • BGRemaker 抠图Hot
  • AIGC 工具
  • Prompt 咒语生成器
  • 去水印工具

生态与服务

  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作

标签

开源大模型 AI智能体 AI办公效率 AI绘画提示词 OpenAI 大模型微调 Midjourney AI编程 stable diffusion AI视频生成 ChatGPT 3D与空间智能 HuggingFace AI音频与语音 RAG检索增强 Claude Flux AIGC Gemini 通义千问 Anthropic Llama Cursor DeepSeek Prompt AI Agent Kimi 智谱AI 具身智能 YouTube
Prompt 语宙Prompt 语宙
Follow US
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.