# 大模型推理能力现原形？美团LongCat团队开源General365基准，实测26款模型仅一款勉强及格

- Link: https://paooo.com/aigc-news/10562/
- Published: 2026-05-24T09:51:56+08:00
- Author: Prompt 语宙研究院

⚡ [Prompt](https://paooo.com/ai-image-prompts/) 语宙 AI 导读 · 30 秒核心看点

 * General365用365道原创题和1095个变体，专门评估[大模型](https://paooo.com/ai-study/)
   通用逻辑推理能力。
 * 基准将知识范围限定在K-12水平，并用混合评分与隐藏测试集降低数据污染风险。
 * 26款模型实测中仅Gemini 3 Pro达62.8%，多数模型未过60%及格线，区分度很强。

> **💡 站外导读：**当大模型在各类考试中屡创高分，其在真实、复杂日常场景下的通用推理
> 能力却可能被高估。业界亟需一个剥离专业知识、纯粹考验逻辑思维的评测标尺。美团LongCat
> 团队开源的General365基准，正是为了回答一个核心痛点：我们如何客观衡量大模型的“思考”
> 能力，而非其“记忆”能力？

## General365是什么

General365 是美团 LongCat 团队开源的通用推理评测基准，包含 365 道原创种子题及 1095
个扩展变体，覆盖八大推理挑战维度。基准将知识范围严格限定在 K-12 水平，解耦大模型
的推理能力与专业知识依赖，真实评估模型在日常场景下的通用逻辑推理水平。实测显示，
26 款主流大模型中仅 Gemini 3 Pro 达到 62.8% 的准确率，绝大多数模型未过 60% 及格线。

阅读目录

 * [General365是什么](https://paooo.com/aigc-news/10562/#general365%e6%98%af%e4%bb%80%e4%b9%88)
 * [General365的主要功能](https://paooo.com/aigc-news/10562/#general365%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd)
 * [General365的技术原理](https://paooo.com/aigc-news/10562/#general365%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86)
 * [General365的核心优势](https://paooo.com/aigc-news/10562/#general365%e7%9a%84%e6%a0%b8%e5%bf%83%e4%bc%98%e5%8a%bf)
 * [General365的项目地址](https://paooo.com/aigc-news/10562/#general365%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80)
 * [General365的同类竞品对比](https://paooo.com/aigc-news/10562/#general365%e7%9a%84%e5%90%8c%e7%b1%bb%e7%ab%9e%e5%93%81%e5%af%b9%e6%af%94)
 * [General365的应用场景](https://paooo.com/aigc-news/10562/#general365%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af)
       * [📝 站长洞察 (Editor’s Insight)](https://paooo.com/aigc-news/10562/#%f0%9f%93%9d-%e7%ab%99%e9%95%bf%e6%b4%9e%e5%af%9f-editor8217s-insight)

![General365](https://paooo.com/wp-content/uploads/2026/05/General365-website-3.
avif)

## General365的主要功能

 * **高多样性评测**：365 道人工原创种子题 + 1095 个变体，覆盖复杂约束、分支枚举、
   时空推理、递归回溯、语义干扰、隐式信息、最优策略、概率不确定性八大维度。
 * **推理与知识解耦**：将背景知识限定在 K-12 范围内，纯粹衡量逻辑推理能力而非知识
   检索。
 * **混合评分系统**：结合规则评分与模型评分（GPT-4.1），人工验证评分准确率达 99.6%。
 * **公开子集与隐藏测试集**：已公开 180 道种子题及变体（共 720 题），剩余题目作为
   隐藏测试集防止数据污染。
 * **多模型横向评测**：支持对 OpenAI、Gemini、Anthropic、[DeepSeek](https://paooo.com/?s=DeepSeek)、
   Qwen、GLM、Kimi、LongCat 等 26+ 款模型的推理能力进行标准化评估。

## General365的技术原理

 * **八大维度拆解通用推理**：将通用推理拆解为 8 个核心挑战类型，每道题至少对应其一，
   近 70% 题目具备两个以上类别标签。
 * **避免模板化与死记硬背**：通过 t-SNE 语义分布验证和 Gemini 3 Pro 推理路径相似
   度评分，确保题目逻辑独立性，防止模型靠”背模板”得分。
 * **难度过滤与人工审核**：全部题目经过难度过滤、多样性扩充、模型扩题与人工审核，
   形成 1460 道高质量题目。
 * **混合评分框架**：数值题用 math-verify 工具解析验证；选择题和文本题使用 GPT-4.1
   进行模型评分。

## General365的核心优势

 * **聚焦真实推理能力**：区别于 AIME、IMO 等学科竞赛评测，General365 专注日常通用
   逻辑，暴露大模型”高分低能”的短板。
 * **高区分度**：SOTA 模型也仅勉强及格，避免现有基准（如 BBH、BBEH）性能饱和、无法
   区分模型的问题。
 * **经得起检验的多样性**：语义分布均匀分散，逻辑独立性远高于 BBH 和 BBEH。
 * **开源可复现**：GitHub 仓库提供完整评测代码，支持社区快速接入和复现。

## General365的项目地址

 * **项目官网**：https://general365.github.io/
 * **GitHub仓库**：https://github.com/meituan-longcat/General365
 * **HuggingFace模型库**：https://huggingface.co/datasets/meituan-longcat/General365_Public
 * **arXiv技术论文**：https://arxiv.org/pdf/2604.11778

## General365的同类竞品对比

  |  维度 |  General365 |  BBH (Big-Bench Hard) |  BBEH (Big-Bench Extra Hard) |  
   |  **评测重点** |  通用推理（K-12 知识） |  综合任务推理 |  高难度综合任务 |  
 |  **题目数量** |  365 种子 + 1095 变体 |  23 项任务 |  多项任务扩展 |  
 |  **多样性** |  极高（语义分布均匀，逻辑独立性强） |  较低（存在明显聚集现象） |  较低（模板化严重） |  
 |  **难度区分度** |  高（SOTA 仅 62.8%） |  低（性能已饱和） |  中等 |  
 |  **评分方式** |  混合评分（规则+模型，准确率 99.6%） |  规则评分为主 |  规则评分为主 |  
 |  **数据公开策略** |  半公开（180 题公开 + 隐藏测试集） |  全公开 |  全公开 |

## General365的应用场景

 * **大模型研发评测**：帮助模型开发者识别推理能力短板，针对性优化复杂约束、语义干扰、
   最优策略等薄弱维度。
 * **模型选型参考**：为企业用户选择推理能力更强的商用或开源模型提供客观数据支撑。
 * **学术研究**：为通用推理领域提供标准化评测工具，推动 LLM 从”学科专家”向”通用推理
   者”进化。
 * **推理效率分析**：支持分析模型准确率与输出 token 数的关系，评估推理效率。

#### 📝 站长洞察 (Editor’s Insight)

General365的发布标志着AI评测进入“祛魅”新阶段。当主流基准（如BBH）出现性能饱和，行业
需要更高区分度的工具。美团此举精准切中要害：将知识限制在K-12水平，强制模型进行纯粹
逻辑推演，这直指当前大模型“知识库强大，推理链脆弱”的结构性矛盾。其混合评分与隐藏
测试集设计，体现了对抗数据污染、追求评测纯净度的前沿思考。从趋势看，通用推理能力
将成为下一阶段模型竞争的核心战场，而General365这类基准将帮助行业从“比谁知识多”转向“
比谁更会思考”，驱动模型架构与训练范式的深层创新。

🧭 文中关联 [AI 工具](https://ai.paooo.com/)官网与参数卡（语宙 AI 导航）

**LongCat ↗**

美团推出的自研大模型AI对话平台。

**HuggingFace ↗**

HuggingFace：AI模型开发社区，面向大语言模型场景提供便捷实用的在线功能支持，涵盖大
模型等实用方向。

**Anthropic ↗**

Anthropic：人工智能安全和研究公司，面向大语言模型场景提供便捷实用的在线功能支持，
涵盖智能工具等实用方向

❓ 常见问题解答（FAQ）

General365基准主要测什么能力？

General365主要测大模型的通用推理能力，而不是专业知识记忆。它把知识范围限定在K-12
水平，重点考察复杂约束、分支枚举、时空推理、递归回溯等日常逻辑思维能力。

General365为什么比BBH更有区分度？

因为General365题量更大、维度更细，且通过语义分布验证、隐藏测试集和混合评分减少模板
化与数据污染。文章显示它能让SOTA模型也只拿到62.8%，区分度明显高于已趋于饱和的BBH。

General365适合哪些使用场景？

适合大模型研发评测、企业模型选型和学术研究。开发者可据此定位推理短板，企业可比较
不同模型的通用推理表现，研究者则可用它分析模型在真实逻辑任务中的能力边界。

🔬 语宙深潜追问 · 进阶实操拆解

General365 这类基准最有价值在哪？

它的价值在于逼模型面对跨领域、跨步骤、需要组合推理的问题，而不是只考记忆和模式匹配。
这样的基准更接近真实应用，也更容易暴露模型在多跳推理和稳健性上的短板。

低分模型是不是就没法实用？

不一定。很多模型在特定任务上仍然很好用，只是通用推理不够强。实际选型应按场景看：
如果是固定流程、窄领域任务，专用优化可能比追求通用高分更划算。

🗳️ 读者观点微投票 · 您的实战立场是？

通用推理基准这么难，模型到底差在哪？

🕸️ 语宙向量知识图谱 · 语义强关联深度内链

 * [美团5600亿参数推理模型LongCat-Flash-Thinking：开源MoE架构引领AI Agent新范式](https://paooo.com/aigc-news/13594/)
 * [快手开源Klear-Reasoner：8B参数模型刷榜AIME和LiveCodeBench，GPPO算法突破推理极限](https://paooo.com/ai-tool/14061/)
 * [Skywork-OR1 – 昆仑万维开源的高性能系列推理模型](https://paooo.com/aigc-news/20384/)
 * [GLM-Z1-32B – 智谱开源的新一代推理模型](https://paooo.com/aigc-news/20326/)

[🏛️ Prompt 语宙研究院](https://paooo.com/author/paooo-research/) · Prompt 语宙研究院（
paooo.com Research）专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示
词工程（Prompt Engineering）与全球高增长 AI 生产力工具实测追踪，致力于为中文开发
者与创作者提供一手、可复现的深度技术洞察。

[📄 Markdown 纯净版](https://paooo.com/aigc-news/10562/?format=md)

💡 这篇内容对您有启发吗？

[📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/)

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)
