Prompt 语宙Prompt 语宙
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
阅读: 大模型推理能力现原形?美团LongCat团队开源General365基准,实测26款模型仅一款勉强及格
Share
通知 阅读更多
Font Resizer字体
Font Resizer字体
Prompt 语宙Prompt 语宙
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
已有帐户? 登陆
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
大模型推理能力现原形?美团LongCat团队开源General365基准,实测26款模型仅一款勉强及格
Prompt 语宙 > AI 工具 > 大模型推理能力现原形?美团LongCat团队开源General365基准,实测26款模型仅一款勉强及格
AI 工具AIGC 资讯

大模型推理能力现原形?美团LongCat团队开源General365基准,实测26款模型仅一款勉强及格

Prompt 语宙研究院
最近更新: 2026年5月24日 上午9:51
AIGC 人工智能基准测试 大模型 推理评测 美团
SHARE
⚡ Prompt 语宙 AI 导读 · 30 秒核心看点
  • General365用365道原创题和1095个变体,专门评估大模型通用逻辑推理能力。
  • 基准将知识范围限定在K-12水平,并用混合评分与隐藏测试集降低数据污染风险。
  • 26款模型实测中仅Gemini 3 Pro达62.8%,多数模型未过60%及格线,区分度很强。

💡 站外导读:当大模型在各类考试中屡创高分,其在真实、复杂日常场景下的通用推理能力却可能被高估。业界亟需一个剥离专业知识、纯粹考验逻辑思维的评测标尺。美团LongCat团队开源的General365基准,正是为了回答一个核心痛点:我们如何客观衡量大模型的“思考”能力,而非其“记忆”能力?

General365是什么

General365 是美团 LongCat 团队开源的通用推理评测基准,包含 365 道原创种子题及 1095 个扩展变体,覆盖八大推理挑战维度。基准将知识范围严格限定在 K-12 水平,解耦大模型的推理能力与专业知识依赖,真实评估模型在日常场景下的通用逻辑推理水平。实测显示,26 款主流大模型中仅 Gemini 3 Pro 达到 62.8% 的准确率,绝大多数模型未过 60% 及格线。

阅读目录
  • General365是什么
  • General365的主要功能
  • General365的技术原理
  • General365的核心优势
  • General365的项目地址
  • General365的同类竞品对比
  • General365的应用场景
      • 📝 站长洞察 (Editor’s Insight)

General365

General365的主要功能

  • 高多样性评测:365 道人工原创种子题 + 1095 个变体,覆盖复杂约束、分支枚举、时空推理、递归回溯、语义干扰、隐式信息、最优策略、概率不确定性八大维度。
  • 推理与知识解耦:将背景知识限定在 K-12 范围内,纯粹衡量逻辑推理能力而非知识检索。
  • 混合评分系统:结合规则评分与模型评分(GPT-4.1),人工验证评分准确率达 99.6%。
  • 公开子集与隐藏测试集:已公开 180 道种子题及变体(共 720 题),剩余题目作为隐藏测试集防止数据污染。
  • 多模型横向评测:支持对 OpenAI、Gemini、Anthropic、DeepSeek、Qwen、GLM、Kimi、LongCat 等 26+ 款模型的推理能力进行标准化评估。

General365的技术原理

  • 八大维度拆解通用推理:将通用推理拆解为 8 个核心挑战类型,每道题至少对应其一,近 70% 题目具备两个以上类别标签。
  • 避免模板化与死记硬背:通过 t-SNE 语义分布验证和 Gemini 3 Pro 推理路径相似度评分,确保题目逻辑独立性,防止模型靠”背模板”得分。
  • 难度过滤与人工审核:全部题目经过难度过滤、多样性扩充、模型扩题与人工审核,形成 1460 道高质量题目。
  • 混合评分框架:数值题用 math-verify 工具解析验证;选择题和文本题使用 GPT-4.1 进行模型评分。

General365的核心优势

  • 聚焦真实推理能力:区别于 AIME、IMO 等学科竞赛评测,General365 专注日常通用逻辑,暴露大模型”高分低能”的短板。
  • 高区分度:SOTA 模型也仅勉强及格,避免现有基准(如 BBH、BBEH)性能饱和、无法区分模型的问题。
  • 经得起检验的多样性:语义分布均匀分散,逻辑独立性远高于 BBH 和 BBEH。
  • 开源可复现:GitHub 仓库提供完整评测代码,支持社区快速接入和复现。

General365的项目地址

  • 项目官网:https://general365.github.io/
  • GitHub仓库:https://github.com/meituan-longcat/General365
  • HuggingFace模型库:https://huggingface.co/datasets/meituan-longcat/General365_Public
  • arXiv技术论文:https://arxiv.org/pdf/2604.11778

General365的同类竞品对比

维度 General365 BBH (Big-Bench Hard) BBEH (Big-Bench Extra Hard)
评测重点 通用推理(K-12 知识) 综合任务推理 高难度综合任务
题目数量 365 种子 + 1095 变体 23 项任务 多项任务扩展
多样性 极高(语义分布均匀,逻辑独立性强) 较低(存在明显聚集现象) 较低(模板化严重)
难度区分度 高(SOTA 仅 62.8%) 低(性能已饱和) 中等
评分方式 混合评分(规则+模型,准确率 99.6%) 规则评分为主 规则评分为主
数据公开策略 半公开(180 题公开 + 隐藏测试集) 全公开 全公开

General365的应用场景

  • 大模型研发评测:帮助模型开发者识别推理能力短板,针对性优化复杂约束、语义干扰、最优策略等薄弱维度。
  • 模型选型参考:为企业用户选择推理能力更强的商用或开源模型提供客观数据支撑。
  • 学术研究:为通用推理领域提供标准化评测工具,推动 LLM 从”学科专家”向”通用推理者”进化。
  • 推理效率分析:支持分析模型准确率与输出 token 数的关系,评估推理效率。

📝 站长洞察 (Editor’s Insight)

General365的发布标志着AI评测进入“祛魅”新阶段。当主流基准(如BBH)出现性能饱和,行业需要更高区分度的工具。美团此举精准切中要害:将知识限制在K-12水平,强制模型进行纯粹逻辑推演,这直指当前大模型“知识库强大,推理链脆弱”的结构性矛盾。其混合评分与隐藏测试集设计,体现了对抗数据污染、追求评测纯净度的前沿思考。从趋势看,通用推理能力将成为下一阶段模型竞争的核心战场,而General365这类基准将帮助行业从“比谁知识多”转向“比谁更会思考”,驱动模型架构与训练范式的深层创新。

🧭 文中关联 AI 工具官网与参数卡(语宙 AI 导航)
LongCat ↗
美团推出的自研大模型AI对话平台。
HuggingFace ↗
HuggingFace:AI模型开发社区,面向大语言模型场景提供便捷实用的在线功能支持,涵盖大模型等实用方向。
Anthropic ↗
Anthropic:人工智能安全和研究公司,面向大语言模型场景提供便捷实用的在线功能支持,涵盖智能工具等实用方向
❓ 常见问题解答(FAQ)
General365基准主要测什么能力?

General365主要测大模型的通用推理能力,而不是专业知识记忆。它把知识范围限定在K-12水平,重点考察复杂约束、分支枚举、时空推理、递归回溯等日常逻辑思维能力。

General365为什么比BBH更有区分度?

因为General365题量更大、维度更细,且通过语义分布验证、隐藏测试集和混合评分减少模板化与数据污染。文章显示它能让SOTA模型也只拿到62.8%,区分度明显高于已趋于饱和的BBH。

General365适合哪些使用场景?

适合大模型研发评测、企业模型选型和学术研究。开发者可据此定位推理短板,企业可比较不同模型的通用推理表现,研究者则可用它分析模型在真实逻辑任务中的能力边界。

🔬 语宙深潜追问 · 进阶实操拆解
General365 这类基准最有价值在哪?

它的价值在于逼模型面对跨领域、跨步骤、需要组合推理的问题,而不是只考记忆和模式匹配。这样的基准更接近真实应用,也更容易暴露模型在多跳推理和稳健性上的短板。

低分模型是不是就没法实用?

不一定。很多模型在特定任务上仍然很好用,只是通用推理不够强。实际选型应按场景看:如果是固定流程、窄领域任务,专用优化可能比追求通用高分更划算。

🗳️ 读者观点微投票 · 您的实战立场是?
通用推理基准这么难,模型到底差在哪?
🕸️ 语宙向量知识图谱 · 语义强关联深度内链
  • 美团5600亿参数推理模型LongCat-Flash-Thinking:开源MoE架构引领AI Agent新范式
  • 快手开源Klear-Reasoner:8B参数模型刷榜AIME和LiveCodeBench,GPPO算法突破推理极限
  • Skywork-OR1 – 昆仑万维开源的高性能系列推理模型
  • GLM-Z1-32B – 智谱开源的新一代推理模型
🏛️ Prompt 语宙研究院 · Prompt 语宙研究院(paooo.com Research)专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示词工程(Prompt Engineering)与全球高增长 AI 生产力工具实测追踪,致力于为中文开发者与创作者提供一手、可复现的深度技术洞察。
📄 Markdown 纯净版
💡 这篇内容对您有启发吗?
📡 RSS 订阅✨ 提交 AI 工具 / 合作
🚀 Prompt 语宙 AI 创作者生态:探索 2,800+ 全球实用 AI 工具与高精度生图提示词咒语库
🧭 语宙 AI 导航 (ai.paooo.com)🎨 AI 生图 Prompt 库📚 核心专题导航⚡ AIGC 早报生成器
ChildMandarin – 智源联合南开开源的低幼儿童中文语音数据集
Docling – IBM开源的文档解析工具
Luma Ray2 – Luma AI 推出的最新视频生成模型
Fara1.5 – 微软推出的浏览器端 AI 智能体模型系列
字节跳动Seaweed APT2革新:单GPU 24帧/秒,AAPT技术攻克长视频生成难题,AI视频生成迈入实时交互新纪元
TAGGED:AIGC人工智能基准测试大模型推理评测美团
分享
Email 复制链接 打印
Share
Prompt 语宙研究院 头像
ByPrompt 语宙研究院
Follow:
Prompt 语宙研究院(paooo.com Research)专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示词工程(Prompt Engineering)与全球高增长 AI 生产力工具实测追踪,致力于为中文开发者与创作者提供一手、可复现的深度技术洞察。
上一篇 马斯克千亿资本腾挪:SpaceX低息贷款置换高息债,年省10亿美元利息 马斯克千亿资本腾挪:SpaceX低息贷款置换高息债,年省10亿美元利息
下一篇 9Router深度评测:开源AI编程路由神器,智能调度100+模型,Token成本直降40% | 开发者必备工具 9Router深度评测:开源AI编程路由神器,智能调度100+模型,Token成本直降40% | 开发者必备工具
Ad image
Ad image

最近更新

Hello Partner 深度报道主图:2026 年黑五消费前夕 Barclays 与 KPMG 对英国消费者使用 AI 工具比价给出悬殊数据
55%用AI找黑五折扣还是仅12%问大模型?Barclays与KPMG调研打架真相:零点击比价、84%返利盲区与联盟归因断层全拆解
AI 工具
The Verge 专题主视觉:开发者正借助 Claude Code 与 Codex 等 AI 编程工具改造电视、相机与嵌入式硬件固件
从电视去广告到PS5跑老盘!Vibe Coding正席卷消费硬件固件:Take-Two预警强硬DRM反制与ESP32安全替代路径全拆解
最新趋势
Rest of World 调查揭示 AI 大模型数据产业链现状:高学历专家与全球劳动力正在被平台纳入按件计费的零工模式
美国心脏科医生时薪180美元、东南亚仅7.5美元?揭秘大模型“专家零工化”暗面:Scale AI与Mercor的算力人力套利
AIGC 资讯
Forrester 发布“信任与保障组织(TAO)”研究报告概念图:AI 重塑企业安全团队架构与 CISO 治理权责边界
37%企业AI项目未投产先折戟!Forrester呼吁CISO重构安全架构:打造TAO“信任与保障组织”,弥合权责与能力双缺口
最新趋势

相关推荐

当代码生成成本无限归零:知名反编译平台 decomp.dev 宣布关停主索引,揭秘 AI 逆向对开源信任生态的冲击
AIGC 资讯最新趋势

当代码生成成本无限归零:知名反编译平台 decomp.dev 宣布关停主索引,揭秘 AI 逆向对开源信任生态的冲击

Prompt 语宙研究院
decomp.dev 代码大模型 反编译 开源生态 软件安全 逆向工程
​35 名大学生 32 人考试作弊,教授用一行"隐形咒语"让AI现原形
AIGC 资讯

​35 名大学生 32 人考试作弊,教授用一行”隐形咒语”让AI现原形

Prompt 语宙研究院
AI办公效率 AI绘画提示词 ChatGPT OpenAI TikTok
Vidu Q2参考生Pro发布:万物可参考,小白一键生成专业级特效视频的AI创作引擎
AI 工具AIGC 资讯

Vidu Q2参考生Pro发布:万物可参考,小白一键生成专业级特效视频的AI创作引擎

Prompt 语宙研究院
AIGC AI视频生成 Vidu Q2参考生Pro 多模态参考 视频特效
Open Materials 2024 – Meta 开源的大型开放数据集和配套预训练模型
AIGC 资讯

Open Materials 2024 – Meta 开源的大型开放数据集和配套预训练模型

Prompt 语宙研究院
AI智能体 HuggingFace 大模型微调 开源大模型
/ Prompt 语宙 /

探索生成式 AI 的无限创作潜能,一站式获取前沿 AIGC 资讯、高阶 Prompt 咒语与全球实用 AI 工具。

核心专栏

  • 语宙 AI 工具导航
  • EVA 视觉抠图工坊Hot
  • 出海数字营销宝典
  • AI 生图咒语灵感库
  • 24H 硅谷 AI 情报流

生态与服务

  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作

标签

开源大模型 AI智能体 AI办公效率 AI绘画提示词 OpenAI 大模型微调 Midjourney AI编程 stable diffusion AI视频生成 ChatGPT 3D与空间智能 HuggingFace AI音频与语音 RAG检索增强 Claude Flux AIGC Gemini 通义千问 Anthropic Llama Cursor DeepSeek Prompt AI Agent Kimi 智谱AI 具身智能 Claude Code
Prompt 语宙Prompt 语宙
Follow US
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.