Prompt 语宙Prompt 语宙
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
阅读: PlanningBench – 腾讯混元等开源的大模型规划能力评测框架
Share
通知 阅读更多
Font Resizer字体
Font Resizer字体
Prompt 语宙Prompt 语宙
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
已有帐户? 登陆
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
PlanningBench – 腾讯混元等开源的大模型规划能力评测框架
Prompt 语宙 > AIGC 资讯 > PlanningBench – 腾讯混元等开源的大模型规划能力评测框架
AIGC 资讯

PlanningBench – 腾讯混元等开源的大模型规划能力评测框架

Prompt 语宙研究院
最近更新: 2026年6月7日 下午5:55
AI绘画提示词 HuggingFace 大模型微调 开源大模型 腾讯混元
SHARE
⚡ Prompt 语宙 AI 导读 · 30 秒核心看点
  • 面向真实规划场景,PlanningBench用六大任务家族和三层约束体系评测大模型可执行性。
  • 通过Generator-Responder-Critic闭环合成与自动checklist,精准识别“局部正确但整体不可执行”。
  • 实测显示,少量可验证样本即可用于GRPO训练,并迁移提升外部规划基准表现。

PlanningBench是什么

PlanningBench 是腾讯混元团队联合中国人民大学高瓴人工智能学院等机构推出的开源框架,专注于大语言模型的规划能力评测与训练。框架从真实场景出发,构建一套覆盖六大类、30余种规划任务的可验证数据生成体系,通过约束驱动的闭环合成流程,让模型规划结果从看起来合理走向真的可执行。

阅读目录
  • PlanningBench是什么
  • PlanningBench的主要功能
  • PlanningBench的技术原理
  • 如何使用PlanningBench
  • PlanningBench的核心优势
  • PlanningBench的项目地址
  • PlanningBench的同类竞品对比
  • PlanningBench的应用场景

PlanningBench

PlanningBench的主要功能

  • 真实场景覆盖:涵盖日程排布、资源分配、人力排班、路径调度、生产运营、应急服务六大类共30余种具体规划任务。
  • 三层约束体系:将规划难度拆解为基础约束、中等约束和困难约束,实现任务难度的精细化控制。
  • 自动验证机制:每条实例配套可执行checklist,支持Avg-pass和All-pass双指标评测。
  • 闭环数据生成:通过Generator生成问题、Responder尝试解答、Critic验证答案的闭环流程,自动增强数据难度。
  • 训练信号输出:可验证样本可直接用于强化学习训练,为模型提供稳定的规划能力优化信号。

PlanningBench的技术原理

  • 真实场景抽象与约束体系构建:PlanningBench 将由具有规划经验的专业标注人员与算法研究人员协作,从个人通勤、企业排产、医疗应急等真实场景中抽象出可复用的问题结构,最终形成六大规划任务家族与 30 余种具体任务类型,将约束划分为基础约束(时间窗口、资源边界)、中等约束(多目标优化、依赖关系)和困难约束(异常恢复、目标冲突)三个层级,使数据生成在结构化设计空间中组合任务与约束。
  • 约束驱动的闭环合成流程:框架的核心是一个 Generator-Responder-Critic 三角色协作的闭环系统:Generator 根据采样的任务与约束组合生成自包含的规划问题及对应验证清单;Responder 模型尝试生成方案;Critic 依据 checklist 逐项检查答案是否满足全部要求,若通过则提高难度,否则保留为挑战性样本,使 PlanningBench 成为一个能主动寻找模型能力边界的动态数据生成系统。
  • 三层难度约束体系:PlanningBench 将规划难度拆解为任务结构、约束层级、资源紧张度、目标冲突、依赖关系和异常处理等因素,通过控制约束池的采样分布来调控生成数据的难度。基础约束确保方案完整性与可执行性,中等约束引入公平性与负载均衡要求,困难约束则测试模型在不可行识别、最小变更重规划和鲁棒性设计上的能力,使难度提升真正作用于规划推理深度。

如何使用PlanningBench

  • 获取资源:访问 GitHub 仓库克隆代码,或从 HuggingFace 下载数据集。
  • 运行评测:加载PlanningBench评测集,调用模型生成规划方案,使用内置checklist自动计算Avg-pass和All-pass指标。
  • 生成定制数据:配置任务类型与约束层级,运行闭环生成流程,按需产出特定难度和领域的规划训练数据。
  • 训练模型:用生成的可验证样本作为奖励信号,对目标模型进行强化学习训练,迁移到下游规划任务。

PlanningBench的核心优势

  • 可验证性:通过自动checklist精确判定方案是否全局可执行。
  • 难度可控:基于约束层级而非简单增加提示词长度来调控任务难度,更贴近真实规划复杂度。
  • 诊断精准:Avg-pass与All-pass双指标能识别”局部正确但整体不可执行”的模型输出。
  • 训练迁移:仅300条样本即可通过GRPO训练提升模型在外部规划基准和通用指令遵循任务上的表现。
  • 场景真实:任务来源于通勤、排产、医疗调度等实际场景,避免模型在固定题库上过拟合。

PlanningBench的项目地址

  • GitHub仓库:https://github.com/Tencent-Hunyuan/PlanningBench
  • HuggingFace模型库:https://huggingface.co/datasets/tencent/PlanningBench
  • arXiv技术论文:https://arxiv.org/pdf/2605.20873

PlanningBench的同类竞品对比

维度 PlanningBench AgentBench
核心定位 专注于大模型规划能力的评测与训练框架,强调从”看起来合理”到”真的可执行”。 综合性大模型智能体能力评测框架,覆盖推理、决策、工具使用、环境交互等多维度。
任务覆盖 覆盖6大类30余种真实规划任务,包括日程排布、资源分配、人力排班、路径调度、生产运营、应急服务。 覆盖8个交互环境,包括操作系统、数据库、知识图谱、数字卡牌、横向思维、家庭管理、网上购物、网页浏览。
验证机制 每条实例配套结构化checklist,自动逐项验证约束满足情况,精确判定方案是否全局可执行。 基于环境执行反馈与结果匹配判定任务成功,不同环境有独立的验证逻辑。
评测指标 采用Avg-pass(局部约束满足率)与All-pass(全局可执行率)双指标,识别”局部正确但整体不可执行”的输出。 主要采用Success Rate(成功率),按8个环境分别统计,衡量任务最终完成度。
难度控制 通过三层约束体系(基础/中等/困难)与闭环难度增强机制,主动调控约束耦合度和资源冲突强度。 通过多轮交互(5-50轮)和环境复杂度递进提升难度,更侧重交互深度而非约束密度。
环境交互 面向静态规划问题求解,模型在明确输入下生成完整方案,无需与外部环境实时交互。 要求模型与模拟环境(如bash终端、浏览器、数据库)进行实时多轮交互,动态获取反馈。
训练支持 原生支持训练,可验证数据可直接作为GRPO等强化学习的奖励信号,且能迁移到外部基准。 主要用于评测,框架本身不直接提供可扩展的训练数据生成能力。

PlanningBench的应用场景

  • 模型能力诊断:精准识别大模型在约束推理、资源分配、状态跟踪等规划核心能力上的短板。
  • 智能体训练:为AI Agent提供可验证的规划训练数据,提升其在日程安排、物流调度等任务中的可靠性。
  • 学术研究:作为规划能力研究的基准工具,支持可复现、可扩展的模型对比实验。
  • 企业排程优化:基于框架生成特定业务场景(如护士排班、生产排产)的评测数据,评估模型落地可行性。
  • 教育分组与资源分配:用学生分组、物资分发等任务类型,验证模型在多约束条件下的公平性与最优性。
🧭 文中关联 AI 工具官网与参数卡(语宙 AI 导航)
腾讯混元 ↗
腾讯混元大模型是腾讯研发的具备跨领域知识和自然语言理解能力的大语言模型。
HuggingFace ↗
HuggingFace:AI模型开发社区,面向大语言模型场景提供便捷实用的在线功能支持,涵盖大模型等实用方向。
❓ 常见问题解答(FAQ)
PlanningBench主要评测什么能力?

PlanningBench 主要评测大语言模型的规划能力,重点看方案是否不仅“合理”,而且能在真实约束下“全局可执行”。它覆盖日程、排班、调度、排产、应急等六大类30余种任务。

PlanningBench的Avg-pass和All-pass有什么区别?

Avg-pass衡量局部约束满足率,适合看模型是否部分答对;All-pass衡量整套方案是否全部满足约束,更能反映最终是否真的可执行。两者结合可诊断“局部正确但整体失败”的输出。

PlanningBench可以怎么用来训练模型?

它提供可验证样本和闭环生成流程,可直接作为强化学习训练信号。文中提到,约300条样本即可通过GRPO训练提升模型在外部规划基准和通用指令遵循任务上的表现。

🔬 语宙深潜追问 · 进阶实操拆解
PlanningBench适合怎么接入训练?

先用它做基线评测,找出模型在任务分解、约束遵循和步骤顺序上的薄弱点,再用少量高质量样本做GRPO或偏好优化。训练时要把checklist结果回流到数据构造里,形成闭环。

Avg-pass和All-pass该怎么解读?

Avg-pass看平均完成度,适合判断整体进步;All-pass更严格,能暴露长链路规划中的单点失败。实际落地时两者要一起看,因为很多模型平均分不错,但在关键约束上仍会翻车。

🗳️ 读者观点微投票 · 您的实战立场是?
规划评测框架,先测能力还是先训模型?
🕸️ 语宙向量知识图谱 · 语义强关联深度内链
🐋 所属权威专题:DeepSeek 深度实战与部署 →
  • ​腾讯与人大高瓴联合推出开源规划评测框架 PlanningBench
  • FullStack Bench – 字节豆包联合M-A-P社区开源的全新代码评估基准
  • PlanGEN – 谷歌研究团队推出的多智能体框架
  • 美团发布VitaBench:首个生活场景大模型Agent评测基准,66个工具与跨场景任务重新定义AI评测
🏛️ Prompt 语宙研究院 · Prompt 语宙研究院(paooo.com Research)专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示词工程(Prompt Engineering)与全球高增长 AI 生产力工具实测追踪,致力于为中文开发者与创作者提供一手、可复现的深度技术洞察。
📄 Markdown 纯净版
💡 这篇内容对您有启发吗?
📡 RSS 订阅✨ 提交 AI 工具 / 合作
🚀 Prompt 语宙 AI 创作者生态:探索 2,800+ 全球实用 AI 工具与高精度生图提示词咒语库
🧭 语宙 AI 导航 (ai.paooo.com)🎨 AI 生图 Prompt 库📚 核心专题导航⚡ AIGC 早报生成器
[AI生图咒语] 绝美东亚女性酒红色丝绒旗袍都市夜景
历史上的一次大的因为用户界面导致的灾难 [译]
LTM-2-mini – Magic公司推出的支持1亿token上下文AI模型
探讨 LLaMA-1/2 与 GPT-3.5/4,你只需有原则的指令 [译]
腾讯LeVo:3秒克隆音色的AI唱歌模型,Suno4.5级别的音乐生成革命
TAGGED:AI绘画提示词HuggingFace大模型微调开源大模型腾讯混元
分享
Email 复制链接 打印
Share
Prompt 语宙研究院 头像
ByPrompt 语宙研究院
Follow:
Prompt 语宙研究院(paooo.com Research)专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示词工程(Prompt Engineering)与全球高增长 AI 生产力工具实测追踪,致力于为中文开发者与创作者提供一手、可复现的深度技术洞察。
上一篇 中国将首发公有云大模型 Token 性能榜,日均调用量已突破 140 万亿次 中国将首发公有云大模型 Token 性能榜,日均调用量已突破 140 万亿次
下一篇 Magenta RealTime 2 – 谷歌Magenta开源的实时音乐生成模型 Magenta RealTime 2 – 谷歌Magenta开源的实时音乐生成模型
Ad image
Ad image

最近更新

NVIDIA Vera Rubin 亮相 MLPerf 评测并在训练与端点测试中领先
单GPU训练性能翻倍且智能体每瓦吞吐暴增10倍!NVIDIA Vera Rubin首战MLPerf大获全胜:DeepSeek-V3千卡扩展效率97%与Agentic端点推理全景深度拆解
AIGC 资讯
美国商务部大楼与半导体出口管制新规
算力超1200万TPP即触发许可且限期90天整改!美国商务部突发全球数据中心新规:封死离岸云端远程租用算力与废止AI扩散规则全景深度拆解
AIGC 资讯
AI 原生 CRM 初创公司 Dreamteam 获 5300 万美元融资,挑战 Salesforce 与 HubSpot
斩获5300万美元对标Salesforce!前Freshworks高管创办AI原生CRM Dreamteam:基于Company Brain虚拟记忆与自动化智能体流水线深度拆解
AI 工具
Optimizely 谈营销智能体落地:企业需将审核从输出转向输入
告别Vibe Coding虚火!Optimizely解密企业级营销智能体落地法则:从“输出审核”走向“输入约束”、专用Harness架构与800落地页规模化实战
最新趋势

相关推荐

[AI生图咒语] 例6 – 插画艺术创作图
1
AI 生图 Prompt动漫与插画

[AI生图咒语] 例6 – 插画艺术创作图

Prompt 语宙研究院
AI绘画提示词 Flux Midjourney
Llama 3 – Meta开源推出的新一代大语言模型
AIGC 资讯

Llama 3 – Meta开源推出的新一代大语言模型

Prompt 语宙研究院
AI编程 Claude Gemini Llama 大模型微调
Promptriever – 信息检索模型,支持自然语言提示响应用户搜索需求
AIGC 资讯

Promptriever – 信息检索模型,支持自然语言提示响应用户搜索需求

Prompt 语宙研究院
AI智能体 RAG检索增强 开源大模型
Profiling Data – DeepSeek开源训练和推理框架的性能分析数据
AIGC 资讯

Profiling Data – DeepSeek开源训练和推理框架的性能分析数据

Prompt 语宙研究院
AI编程 DeepSeek PyTorch 开源大模型
/ Prompt 语宙 /

探索生成式 AI 的无限创作潜能,一站式获取前沿 AIGC 资讯、高阶 Prompt 咒语与全球实用 AI 工具。

核心专栏

  • Remaker AI
  • BGRemaker 抠图Hot
  • AIGC 工具
  • Prompt 咒语生成器
  • 去水印工具

生态与服务

  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作

标签

开源大模型 AI智能体 AI办公效率 AI绘画提示词 OpenAI 大模型微调 Midjourney AI编程 stable diffusion AI视频生成 ChatGPT 3D与空间智能 HuggingFace AI音频与语音 RAG检索增强 Claude Flux AIGC Gemini 通义千问 Anthropic Llama Cursor DeepSeek Prompt AI Agent Kimi 智谱AI 具身智能 YouTube
Prompt 语宙Prompt 语宙
Follow US
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.