# VitaBench 2.0 – 美团 LongCat 推出的长期动态智能体评测基准

- Link: https://paooo.com/aigc-news/24467/
- Published: 2026-07-07T16:09:03+08:00
- Author: 站外新闻

## VitaBench 2.0是什么

VitaBench 2.0 是美团 LongCat 团队推出的首个真实生活场景下长期动态用户建模智能体评
测基准，包含 56 名拟真用户、819 个复杂任务、超 2000 个动态偏好及 66 个可执行工具，
平均交互跨度达 1580 天，系统评测大模型在长期互动中的个性化与主动性能力。

阅读目录

 * [VitaBench 2.0是什么](https://paooo.com/aigc-news/24467/#vitabench-20%e6%98%af%e4%bb%80%e4%b9%88)
 * [VitaBench 2.0的主要功能](https://paooo.com/aigc-news/24467/#vitabench-20%e7%9a%84%e4%b8%bb%e8%a6%81%e5%8a%9f%e8%83%bd)
 * [VitaBench 2.0的技术原理](https://paooo.com/aigc-news/24467/#vitabench-20%e7%9a%84%e6%8a%80%e6%9c%af%e5%8e%9f%e7%90%86)
 * [如何使用VitaBench 2.0](https://paooo.com/aigc-news/24467/#%e5%a6%82%e4%bd%95%e4%bd%bf%e7%94%a8vitabench-20)
 * [VitaBench 2.0的核心优势](https://paooo.com/aigc-news/24467/#vitabench-20%e7%9a%84%e6%a0%b8%e5%bf%83%e4%bc%98%e5%8a%bf)
 * [VitaBench 2.0的项目地址](https://paooo.com/aigc-news/24467/#vitabench-20%e7%9a%84%e9%a1%b9%e7%9b%ae%e5%9c%b0%e5%9d%80)
 * [VitaBench 2.0的同类竞品对比](https://paooo.com/aigc-news/24467/#vitabench-20%e7%9a%84%e5%90%8c%e7%b1%bb%e7%ab%9e%e5%93%81%e5%af%b9%e6%af%94)
 * [VitaBench 2.0的应用场景](https://paooo.com/aigc-news/24467/#vitabench-20%e7%9a%84%e5%ba%94%e7%94%a8%e5%9c%ba%e6%99%af)

![VitaBench 2.0](https://paooo.com/wp-content/uploads/2026/07/VitaBench-2.0-website-
1.avif)

## VitaBench 2.0的主要功能

 * **拟真用户轨迹构建**：为 56 位虚拟用户构建覆盖送餐、到店、差旅等领域的长期生活
   轨迹。
 * **动态偏好演化**：嵌入超 2000 种偏好，平均每位用户发生 48 次以上动态变化。
 * **复杂任务评测**：提供 819 个贯穿用户生命周期的可执行任务。
 * **双记忆模式对决**：统一评测 Agentic Memory（主动维护档案）与 RAG Memory（检索
   历史片段）。
 * **主动性任务设计**：考验 AI 在信息不足时主动提问非盲目决策的能力。

## VitaBench 2.0的技术原理

 * **三维解构架构**：将用户信息（画像+偏好+历史+任务）→ 个性化记忆→ 智能体任务串联
   为完整闭环。
 * **时间标尺暴露**：严格按时间线向 Agent 暴露交互事件，真实还原用户偏好的演进与
   漂移。
 * **记忆擂台机制**：通过可扩展接口让两种记忆架构在相同用户场景下公平对决，评估不同
   设计对决策的真实影响。
 * **噪音信号分离**：约 20% 交互包含无关、探索性、代理等噪音，考验模型从混杂线索
   中提取真实偏好的能力。

## 如何使用VitaBench 2.0

 * **克隆仓库**：执行 `git clone https://github.com/meituan-longcat/vitabench-2.0.
   git` 获取评测框架与运行脚本。
 * **下载数据**：从 HuggingFace 数据集 拉取包含 56 名用户轨迹、819 个任务及 66 个
   工具的标准化数据集。
 * **安装依赖**：进入项目目录并运行安装命令，配置 Python 环境与所需库。
 * **选择模式**：在 Full Context、Agentic Memory、RAG Memory 三种记忆设置中选定一种
   作为评测基线。
 * **接入模型**：按照仓库文档将你的大模型或 Agent 接入评测接口，使其按时间线接收
   用户事件并调用工具。
 * **启动评测**：运行评测脚本，让 Agent 在送餐、到店、差旅等场景中依次执行标准化
   任务。
 * **查看报告**：分析生成的性能报告，对比 Avg@4、Pass@4 等指标及时间衰减曲线，定位
   模型在长期用户建模上的短板。

## VitaBench 2.0的核心优势

 * **业界首创**：首个将智能体场景与丰富用户生态结合、面向真实生活长期动态用户建模
   的评测基准。
 * **超长时间跨度**：平均交互周期达 1580 天（最长 2974 天），真实还原用户偏好的长期
   演进与漂移。
 * **高真实度用户画像**：56 位虚拟用户基于真实世界统计数据构建，覆盖性别、年龄、
   城市层级、职业、婚恋等多维特征。
 * **动态偏好演化**：嵌入超 2000 种偏好，平均每位用户经历 48 次以上动态变化，模拟
   真实生活中的习惯改变。
 * **统一记忆评测生态**：搭建首个真实场景下的长期智能体评测平台，统一对比 Agentic
   Memory 与 RAG Memory 两种架构。

## VitaBench 2.0的项目地址

 * **项目官网**：https://vitabench2.github.io/
 * **GitHub仓库**：https://github.com/meituan-longcat/vitabench-2.0
 * **HuggingFace模型库**：https://huggingface.co/datasets/meituan-longcat/VitaBench-
   2.0
 * **arXiv技术论文**：https://arxiv.org/pdf/2605.27141

## VitaBench 2.0的同类竞品对比

  |  维度 |  **VitaBench 2.0** |  **SWE-bench** |  
   |  **核心目标** |  评测 AI 在长期动态互动中理解用户偏好与主动服务的能力 |  评测 AI 解决真实 GitHub 软件工程问题的能力 |  
 |  **任务类型** |  生活服务决策（点餐、差旅、到店推荐） |  代码修复、功能实现、测试通过 |  
 |  **时间跨度** |  平均 1580 天，最长 2974 天 |  单次独立任务，无时间线概念 |  
 |  **用户维度** |  56 个拟真用户，含画像、偏好演化与社交背景 |  无用户概念，仅关注代码库与 Issue |  
 |  **记忆机制** |  核心评测维度，对比 Agentic / RAG / Full Context 三种记忆模式 |  不涉及记忆，仅依赖当前代码上下文 |  
 |  **主动性要求** |  设计主动性任务，要求 AI 在信息不足时主动提问 |  不涉及主动性交互，直接输出代码补丁 |  
 |  **数据噪音** |  约 20% 交互为无关/探索性噪音，需分离信号 |  问题描述与代码相对清晰，噪音较低 |  
 |  **最强模型得分** |  全历史模式下最高分约 0.50（Claude-Opus-4.6） |  顶尖模型通过率可达 40%-60% 以上 |  
 |  **适用领域** |  个人助理、智能客服、生活服务平台 |  自动化编程、代码审查、DevOps 工具 |

## VitaBench 2.0的应用场景

 * **AI 个人助理评测**：测试智能助手在长期陪伴中的用户理解与个性化服务能力。
 * **智能客服优化**：评估客服系统对用户偏好记忆与动态适配的准确程度。
 * **生活服务平台**：为外卖、出行、酒店等场景的推荐算法提供贴近真实的评测环境。
 * **记忆模块研发**：帮助研究者对比选型 Agentic Memory 与 RAG Memory 在不同场景下
   的表现。
 * **长上下文模型边界探索**：检验大模型在超长时序、高噪音场景下的能力极限。