---
title: "告别改完Prompt就玄学祈祷！GitHub Copilot Evals开启公测：基于Vally全轨迹引擎与15个MCP工具，为Skill和Agent装上CI回归护栏"
url: "https://paooo.com/ai-tool/42577/"
author: "Prompt 语宙研究院"
published_at: "2026-11-18T05:05:54+08:00"
updated_at: "2026-11-18T05:05:54+08:00"
categories: "AI 工具"
tags: "Agent回归测试, Copilot CLI, GitHub Copilot Evals, MCP工具测试, Vally评测引擎"
source: "Prompt 语宙 (https://paooo.com)"
ai_tools_directory: "语宙 AI 导航 (https://ai.paooo.com)"
---

# 告别改完Prompt就玄学祈祷！GitHub Copilot Evals开启公测：基于Vally全轨迹引擎与15个MCP工具，为Skill和Agent装上CI回归护栏

> 来源：[Prompt 语宙 (paooo.com)](https://paooo.com/ai-tool/42577/) · 作者：Prompt 语宙研究院 · 发布时间：2026-11-18

## AI 30 秒核心看点 (TL;DR)

- Copilot Evals 面向 Copilot 全订阅开放，专为 Skill、自定义 Agent 和 MCP 工具提供可重复评测。
- Vally 以 Stimulus→Executor→Trajectory→Graders→Score 五段式契约记录全轨迹、Token 与工具调用路径。
- 内置 6 个核心 Skills、15 个 MCP 原语和 Canvas 工作区，可直接做冒烟、健康巡检与 A/B 对比。

> **💡 站外导读：**给AI编程助手写了一堆Skill、自定义Agent和MCP工具后，最令工程团队头疼的往往是“盲改退化”：微调几行系统提示词或切换底层模型后，昨天跑通的工作流今天突然静默失效，单靠跑一两次看结果根本无法定量验收。GitHub正式宣布Copilot Evals开启公测，将微软Vally全轨迹评测引擎、15个MCP工具与可视化Canvas直接塞进VS Code和Copilot CLI，让AI定制资产首次拥有像单元测试一样的确定性回归护栏。

GitHub Copilot Evals公测开启：面向Skill、自定义Agent与MCP工具的可重复评测工作台

## 一、 为什么AI定制资产必须引入回归Eval：终结“改一处崩三处”的盲盒迭代

在现代 AI 辅助研发流程中，开发者的工作重心正迅速从单纯补全代码，转向维护一整套围绕 **Skills、Custom Agents（自定义智能体）与 MCP（Model Context Protocol）工具**构建的工程自动化环境。然而，大语言模型天然具有非确定性——同一份提示词前后两次运行可能走向截然不同的工具调用链；更棘手的是，一旦团队迭代了某份 `SKILL.md`、增删了 MCP 工具接口，或是升级了底层推理模型，单凭人工“跑一遍看看还行”的抽检模式，完全无法分辨改动究竟带来了正向收益还是隐蔽回归。

此次 GitHub 宣布正式开启公测的 **GitHub Copilot Evals**（面向 Copilot Individual、Business 与 Enterprise 全部订阅层级开放），正是为此而生的标准化工程验收工具链。不同于只看表面最终文本的粗放比对，Copilot Evals 将每一项 AI 定制行为封装为可重复执行、结果可落盘存档的评测用例（Eval）：开发者只需用自然语言或 `/eval` 指令描述真实任务、预期交付标准以及禁止越界的约束条件，即可一键校验智能体“最终产出对不对”以及“到达终点所走的工具调用路径合不合理”。

Vally评测引擎总览仪表盘：直观呈现任务通过率Pass Rate统计与执行耗时趋势

## 二、 插件解剖与 Vally 底层引擎：五段式全轨迹契约看穿 Token 与路径真相

### 微软 Vally 评测引擎的五段式 Pipeline 设计

支撑 Copilot Evals 跑通本地与 CI 评测的底层心脏，是微软同步推出的可扩展评测引擎 **Vally**。与传统只返回布尔值“对或错”的 Eval 框架不同，Vally 强制所有评测流经同一套五段式标准化契约：**Stimulus（刺激输入） → Executor（执行器） → Trajectory（全轨迹采集） → Graders（评分器） → Score（多维得分）**。

其中最关键的设计在于 **Trajectory（全轨迹）** 的一等公民地位：Vally 会完整录下 Agent 每一轮交互、每一次工具/MCP 调用参数以及实时 Token 消耗量。这意味着团队不仅能通过内置或自定义 **Graders** 判定业务规则是否通过（例如在 `pr-description` 示例中精确拦截“把延后重试退避策略误写入已上线 Changes 章节”的越界文本），还能直接观测优化后的 Skill 是否用更少的步数、更低的 Token 成本和更短耗时跑完任务。

  - **六大内置核心 Skills**：包含 `create`（草拟用例与静态校验）、`review`（读取运行报告并定位失败归因）、`improve`（保留原始基线并追加失败用例或修复 Skill）、`run`（在用户显式批准成本与权限后执行测试）、`compare`（对比两次存档结果或“有/无 Skill”的 A/B 差异）与 `setup`（初始化项目 Eval 目录与 CI 套件）。官方特意在 `skills/*/SKILL.md` 中配置 `user-invocable: false` 与 `disable-model-invocation: false`，使模型可在自然语言对话中自动拉起对应能力，同时避免在斜杠菜单中重复堆砌入口。

  - **15 工具捆绑 MCP Server（`copilot-evals`）**：通过 `mcp.json` 随插件自动下发，向智能体暴露诸如 `draft_eval`、`check_eval_draft`、`save_eval_draft`、`run_eval` 与 `review_evals` 等结构化原语，保证 Eval YAML 草案在落盘前先通过静态语法与校验规则验证。

  - **三大便携自动化蓝图（`.automation.md`）**：内置 `eval-health-review`、`eval-smoke-run` 与 `eval-skill-compare` 三份标准化模板，可直接导入 VS Code Agents 的 **Customizations > Automations** 跑起定期冒烟与健康巡检。

  - **Evals Canvas 可视化工作区**：提供侧边面板用于浏览项目内全量 Skill/Agent 资产、可视化编排 Eval 大纲与 YAML 配置文件，并直接审阅结构化运行报告。

Vally评分矩阵与全量结果视图：精细对比多轮评测的各项检查指标、耗时与Token开销

## 三、 全端覆盖与安全审批机制：VS Code、Copilot CLI 与 Copilot App 上手实操

GitHub 为不同偏好的开发者提供了全端无缝接入路径。在 **VS Code** 中，开发者既可以直接从 Visual Studio Marketplace 安装 `GitHub.copilot-evals` 扩展获得完整的侧边栏与 Evals Canvas，也可以通过一键链接将独立插件加入 Customizations；而在 **Copilot CLI** 与 **GitHub Copilot App** 中，只需注册 `github/evals` 市场即可快速拉起测试流：

值得注意的是，GitHub 在执行安全与成本控制上设置了极强的“显式审批锁”。正如官方 CLI 交互演示所示，在调用 `run_eval` 真正发起模型与工具执行前，系统会明确弹出待跑用例数、受测模型（Subject model）以及安全警告——提示当前运行无 OS/网络沙箱隔离、工具可能修改本地文件或读取子进程环境变量中的凭证，并强迫开发者手动选择“仅批准本次运行（Run eval）”或取消，严防无上限循环刷爆 Token 账单或误触发破坏性本地操作。

```
# 1. 在 GitHub Copilot CLI 中添加市场并安装 Evals 插件
copilot plugin marketplace add github/evals
copilot plugin install eval@github-copilot-evals

# 2. 进入项目并开启实验模式以启用 /eval 交互命令与 Canvas
/settings experimental on
/eval create   # 根据现有 Skill/Agent 自动生成带边界场景的 .eval.yaml
/eval run      # 人工审批预算与环境后执行真实测试
/eval compare  # 对比配置修改前后或有无 Skill 时的回归差异
```

## 四、 三大宿主接入对比与 Vally 引擎核心流水线对照表

下表汇总了 GitHub Copilot Evals 在不同开发宿主中的接入形态，以及 Vally 五段式架构各层的核心职责与工程价值：

对比维度具体组件 / 宿主形态核心能力与运行机制适用场景与工程注意点

VS Code 编辑器`GitHub.copilot-evals` 扩展 / 独立插件提供 Evals 侧边栏、Evals Canvas 可视化画布、原生工具及 6 大 Skill适合日常图形化浏览项目资产、编辑大纲/YAML 与深度调试单条报告

Copilot CLI`eval@github-copilot-evals` 插件支持自然语言直调 6 大 Skill；开启 experimental 模式后解锁 `/eval` 命令适合终端高频开发与脚本化回归验收，运行前强制确认文件读写与费用风险

Copilot App / AgentsCustomizations 市场 & `.automation.md`支持添加 `github/evals` 市场及导入 3 套便携自动化蓝图适合在 VS Code Agents 中配置定时冒烟巡检（`eval-smoke-run`）

Stimulus & ExecutorVally 评测前段契约解耦输入任务与被测对象，可插拔指向任意 Agent、MCP Server 或 CLI保证同一套测试用例可在跨模型、跨框架迭代中保持可比性

Trajectory & GradersVally 评测后段契约全量录下每轮对话、工具参数与 Token 账单；支持内置与自定义评分逻辑不仅抓出功能逻辑回归，更可定量压榨冗长废话与无效工具重试成本

#### 📝 站长洞察 (Editor's Insight)

过去一年我们见证了无数团队在工程仓库里堆满SKILL.md、自定义Agent与MCP工具，但绝大多数团队的维护方式还停留在“靠体感改Prompt”。GitHub Copilot Evals与微软Vally底座的发布，标志着AI工程化终于补齐了“回归测试”这最后一块短板。尤其值得称道的是Vally把Trajectory全轨迹与Token消耗直接纳入评分视角——在真实生产环境里，一个准确率同样是100%但多调了6次无效工具的Agent，根本算不上合格改动。建议所有重度定制Copilot或Agent工作流的团队，立刻把高频核心Skill接入/eval compare做基线锁定。

## 📊 Vally dashboard 图中可结构化数据汇总

> 核心发现：这张图展示的是 Vally dashboard 的评测概览与分布图，核心结果为通过率 67%，共 9 个 outcomes、2 个 stimuli，平均耗时 5.5 秒，累计 token 约 148.8k。

| 指标 | 数值 | 单位/说明 |
| --- | --- | --- |
| pass rate | 67% | 通过率 |
| outcomes | 9 | 结果数 |
| stimuli | 2 | 刺激数 |
| models | claude-sonnet-4.6, gpt-5.3-codex, unknown | 模型名称 |
| avg duration | 5.5 | 秒 |
| tokens | 148.8k | 总 token 数 |
| report_intent success | 3 | 工具调用成功次数 |
| powershell success | 1 | 工具调用成功次数 |

## 常见问题解答 (FAQ)

### GitHub Copilot Evals 主要解决什么问题？
它主要解决 AI 定制资产“改一处崩三处”的回归验证难题。通过可重复执行的 Eval、全轨迹记录和评分器，团队能定量检查 Skill、Agent 或 MCP 工具改动后，结果是否正确、路径是否合理、成本是否更低。

### Vally 和普通 Eval 框架有什么区别？
Vally 不只看最终答案对不对，而是把每次交互、工具调用参数和 Token 消耗都记录下来。它采用 Stimulus、Executor、Trajectory、Graders、Score 五段式流程，便于同时评估结果质量、执行路径和效率。

### Copilot Evals 可以在什么场景使用？
适合对 Skill、自定义 Agent、MCP 工具做本地评测、冒烟测试、健康巡检和 CI 回归。文章提到它可在 VS Code、Copilot CLI 中使用，并支持 compare、run、review 等工作流来做版本对比与失败归因。

---
探索 2,800+ 全球实用 AI 工具与官方直达入口：[语宙 AI 导航 (https://ai.paooo.com/)](https://ai.paooo.com/)
