# 告别改完Prompt就玄学祈祷！GitHub Copilot Evals开启公测：基于Vally全轨迹引擎与15个MCP工具，为Skill和Agent装上CI回归护栏

- Link: https://paooo.com/ai-tool/42577/
- Published: 2026-11-18T05:05:54+08:00
- Author: Prompt 语宙研究院

⚡ [Prompt](https://paooo.com/ai-image-prompts/) 语宙 AI 导读 · 30 秒核心看点

 * Copilot Evals 面向 Copilot 全订阅开放，专为 Skill、自定义 [Agent](https://paooo.com/trends/)
   和 MCP 工具提供可重复评测。
 * Vally 以 Stimulus→Executor→Trajectory→Graders→Score 五段式契约记录全轨迹、Token
   与工具调用路径。
 * 内置 6 个核心 Skills、15 个 MCP 原语和 Canvas 工作区，可直接做冒烟、健康巡检与
   A/B 对比。

> **💡 站外导读：**给AI编程助手写了一堆Skill、自定义Agent和MCP工具后，最令工程团队
> 头疼的往往是“盲改退化”：微调几行系统提示词或切换底层模型后，昨天跑通的工作流今天
> 突然静默失效，单靠跑一两次看结果根本无法定量验收。GitHub正式宣布Copilot Evals开启
> 公测，将微软Vally全轨迹评测引擎、15个MCP工具与可视化Canvas直接塞进VS Code和Copilot
> CLI，让AI定制资产首次拥有像单元测试一样的确定性回归护栏。

![GitHub Copilot Evals公测开启：面向Skill、自定义Agent与MCP工具的可重复评测工作台](
https://paooo.com/wp-content/uploads/2026/11/paooo-evaoo-1118-0500-1794949525809-
7275.avif)

GitHub Copilot Evals公测开启：面向Skill、自定义Agent与MCP工具的可重复评测工作台

## 一、 为什么AI定制资产必须引入回归Eval：终结“改一处崩三处”的盲盒迭代

在现代 AI 辅助研发流程中，开发者的工作重心正迅速从单纯补全代码，转向维护一整套围绕**
Skills、Custom Agents（自定义智能体）与 MCP（Model Context Protocol）工具**构建的
工程自动化环境。然而，大语言模型天然具有非确定性——同一份提示词前后两次运行可能走向
截然不同的工具调用链；更棘手的是，一旦团队迭代了某份 `SKILL.md`、增删了 MCP 工具
接口，或是升级了底层推理模型，单凭人工“跑一遍看看还行”的抽检模式，完全无法分辨改
动究竟带来了正向收益还是隐蔽回归。

阅读目录

 * [一、 为什么AI定制资产必须引入回归Eval：终结“改一处崩三处”的盲盒迭代](https://paooo.com/ai-tool/42577/#%e4%b8%80-%e4%b8%ba%e4%bb%80%e4%b9%88ai%e5%ae%9a%e5%88%b6%e8%b5%84%e4%ba%a7%e5%bf%85%e9%a1%bb%e5%bc%95%e5%85%a5%e5%9b%9e%e5%bd%92eval%e7%bb%88%e7%bb%93%e6%94%b9%e4%b8%80%e5%a4%84%e5%b4%a9%e4%b8%89)
 * [二、 插件解剖与 Vally 底层引擎：五段式全轨迹契约看穿 Token 与路径真相](https://paooo.com/ai-tool/42577/#%e4%ba%8c-%e6%8f%92%e4%bb%b6%e8%a7%a3%e5%89%96%e4%b8%8e-vally-%e5%ba%95%e5%b1%82%e5%bc%95%e6%93%8e%e4%ba%94%e6%ae%b5%e5%bc%8f%e5%85%a8%e8%bd%a8%e8%bf%b9%e5%a5%91%e7%ba%a6%e7%9c%8b%e7%a9%bf-token)
    - [微软 Vally 评测引擎的五段式 Pipeline 设计](https://paooo.com/ai-tool/42577/#%e5%be%ae%e8%bd%af-vally-%e8%af%84%e6%b5%8b%e5%bc%95%e6%93%8e%e7%9a%84%e4%ba%94%e6%ae%b5%e5%bc%8f-pipeline-%e8%ae%be%e8%ae%a1)
 * [三、 全端覆盖与安全审批机制：VS Code、Copilot CLI 与 Copilot App 上手实操](https://paooo.com/ai-tool/42577/#%e4%b8%89-%e5%85%a8%e7%ab%af%e8%a6%86%e7%9b%96%e4%b8%8e%e5%ae%89%e5%85%a8%e5%ae%a1%e6%89%b9%e6%9c%ba%e5%88%b6vs-codecopilot-cli-%e4%b8%8e-copilot-app-%e4%b8%8a%e6%89%8b%e5%ae%9e%e6%93%8d)
 * [四、 三大宿主接入对比与 Vally 引擎核心流水线对照表](https://paooo.com/ai-tool/42577/#%e5%9b%9b-%e4%b8%89%e5%a4%a7%e5%ae%bf%e4%b8%bb%e6%8e%a5%e5%85%a5%e5%af%b9%e6%af%94%e4%b8%8e-vally-%e5%bc%95%e6%93%8e%e6%a0%b8%e5%bf%83%e6%b5%81%e6%b0%b4%e7%ba%bf%e5%af%b9%e7%85%a7%e8%a1%a8)
       * [📝 站长洞察 (Editor’s Insight)](https://paooo.com/ai-tool/42577/#%f0%9f%93%9d-%e7%ab%99%e9%95%bf%e6%b4%9e%e5%af%9f-editor8217s-insight)

此次 GitHub 宣布正式开启公测的 **GitHub Copilot Evals**（面向 Copilot Individual、
Business 与 Enterprise 全部订阅层级开放），正是为此而生的标准化工程验收工具链。不同
于只看表面最终文本的粗放比对，Copilot Evals 将每一项 AI 定制行为封装为可重复执行、
结果可落盘存档的评测用例（Eval）：开发者只需用自然语言或 `/eval` 指令描述真实任务、
预期交付标准以及禁止越界的约束条件，即可一键校验智能体“最终产出对不对”以及“到达终点
所走的工具调用路径合不合理”。

![Vally评测引擎总览仪表盘：直观呈现任务通过率Pass Rate统计与执行耗时趋势](https://
paooo.com/wp-content/uploads/2026/11/paooo-evaoo-1118-0500-fig1-1794949534589-8083.
avif)

Vally评测引擎总览仪表盘：直观呈现任务通过率Pass Rate统计与执行耗时趋势

## 二、 插件解剖与 Vally 底层引擎：五段式全轨迹契约看穿 Token 与路径真相

### 微软 Vally 评测引擎的五段式 Pipeline 设计

支撑 Copilot Evals 跑通本地与 CI 评测的底层心脏，是微软同步推出的可扩展评测引擎 **
Vally**。与传统只返回布尔值“对或错”的 Eval 框架不同，Vally 强制所有评测流经同一套
五段式标准化契约：**Stimulus（刺激输入） → Executor（执行器） → Trajectory（全轨迹
采集） → Graders（评分器） → Score（多维得分）**。

其中最关键的设计在于 **Trajectory（全轨迹）** 的一等公民地位：Vally 会完整录下 Agent
每一轮交互、每一次工具/MCP 调用参数以及实时 Token 消耗量。这意味着团队不仅能通过
内置或自定义 **Graders** 判定业务规则是否通过（例如在 `pr-description` 示例中精确
拦截“把延后重试退避策略误写入已上线 Changes 章节”的越界文本），还能直接观测优化后
的 Skill 是否用更少的步数、更低的 Token 成本和更短耗时跑完任务。

 * **六大内置核心 Skills**：包含 `create`（草拟用例与静态校验）、`review`（读取运行
   报告并定位失败归因）、`improve`（保留原始基线并追加失败用例或修复 Skill）、`run`（
   在用户显式批准成本与权限后执行测试）、`compare`（对比两次存档结果或“有/无 Skill”
   的 A/B 差异）与 `setup`（初始化项目 Eval 目录与 CI 套件）。官方特意在 `skills/*/
   SKILL.md` 中配置 `user-invocable: false` 与 `disable-model-invocation: false`，
   使模型可在自然语言对话中自动拉起对应能力，同时避免在斜杠菜单中重复堆砌入口。
 * **15 工具捆绑 MCP Server（`copilot-evals`）**：通过 `mcp.json` 随插件自动下发，
   向智能体暴露诸如 `draft_eval`、`check_eval_draft`、`save_eval_draft`、`run_eval`
   与 `review_evals` 等结构化原语，保证 Eval YAML 草案在落盘前先通过静态语法与校
   验规则验证。
 * **三大便携自动化蓝图（`.automation.md`）**：内置 `eval-health-review`、`eval-
   smoke-run` 与 `eval-skill-compare` 三份标准化模板，可直接导入 VS Code Agents 
   的 **Customizations > Automations** 跑起定期冒烟与健康巡检。
 * **Evals Canvas 可视化工作区**：提供侧边面板用于浏览项目内全量 Skill/Agent 资产、
   可视化编排 Eval 大纲与 YAML 配置文件，并直接审阅结构化运行报告。

![Vally评分矩阵与全量结果视图：精细对比多轮评测的各项检查指标、耗时与Token开销](
https://paooo.com/wp-content/uploads/2026/11/paooo-evaoo-1118-0500-fig2-1794949544752-
6984.avif)

Vally评分矩阵与全量结果视图：精细对比多轮评测的各项检查指标、耗时与Token开销

## 三、 全端覆盖与安全审批机制：VS Code、Copilot CLI 与 Copilot App 上手实操

GitHub 为不同偏好的开发者提供了全端无缝接入路径。在 **VS Code** 中，开发者既可以
直接从 Visual Studio Marketplace 安装 `GitHub.copilot-evals` 扩展获得完整的侧边栏
与 Evals Canvas，也可以通过一键链接将独立插件加入 Customizations；而在 **Copilot
CLI** 与 **GitHub Copilot App** 中，只需注册 `github/evals` 市场即可快速拉起测试
流：

值得注意的是，GitHub 在执行安全与成本控制上设置了极强的“显式审批锁”。正如官方 CLI
交互演示所示，在调用 `run_eval` 真正发起模型与工具执行前，系统会明确弹出待跑用例
数、受测模型（Subject model）以及安全警告——提示当前运行无 OS/网络沙箱隔离、工具可能
修改本地文件或读取子进程环境变量中的凭证，并强迫开发者手动选择“仅批准本次运行（Run
eval）”或取消，严防无上限循环刷爆 Token 账单或误触发破坏性本地操作。

    ```
    # 1. 在 GitHub Copilot CLI 中添加市场并安装 Evals 插件
    copilot plugin marketplace add github/evals
    copilot plugin install eval@github-copilot-evals

    # 2. 进入项目并开启实验模式以启用 /eval 交互命令与 Canvas
    /settings experimental on
    /eval create   # 根据现有 Skill/Agent 自动生成带边界场景的 .eval.yaml
    /eval run      # 人工审批预算与环境后执行真实测试
    /eval compare  # 对比配置修改前后或有无 Skill 时的回归差异
    ```

## 四、 三大宿主接入对比与 Vally 引擎核心流水线对照表

下表汇总了 GitHub Copilot Evals 在不同开发宿主中的接入形态，以及 Vally 五段式架构
各层的核心职责与工程价值：

  |  对比维度 |  具体组件 / 宿主形态 |  核心能力与运行机制 |  适用场景与工程注意点 |  
   |  VS Code 编辑器 |  `GitHub.copilot-evals` 扩展 / 独立插件 |  提供 Evals 侧边栏、Evals Canvas 可视化画布、原生工具及 6 大 Skill |  适合日常图形化浏览项目资产、编辑大纲/YAML 与深度调试单条报告 |  
 |  Copilot CLI |  `eval@github-copilot-evals` 插件 |  支持自然语言直调 6 大 Skill；开启 experimental 模式后解锁 `/eval` 命令 |  适合终端高频开发与脚本化回归验收，运行前强制确认文件读写与费用风险 |  
 |  Copilot App / Agents |  Customizations 市场 & `.automation.md` |  支持添加 `github/evals` 市场及导入 3 套便携自动化蓝图 |  适合在 VS Code Agents 中配置定时冒烟巡检（`eval-smoke-run`） |  
 |  Stimulus & Executor |  Vally 评测前段契约 |  解耦输入任务与被测对象，可插拔指向任意 Agent、MCP Server 或 CLI |  保证同一套测试用例可在跨模型、跨框架迭代中保持可比性 |  
 |  Trajectory & Graders |  Vally 评测后段契约 |  全量录下每轮对话、工具参数与 Token 账单；支持内置与自定义评分逻辑 |  不仅抓出功能逻辑回归，更可定量压榨冗长废话与无效工具重试成本 |

#### 📝 站长洞察 (Editor’s Insight)

过去一年我们见证了无数团队在工程仓库里堆满SKILL.md、自定义Agent与MCP工具，但绝大
多数团队的维护方式还停留在“靠体感改Prompt”。GitHub Copilot Evals与微软Vally底座的
发布，标志着AI工程化终于补齐了“回归测试”这最后一块短板。尤其值得称道的是Vally把Trajectory
全轨迹与Token消耗直接纳入评分视角——在真实生产环境里，一个准确率同样是100%但多调了
6次无效工具的Agent，根本算不上合格改动。建议所有重度定制Copilot或Agent工作流的团队，
立刻把高频核心Skill接入/eval compare做基线锁定。

🧭 文中关联 [AI 工具](https://ai.paooo.com/)官网与参数卡（语宙 AI 导航）

**GitHub Copilot ↗**

GitHub Copilot：GitHub推出的AI编程工具，面向AI 编程辅助场景提供便捷实用的在线功能
支持，

**Copilot ↗**

微软推出的网页版Copilot助手。

❓ 常见问题解答（FAQ）

GitHub Copilot Evals 主要解决什么问题？

它主要解决 AI 定制资产“改一处崩三处”的回归验证难题。通过可重复执行的 Eval、全轨迹
记录和评分器，团队能定量检查 Skill、Agent 或 MCP 工具改动后，结果是否正确、路径是否
合理、成本是否更低。

Vally 和普通 Eval 框架有什么区别？

Vally 不只看最终答案对不对，而是把每次交互、工具调用参数和 Token 消耗都记录下来。
它采用 Stimulus、Executor、Trajectory、Graders、Score 五段式流程，便于同时评估结果
质量、执行路径和效率。

Copilot Evals 可以在什么场景使用？

适合对 Skill、自定义 Agent、MCP 工具做本地评测、冒烟测试、健康巡检和 CI 回归。文章
提到它可在 VS Code、Copilot CLI 中使用，并支持 compare、run、review 等工作流来做
版本对比与失败归因。

📊 Vally dashboard 图中可结构化数据汇总（AI 视觉结构化提取）

**核心发现：**这张图展示的是 Vally dashboard 的评测概览与分布图，核心结果为通过率
67%，共 9 个 outcomes、2 个 stimuli，平均耗时 5.5 秒，累计 token 约 148.8k。

| 指标 | 数值 | 单位/说明 | 
| pass rate | 67% | 通过率 | 
| outcomes | 9 | 结果数 | 
| stimuli | 2 | 刺激数 | 
| models | claude-sonnet-4.6, gpt-5.3-codex, unknown | 模型名称 | 
| avg duration | 5.5 | 秒 | 
| tokens | 148.8k | 总 token 数 | 
| report_intent success | 3 | 工具调用成功次数 | 
| powershell success | 1 | 工具调用成功次数 |

🔬 语宙深潜追问 · 进阶实操拆解

Skill 和 Agent 回归该怎么拆测试层级？

先把稳定的能力拆成单元级断言：工具调用、参数格式、关键输出字段；再补端到端场景验证。
高频改动的 Prompt、MCP 工具和路由策略分别建独立套件，避免一处波动拖垮整条链路。

如何避免 Evals 只测分数不测真实体验？

把自动评分和人工抽检结合起来：自动看结构化指标、成功率和失败类型，人工重点审查边界
案例、用户意图偏差和可解释性。最好把线上反馈回流到测试集，持续更新真实场景样本。

🗳️ 读者观点微投票 · 您的实战立场是？

你会把 Copilot Evals 当成AI项目的CI护栏吗？

🕸️ 语宙向量知识图谱 · 语义强关联深度内链

[💻 所属权威专题：Claude & AI 编程 / MCP →](https://paooo.com/topics/claude-mcp-coding/)

 * [AlphaEval – 跨赴科技等推出的生产级 Agent 评测框架](https://paooo.com/aigc-news/39334/)
 * [谷歌重磅开源DeepSearchQA：首个全面评估AI Agent深度研究能力的基准测试工具](https://paooo.com/aigc-news/12768/)
 * [MineExplorer – 美团推出的开放世界分钟级长程任务评测基准](https://paooo.com/aigc-news/39083/)
 * [我们是如何利用大语言模型 (LLM) 改进 GitHub Copilot 的探索之旅 [译]](https://paooo.com/ai-study/7074/)

[🏛️ Prompt 语宙研究院](https://paooo.com/author/paooo-research/) · Prompt 语宙研究院（
paooo.com Research）专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示
词工程（Prompt Engineering）与全球高增长 AI 生产力工具实测追踪，致力于为中文开发
者与创作者提供一手、可复现的深度技术洞察。

[📄 Markdown 纯净版](https://paooo.com/ai-tool/42577/?format=md)

💡 这篇内容对您有启发吗？

[📡 RSS 订阅](https://paooo.com/feed/)[✨ 提交 AI 工具 / 合作](https://paooo.com/submit-tool/)

**🚀 Prompt 语宙 AI 创作者生态：**探索 2,800+ 全球实用 AI 工具与高精度生图提示词
咒语库

[🧭 语宙 AI 导航 (ai.paooo.com)](https://ai.paooo.com/)[🎨 AI 生图 Prompt 库](https://paooo.com/ai-image-prompts/)
[📚 核心专题导航](https://paooo.com/topics/)[⚡ AIGC 早报生成器](https://paooo.com/mtool/)
