💡 站外导读:给AI编程助手写了一堆Skill、自定义Agent和MCP工具后,最令工程团队头疼的往往是“盲改退化”:微调几行系统提示词或切换底层模型后,昨天跑通的工作流今天突然静默失效,单靠跑一两次看结果根本无法定量验收。GitHub正式宣布Copilot Evals开启公测,将微软Vally全轨迹评测引擎、15个MCP工具与可视化Canvas直接塞进VS Code和Copilot CLI,让AI定制资产首次拥有像单元测试一样的确定性回归护栏。

一、 为什么AI定制资产必须引入回归Eval:终结“改一处崩三处”的盲盒迭代
在现代 AI 辅助研发流程中,开发者的工作重心正迅速从单纯补全代码,转向维护一整套围绕 Skills、Custom Agents(自定义智能体)与 MCP(Model Context Protocol)工具构建的工程自动化环境。然而,大语言模型天然具有非确定性——同一份提示词前后两次运行可能走向截然不同的工具调用链;更棘手的是,一旦团队迭代了某份 SKILL.md、增删了 MCP 工具接口,或是升级了底层推理模型,单凭人工“跑一遍看看还行”的抽检模式,完全无法分辨改动究竟带来了正向收益还是隐蔽回归。
此次 GitHub 宣布正式开启公测的 GitHub Copilot Evals(面向 Copilot Individual、Business 与 Enterprise 全部订阅层级开放),正是为此而生的标准化工程验收工具链。不同于只看表面最终文本的粗放比对,Copilot Evals 将每一项 AI 定制行为封装为可重复执行、结果可落盘存档的评测用例(Eval):开发者只需用自然语言或 /eval 指令描述真实任务、预期交付标准以及禁止越界的约束条件,即可一键校验智能体“最终产出对不对”以及“到达终点所走的工具调用路径合不合理”。

二、 插件解剖与 Vally 底层引擎:五段式全轨迹契约看穿 Token 与路径真相
微软 Vally 评测引擎的五段式 Pipeline 设计
支撑 Copilot Evals 跑通本地与 CI 评测的底层心脏,是微软同步推出的可扩展评测引擎 Vally。与传统只返回布尔值“对或错”的 Eval 框架不同,Vally 强制所有评测流经同一套五段式标准化契约:Stimulus(刺激输入) → Executor(执行器) → Trajectory(全轨迹采集) → Graders(评分器) → Score(多维得分)。
其中最关键的设计在于 Trajectory(全轨迹) 的一等公民地位:Vally 会完整录下 Agent 每一轮交互、每一次工具/MCP 调用参数以及实时 Token 消耗量。这意味着团队不仅能通过内置或自定义 Graders 判定业务规则是否通过(例如在 pr-description 示例中精确拦截“把延后重试退避策略误写入已上线 Changes 章节”的越界文本),还能直接观测优化后的 Skill 是否用更少的步数、更低的 Token 成本和更短耗时跑完任务。
- 六大内置核心 Skills:包含
create(草拟用例与静态校验)、review(读取运行报告并定位失败归因)、improve(保留原始基线并追加失败用例或修复 Skill)、run(在用户显式批准成本与权限后执行测试)、compare(对比两次存档结果或“有/无 Skill”的 A/B 差异)与setup(初始化项目 Eval 目录与 CI 套件)。官方特意在skills/*/SKILL.md中配置user-invocable: false与disable-model-invocation: false,使模型可在自然语言对话中自动拉起对应能力,同时避免在斜杠菜单中重复堆砌入口。 - 15 工具捆绑 MCP Server(
copilot-evals):通过mcp.json随插件自动下发,向智能体暴露诸如draft_eval、check_eval_draft、save_eval_draft、run_eval与review_evals等结构化原语,保证 Eval YAML 草案在落盘前先通过静态语法与校验规则验证。 - 三大便携自动化蓝图(
.automation.md):内置eval-health-review、eval-smoke-run与eval-skill-compare三份标准化模板,可直接导入 VS Code Agents 的 Customizations > Automations 跑起定期冒烟与健康巡检。 - Evals Canvas 可视化工作区:提供侧边面板用于浏览项目内全量 Skill/Agent 资产、可视化编排 Eval 大纲与 YAML 配置文件,并直接审阅结构化运行报告。

三、 全端覆盖与安全审批机制:VS Code、Copilot CLI 与 Copilot App 上手实操
GitHub 为不同偏好的开发者提供了全端无缝接入路径。在 VS Code 中,开发者既可以直接从 Visual Studio Marketplace 安装 GitHub.copilot-evals 扩展获得完整的侧边栏与 Evals Canvas,也可以通过一键链接将独立插件加入 Customizations;而在 Copilot CLI 与 GitHub Copilot App 中,只需注册 github/evals 市场即可快速拉起测试流:
值得注意的是,GitHub 在执行安全与成本控制上设置了极强的“显式审批锁”。正如官方 CLI 交互演示所示,在调用 run_eval 真正发起模型与工具执行前,系统会明确弹出待跑用例数、受测模型(Subject model)以及安全警告——提示当前运行无 OS/网络沙箱隔离、工具可能修改本地文件或读取子进程环境变量中的凭证,并强迫开发者手动选择“仅批准本次运行(Run eval)”或取消,严防无上限循环刷爆 Token 账单或误触发破坏性本地操作。
# 1. 在 GitHub Copilot CLI 中添加市场并安装 Evals 插件
copilot plugin marketplace add github/evals
copilot plugin install eval@github-copilot-evals
# 2. 进入项目并开启实验模式以启用 /eval 交互命令与 Canvas
/settings experimental on
/eval create # 根据现有 Skill/Agent 自动生成带边界场景的 .eval.yaml
/eval run # 人工审批预算与环境后执行真实测试
/eval compare # 对比配置修改前后或有无 Skill 时的回归差异四、 三大宿主接入对比与 Vally 引擎核心流水线对照表
下表汇总了 GitHub Copilot Evals 在不同开发宿主中的接入形态,以及 Vally 五段式架构各层的核心职责与工程价值:
| 对比维度 | 具体组件 / 宿主形态 | 核心能力与运行机制 | 适用场景与工程注意点 |
|---|---|---|---|
| VS Code 编辑器 | GitHub.copilot-evals 扩展 / 独立插件 |
提供 Evals 侧边栏、Evals Canvas 可视化画布、原生工具及 6 大 Skill | 适合日常图形化浏览项目资产、编辑大纲/YAML 与深度调试单条报告 |
| Copilot CLI | eval@github-copilot-evals 插件 |
支持自然语言直调 6 大 Skill;开启 experimental 模式后解锁 /eval 命令 |
适合终端高频开发与脚本化回归验收,运行前强制确认文件读写与费用风险 |
| Copilot App / Agents | Customizations 市场 & .automation.md |
支持添加 github/evals 市场及导入 3 套便携自动化蓝图 |
适合在 VS Code Agents 中配置定时冒烟巡检(eval-smoke-run) |
| Stimulus & Executor | Vally 评测前段契约 | 解耦输入任务与被测对象,可插拔指向任意 Agent、MCP Server 或 CLI | 保证同一套测试用例可在跨模型、跨框架迭代中保持可比性 |
| Trajectory & Graders | Vally 评测后段契约 | 全量录下每轮对话、工具参数与 Token 账单;支持内置与自定义评分逻辑 | 不仅抓出功能逻辑回归,更可定量压榨冗长废话与无效工具重试成本 |
📝 站长洞察 (Editor’s Insight)
过去一年我们见证了无数团队在工程仓库里堆满SKILL.md、自定义Agent与MCP工具,但绝大多数团队的维护方式还停留在“靠体感改Prompt”。GitHub Copilot Evals与微软Vally底座的发布,标志着AI工程化终于补齐了“回归测试”这最后一块短板。尤其值得称道的是Vally把Trajectory全轨迹与Token消耗直接纳入评分视角——在真实生产环境里,一个准确率同样是100%但多调了6次无效工具的Agent,根本算不上合格改动。建议所有重度定制Copilot或Agent工作流的团队,立刻把高频核心Skill接入/eval compare做基线锁定。
GitHub Copilot Evals 主要解决什么问题?
它主要解决 AI 定制资产“改一处崩三处”的回归验证难题。通过可重复执行的 Eval、全轨迹记录和评分器,团队能定量检查 Skill、Agent 或 MCP 工具改动后,结果是否正确、路径是否合理、成本是否更低。
Vally 和普通 Eval 框架有什么区别?
Vally 不只看最终答案对不对,而是把每次交互、工具调用参数和 Token 消耗都记录下来。它采用 Stimulus、Executor、Trajectory、Graders、Score 五段式流程,便于同时评估结果质量、执行路径和效率。
Copilot Evals 可以在什么场景使用?
适合对 Skill、自定义 Agent、MCP 工具做本地评测、冒烟测试、健康巡检和 CI 回归。文章提到它可在 VS Code、Copilot CLI 中使用,并支持 compare、run、review 等工作流来做版本对比与失败归因。
📊 Vally dashboard 图中可结构化数据汇总(AI 视觉结构化提取)
核心发现:这张图展示的是 Vally dashboard 的评测概览与分布图,核心结果为通过率 67%,共 9 个 outcomes、2 个 stimuli,平均耗时 5.5 秒,累计 token 约 148.8k。
| 指标 | 数值 | 单位/说明 |
|---|---|---|
| pass rate | 67% | 通过率 |
| outcomes | 9 | 结果数 |
| stimuli | 2 | 刺激数 |
| models | claude-sonnet-4.6, gpt-5.3-codex, unknown | 模型名称 |
| avg duration | 5.5 | 秒 |
| tokens | 148.8k | 总 token 数 |
| report_intent success | 3 | 工具调用成功次数 |
| powershell success | 1 | 工具调用成功次数 |
Skill 和 Agent 回归该怎么拆测试层级?
先把稳定的能力拆成单元级断言:工具调用、参数格式、关键输出字段;再补端到端场景验证。高频改动的 Prompt、MCP 工具和路由策略分别建独立套件,避免一处波动拖垮整条链路。
如何避免 Evals 只测分数不测真实体验?
把自动评分和人工抽检结合起来:自动看结构化指标、成功率和失败类型,人工重点审查边界案例、用户意图偏差和可解释性。最好把线上反馈回流到测试集,持续更新真实场景样本。
