Prompt 语宙Prompt 语宙
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
阅读: 告别改完Prompt就玄学祈祷!GitHub Copilot Evals开启公测:基于Vally全轨迹引擎与15个MCP工具,为Skill和Agent装上CI回归护栏
Share
通知 阅读更多
Font Resizer字体
Font Resizer字体
Prompt 语宙Prompt 语宙
搜索 AIGC 资讯、Prompt 咒语与 AI 工具
  • 首页
  • 语宙 AI 导航
  • AIGC 资讯
    • AIGC 早报生成器Hot
    • 最新趋势
    • AI 工具
    • 热门资源
    • 强化 AI 学习
  • AI 绘图
    • Prompt 实战
    • AI 绘画教程
    • 模型精选
  • AI 图库
    • 人物
    • 展台场景
    • Banner
    • 游戏
    • 动物
    • 食物
    • 自然
    • 背景
    • 海报
    • 建筑
    • 室内设计
  • 出海数字营销宝典
  • AI 生图 Prompt
    • 写实人像
    • 产品与广告
    • 游戏资产与 3D
    • 界面与图标
    • 建筑与室内
    • 动漫与插画
    • 风景与自然
已有帐户? 登陆
  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.
GitHub Copilot Evals公测开启:面向Skill、自定义Agent与MCP工具的可重复评测工作台
Prompt 语宙 > AI 工具 > 告别改完Prompt就玄学祈祷!GitHub Copilot Evals开启公测:基于Vally全轨迹引擎与15个MCP工具,为Skill和Agent装上CI回归护栏
AI 工具

告别改完Prompt就玄学祈祷!GitHub Copilot Evals开启公测:基于Vally全轨迹引擎与15个MCP工具,为Skill和Agent装上CI回归护栏

Prompt 语宙研究院
最近更新: 2026年11月18日 上午5:05
Agent回归测试 Copilot CLI GitHub Copilot Evals MCP工具测试 Vally评测引擎
SHARE
⚡ Prompt 语宙 AI 导读 · 30 秒核心看点
  • Copilot Evals 面向 Copilot 全订阅开放,专为 Skill、自定义 Agent 和 MCP 工具提供可重复评测。
  • Vally 以 Stimulus→Executor→Trajectory→Graders→Score 五段式契约记录全轨迹、Token 与工具调用路径。
  • 内置 6 个核心 Skills、15 个 MCP 原语和 Canvas 工作区,可直接做冒烟、健康巡检与 A/B 对比。

💡 站外导读:给AI编程助手写了一堆Skill、自定义Agent和MCP工具后,最令工程团队头疼的往往是“盲改退化”:微调几行系统提示词或切换底层模型后,昨天跑通的工作流今天突然静默失效,单靠跑一两次看结果根本无法定量验收。GitHub正式宣布Copilot Evals开启公测,将微软Vally全轨迹评测引擎、15个MCP工具与可视化Canvas直接塞进VS Code和Copilot CLI,让AI定制资产首次拥有像单元测试一样的确定性回归护栏。

GitHub Copilot Evals公测开启:面向Skill、自定义Agent与MCP工具的可重复评测工作台
GitHub Copilot Evals公测开启:面向Skill、自定义Agent与MCP工具的可重复评测工作台

一、 为什么AI定制资产必须引入回归Eval:终结“改一处崩三处”的盲盒迭代

在现代 AI 辅助研发流程中,开发者的工作重心正迅速从单纯补全代码,转向维护一整套围绕 Skills、Custom Agents(自定义智能体)与 MCP(Model Context Protocol)工具构建的工程自动化环境。然而,大语言模型天然具有非确定性——同一份提示词前后两次运行可能走向截然不同的工具调用链;更棘手的是,一旦团队迭代了某份 SKILL.md、增删了 MCP 工具接口,或是升级了底层推理模型,单凭人工“跑一遍看看还行”的抽检模式,完全无法分辨改动究竟带来了正向收益还是隐蔽回归。

阅读目录
  • 一、 为什么AI定制资产必须引入回归Eval:终结“改一处崩三处”的盲盒迭代
  • 二、 插件解剖与 Vally 底层引擎:五段式全轨迹契约看穿 Token 与路径真相
    • 微软 Vally 评测引擎的五段式 Pipeline 设计
  • 三、 全端覆盖与安全审批机制:VS Code、Copilot CLI 与 Copilot App 上手实操
  • 四、 三大宿主接入对比与 Vally 引擎核心流水线对照表
      • 📝 站长洞察 (Editor’s Insight)

此次 GitHub 宣布正式开启公测的 GitHub Copilot Evals(面向 Copilot Individual、Business 与 Enterprise 全部订阅层级开放),正是为此而生的标准化工程验收工具链。不同于只看表面最终文本的粗放比对,Copilot Evals 将每一项 AI 定制行为封装为可重复执行、结果可落盘存档的评测用例(Eval):开发者只需用自然语言或 /eval 指令描述真实任务、预期交付标准以及禁止越界的约束条件,即可一键校验智能体“最终产出对不对”以及“到达终点所走的工具调用路径合不合理”。

Vally评测引擎总览仪表盘:直观呈现任务通过率Pass Rate统计与执行耗时趋势
Vally评测引擎总览仪表盘:直观呈现任务通过率Pass Rate统计与执行耗时趋势

二、 插件解剖与 Vally 底层引擎:五段式全轨迹契约看穿 Token 与路径真相

微软 Vally 评测引擎的五段式 Pipeline 设计

支撑 Copilot Evals 跑通本地与 CI 评测的底层心脏,是微软同步推出的可扩展评测引擎 Vally。与传统只返回布尔值“对或错”的 Eval 框架不同,Vally 强制所有评测流经同一套五段式标准化契约:Stimulus(刺激输入) → Executor(执行器) → Trajectory(全轨迹采集) → Graders(评分器) → Score(多维得分)。

其中最关键的设计在于 Trajectory(全轨迹) 的一等公民地位:Vally 会完整录下 Agent 每一轮交互、每一次工具/MCP 调用参数以及实时 Token 消耗量。这意味着团队不仅能通过内置或自定义 Graders 判定业务规则是否通过(例如在 pr-description 示例中精确拦截“把延后重试退避策略误写入已上线 Changes 章节”的越界文本),还能直接观测优化后的 Skill 是否用更少的步数、更低的 Token 成本和更短耗时跑完任务。

  • 六大内置核心 Skills:包含 create(草拟用例与静态校验)、review(读取运行报告并定位失败归因)、improve(保留原始基线并追加失败用例或修复 Skill)、run(在用户显式批准成本与权限后执行测试)、compare(对比两次存档结果或“有/无 Skill”的 A/B 差异)与 setup(初始化项目 Eval 目录与 CI 套件)。官方特意在 skills/*/SKILL.md 中配置 user-invocable: false 与 disable-model-invocation: false,使模型可在自然语言对话中自动拉起对应能力,同时避免在斜杠菜单中重复堆砌入口。
  • 15 工具捆绑 MCP Server(copilot-evals):通过 mcp.json 随插件自动下发,向智能体暴露诸如 draft_eval、check_eval_draft、save_eval_draft、run_eval 与 review_evals 等结构化原语,保证 Eval YAML 草案在落盘前先通过静态语法与校验规则验证。
  • 三大便携自动化蓝图(.automation.md):内置 eval-health-review、eval-smoke-run 与 eval-skill-compare 三份标准化模板,可直接导入 VS Code Agents 的 Customizations > Automations 跑起定期冒烟与健康巡检。
  • Evals Canvas 可视化工作区:提供侧边面板用于浏览项目内全量 Skill/Agent 资产、可视化编排 Eval 大纲与 YAML 配置文件,并直接审阅结构化运行报告。
Vally评分矩阵与全量结果视图:精细对比多轮评测的各项检查指标、耗时与Token开销
Vally评分矩阵与全量结果视图:精细对比多轮评测的各项检查指标、耗时与Token开销

三、 全端覆盖与安全审批机制:VS Code、Copilot CLI 与 Copilot App 上手实操

GitHub 为不同偏好的开发者提供了全端无缝接入路径。在 VS Code 中,开发者既可以直接从 Visual Studio Marketplace 安装 GitHub.copilot-evals 扩展获得完整的侧边栏与 Evals Canvas,也可以通过一键链接将独立插件加入 Customizations;而在 Copilot CLI 与 GitHub Copilot App 中,只需注册 github/evals 市场即可快速拉起测试流:

值得注意的是,GitHub 在执行安全与成本控制上设置了极强的“显式审批锁”。正如官方 CLI 交互演示所示,在调用 run_eval 真正发起模型与工具执行前,系统会明确弹出待跑用例数、受测模型(Subject model)以及安全警告——提示当前运行无 OS/网络沙箱隔离、工具可能修改本地文件或读取子进程环境变量中的凭证,并强迫开发者手动选择“仅批准本次运行(Run eval)”或取消,严防无上限循环刷爆 Token 账单或误触发破坏性本地操作。

# 1. 在 GitHub Copilot CLI 中添加市场并安装 Evals 插件
copilot plugin marketplace add github/evals
copilot plugin install eval@github-copilot-evals

# 2. 进入项目并开启实验模式以启用 /eval 交互命令与 Canvas
/settings experimental on
/eval create   # 根据现有 Skill/Agent 自动生成带边界场景的 .eval.yaml
/eval run      # 人工审批预算与环境后执行真实测试
/eval compare  # 对比配置修改前后或有无 Skill 时的回归差异

四、 三大宿主接入对比与 Vally 引擎核心流水线对照表

下表汇总了 GitHub Copilot Evals 在不同开发宿主中的接入形态,以及 Vally 五段式架构各层的核心职责与工程价值:

对比维度 具体组件 / 宿主形态 核心能力与运行机制 适用场景与工程注意点
VS Code 编辑器 GitHub.copilot-evals 扩展 / 独立插件 提供 Evals 侧边栏、Evals Canvas 可视化画布、原生工具及 6 大 Skill 适合日常图形化浏览项目资产、编辑大纲/YAML 与深度调试单条报告
Copilot CLI eval@github-copilot-evals 插件 支持自然语言直调 6 大 Skill;开启 experimental 模式后解锁 /eval 命令 适合终端高频开发与脚本化回归验收,运行前强制确认文件读写与费用风险
Copilot App / Agents Customizations 市场 & .automation.md 支持添加 github/evals 市场及导入 3 套便携自动化蓝图 适合在 VS Code Agents 中配置定时冒烟巡检(eval-smoke-run)
Stimulus & Executor Vally 评测前段契约 解耦输入任务与被测对象,可插拔指向任意 Agent、MCP Server 或 CLI 保证同一套测试用例可在跨模型、跨框架迭代中保持可比性
Trajectory & Graders Vally 评测后段契约 全量录下每轮对话、工具参数与 Token 账单;支持内置与自定义评分逻辑 不仅抓出功能逻辑回归,更可定量压榨冗长废话与无效工具重试成本

📝 站长洞察 (Editor’s Insight)

过去一年我们见证了无数团队在工程仓库里堆满SKILL.md、自定义Agent与MCP工具,但绝大多数团队的维护方式还停留在“靠体感改Prompt”。GitHub Copilot Evals与微软Vally底座的发布,标志着AI工程化终于补齐了“回归测试”这最后一块短板。尤其值得称道的是Vally把Trajectory全轨迹与Token消耗直接纳入评分视角——在真实生产环境里,一个准确率同样是100%但多调了6次无效工具的Agent,根本算不上合格改动。建议所有重度定制Copilot或Agent工作流的团队,立刻把高频核心Skill接入/eval compare做基线锁定。

🧭 文中关联 AI 工具官网与参数卡(语宙 AI 导航)
GitHub Copilot ↗
GitHub Copilot:GitHub推出的AI编程工具,面向AI 编程辅助场景提供便捷实用的在线功能支持,
Copilot ↗
微软推出的网页版Copilot助手。
❓ 常见问题解答(FAQ)
GitHub Copilot Evals 主要解决什么问题?

它主要解决 AI 定制资产“改一处崩三处”的回归验证难题。通过可重复执行的 Eval、全轨迹记录和评分器,团队能定量检查 Skill、Agent 或 MCP 工具改动后,结果是否正确、路径是否合理、成本是否更低。

Vally 和普通 Eval 框架有什么区别?

Vally 不只看最终答案对不对,而是把每次交互、工具调用参数和 Token 消耗都记录下来。它采用 Stimulus、Executor、Trajectory、Graders、Score 五段式流程,便于同时评估结果质量、执行路径和效率。

Copilot Evals 可以在什么场景使用?

适合对 Skill、自定义 Agent、MCP 工具做本地评测、冒烟测试、健康巡检和 CI 回归。文章提到它可在 VS Code、Copilot CLI 中使用,并支持 compare、run、review 等工作流来做版本对比与失败归因。

📊 Vally dashboard 图中可结构化数据汇总(AI 视觉结构化提取)

核心发现:这张图展示的是 Vally dashboard 的评测概览与分布图,核心结果为通过率 67%,共 9 个 outcomes、2 个 stimuli,平均耗时 5.5 秒,累计 token 约 148.8k。

指标数值单位/说明
pass rate67%通过率
outcomes9结果数
stimuli2刺激数
modelsclaude-sonnet-4.6, gpt-5.3-codex, unknown模型名称
avg duration5.5秒
tokens148.8k总 token 数
report_intent success3工具调用成功次数
powershell success1工具调用成功次数
🔬 语宙深潜追问 · 进阶实操拆解
Skill 和 Agent 回归该怎么拆测试层级?

先把稳定的能力拆成单元级断言:工具调用、参数格式、关键输出字段;再补端到端场景验证。高频改动的 Prompt、MCP 工具和路由策略分别建独立套件,避免一处波动拖垮整条链路。

如何避免 Evals 只测分数不测真实体验?

把自动评分和人工抽检结合起来:自动看结构化指标、成功率和失败类型,人工重点审查边界案例、用户意图偏差和可解释性。最好把线上反馈回流到测试集,持续更新真实场景样本。

🗳️ 读者观点微投票 · 您的实战立场是?
你会把 Copilot Evals 当成AI项目的CI护栏吗?
🕸️ 语宙向量知识图谱 · 语义强关联深度内链
💻 所属权威专题:Claude & AI 编程 / MCP →
  • AlphaEval – 跨赴科技等推出的生产级 Agent 评测框架
  • 谷歌重磅开源DeepSearchQA:首个全面评估AI Agent深度研究能力的基准测试工具
  • MineExplorer – 美团推出的开放世界分钟级长程任务评测基准
  • 我们是如何利用大语言模型 (LLM) 改进 GitHub Copilot 的探索之旅 [译]
🏛️ Prompt 语宙研究院 · Prompt 语宙研究院(paooo.com Research)专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示词工程(Prompt Engineering)与全球高增长 AI 生产力工具实测追踪,致力于为中文开发者与创作者提供一手、可复现的深度技术洞察。
📄 Markdown 纯净版
💡 这篇内容对您有启发吗?
📡 RSS 订阅✨ 提交 AI 工具 / 合作
🚀 Prompt 语宙 AI 创作者生态:探索 2,800+ 全球实用 AI 工具与高精度生图提示词咒语库
🧭 语宙 AI 导航 (ai.paooo.com)🎨 AI 生图 Prompt 库📚 核心专题导航⚡ AIGC 早报生成器
claw-code: Claude Code 泄露源码净室重写,开源 Agent 框架移植 Rust 追求高性能
群核科技SpatialLM 1.5深度解析:用自然语言秒生3D场景,重塑室内设计与机器人训练
ChessGPT
单张 RTX 5090 跑满 720P 实时渲染!VAST 重磅开源世界模型渲染器 EdenLive:解密状态与视觉解耦架构
OpenPPT:免费开源AI演示文稿生成工具,跨平台协作与丰富模板助力高效办公
TAGGED:Agent回归测试Copilot CLIGitHub Copilot EvalsMCP工具测试Vally评测引擎
分享
Email 复制链接 打印
Share
Prompt 语宙研究院 头像
ByPrompt 语宙研究院
Follow:
Prompt 语宙研究院(paooo.com Research)专注于前沿多模态大模型架构拆解、AI Agent 工作流评测、AIGC 提示词工程(Prompt Engineering)与全球高增长 AI 生产力工具实测追踪,致力于为中文开发者与创作者提供一手、可复现的深度技术洞察。
上一篇 企业AI负载从闭源API向多租户开源推理与专属GPU演进的三阶段路径图 Uber降本50%、Pinterest狂省90%!Pragmatic Engineer联手三大推理巨头揭秘:从闭源API迁向开源与专属GPU的推理工程全指南
下一篇 Google将Spark AI智能体更名为Tasks并向数亿免费用户开放,首页支持Chat与Tasks模式一键切换 Spark AI更名Tasks向数亿免费用户开放!Google实装Gemini 4 Hydrogen个人助理:硬件隔离VM、AP2数字令牌支付与并发代打电话架构全拆解
Ad image
Ad image

最近更新

花旗银行、摩根大通与美国银行等多家大型商业银行收紧服务条款,明确用户授权第三方 AI 智能体受损需自行担责
哪怕被黑客盗刷也不赔!花旗、摩根大通与美银等五大银行集体改写条款:使用第三方AI智能体风险由客户全权自担,生态入口博弈全面打响
AIGC 资讯
LangSmith for Coding Agents 代码智能体按 PR 结果核算成本与 ROI 官方封面图
340亿美元编码AI开销如何算清账?LangSmith上线代码智能体ROI追踪:按PR结果归因成本、五大工具全统一与线程上下文通胀治理指南
最新趋势
Axiom Math 利用 AI 多智能体集群完成 1.5 万页有限单群分类定理(CFSG)与 7500 页 Stacks 项目数学形式化验证的可视化点阵图
4300万行代码堪比Linux内核!Axiom Math用AI智能体攻克1.5万页“庞大定理”与Stacks项目形式化验证:百个里程碑与分层多智能体架构全拆解
最新趋势
印度具身智能数据初创公司 Humyn Labs 联合创始人 Ishank Gupta(左)与 Manish Agarwal(右)
半年营收破千万且90%来自美国!印度物理AI数据创企Humyn Labs获4700万美元A轮:双摄硬件、2100万债权垫资与20国采集网全拆解
AIGC 资讯

相关推荐

MiniCPM-V 4.7 面壁智能端侧 MoE 多模态大模型技术全景
AI 工具AIGC 资讯

iPhone 无损畅跑 35B 巨兽!面壁智能开源全球首个手机端 MoE 多模态大模型 MiniCPM-V 4.7:3GB 内存畅跑、前瞻专家调度 LES 与全链路加速工程实战

Prompt 语宙研究院
MiniCPM-V 前瞻专家调度 手机端大模型 端侧多模态 面壁智能
GoatChat AI聊天机器人
AI 工具

GoatChat AI聊天机器人

remaker
AI办公效率 AI智能体 AI绘画提示词
阿里通义Wan2.5重磅发布:音画同步视频+1080P创作,多模态生成进入新纪元
AI 工具AIGC 资讯

阿里通义Wan2.5重磅发布:音画同步视频+1080P创作,多模态生成进入新纪元

Prompt 语宙研究院
AIGC AI视频生成 人工智能创作工具 多模态生成模型 通义万相
Predict AI
AI 工具

Predict AI

remaker
Adobe AI办公效率 AI智能体 Figma
/ Prompt 语宙 /

探索生成式 AI 的无限创作潜能,一站式获取前沿 AIGC 资讯、高阶 Prompt 咒语与全球实用 AI 工具。

核心专栏

  • 语宙 AI 工具导航
  • EVA 视觉抠图工坊Hot
  • 出海数字营销宝典
  • AI 生图咒语灵感库
  • 24H 硅谷 AI 情报流

生态与服务

  • 语宙 AI 导航
  • 全部资讯
  • AI 生图咒语库
  • AIGC 早报生成器
  • 核心专题
  • 提交工具 / 合作

标签

开源大模型 AI智能体 AI办公效率 AI绘画提示词 OpenAI 大模型微调 Midjourney AI编程 stable diffusion AI视频生成 ChatGPT 3D与空间智能 HuggingFace AI音频与语音 RAG检索增强 Claude Flux AIGC Gemini 通义千问 Anthropic Llama Cursor DeepSeek Prompt AI Agent Kimi 智谱AI 具身智能 YouTube
Prompt 语宙Prompt 语宙
Follow US
© 2023–2026 Prompt 语宙 (paooo.com). HalfPX. All Rights Reserved.