GitHub Copilot Evals 开启公测
GitHub Copilot Evals is now in public preview
GitHub 宣布 Copilot Evals 正式开启公测,面向 Individual、Business 和 Enterprise 用户开放。该功能基于本地评测引擎 Vally,允许开发者通过自然语言或 `/eval` 命令为 Skill、自定义 Agent 及 MCP 工具创建可重复测试,对比配置调整前后的输出并排查回归。
原文给出了评估机制与具体接入方式,开发者可以据此为自定义智能体和MCP工具建立回归测试工作流。
现在你可以借助 GitHub Copilot Evals 针对自身需求调优 GitHub Copilot 了。当你的提示词、模型、技能和工具不断变化时,你是否依然能充分发挥 Copilot 的最大效能?Evals 能够帮你针对配置中的各项技能、智能体和 MCP 工具解答这一疑问。只需创建评测、观察它们的实际表现,就能根据结果确定需要优化的方向。
什么是评测(Eval)?
评测是对 AI 行为进行的可复现测试。你给智能体布置一项贴近实际的任务,并明确优质输出的标准,随后既核对最终结果,也检查智能体得出该结果的过程。
AI 的输出每次运行都可能有所不同,因此仅凭一次出色的回答,无法判断某项自定义配置是否真正契合你的需求。在调整 Copilot 配置中的技能、智能体或 MCP 后,重新运行相同的评测,即可验证你关心的行为表现,并及时发现可能出现的功能倒退。
核心功能
用自然语言向 Copilot 提问,或使用 /eval 命令,即可实现:
- 为项目中的技能、自定义智能体或 MCP 工具创建评测。
- 运行评测并查看各项检查的通过与失败情况。每次运行开始前都需要经过你的批准。
- 查明检查未通过的原因,进而决定如何调整 Copilot 配置。
- 对比自定义调整前后的运行结果,直观了解修改是否见效。
GitHub Copilot Evals 采用可扩展的本地评测工具 Vally 作为其评估引擎。
快速上手
在你日常使用 Copilot 的环境中直接安装 GitHub Copilot Evals:
- Visual Studio Code:从 Visual Studio Marketplace 安装 GitHub Copilot Evals 扩展。
- Copilot CLI:按照安装指南安装 GitHub Copilot Evals 插件。
- GitHub Copilot 客户端:打开 Customize(自定义),添加
github/evals市场,然后安装 GitHub Copilot Evals 插件。
GitHub Copilot Evals 现已面向 Copilot Individual、Copilot Business 和 Copilot Enterprise 订阅用户开启公开预览。
如需了解更多信息,请查阅 GitHub Copilot Evals 文档。你也可以提交 Issue 反馈意见,或前往 GitHub Community 参与讨论。
文章 GitHub Copilot Evals is now in public preview 首次发布于 The GitHub Blog。
来源:GitHub Changelog · github.blog