先看看示例
作者提供的示例，实际效果取决于你的输入和使用工具。
输入
编辑构造材料（未运行）：
规则：答案必须包含订单号输入要求，缺少则失败。Q1：如何查物流？旧回答“到物流页查看”，新回答“请输入订单号，在物流页查询”。Q2：如何退款？旧/新回答均“提交申请”。
输出
编辑示例 · 未运行
| case_id | 旧版 | 新版 | 依据 |
|---|---|---|---|
| Q1 | 失败 | 通过 | 新版明确要求订单号 |
| Q2 | 失败 | 失败 | 两版均缺订单号要求 |
按这条编辑给定规则，样本通过数从 0/2 变为 1/2；不能据此外推真实客服质量。
方法说明
构造评估数据、选择指标、分析失败并比较修复前后结果。 具体任务 对比两版客服代理的失败案例：构造评估数据、选择指标、分析失败并比较修复前后结果。 必需材料 带 case_id 的问题、参考答案和两版真实回答 本次质量指标与判分规则 可选材料 历史评估结果 JSON 允许的评估预算与执行环境 使用门槛 能明确什么回答算通过，具备脱敏样本；在线评估需 Google Cloud 账号。 这个 Skill 额外提供的方法 遵循构造样本、选指标、评估、分析失败、修复对比的循环，并用同一 case_id 跟踪回归。 编辑示例（未运行） 对比两版客服代理的失败案例 任务：对比两版客服代理的失败案例 输入： 编辑构造材料（未运行）： 规则：答案必须包含订单号输入要求，缺少则失败。Q1：如何查物流？旧回答“到物流页查看”，新回答“请输入订单号，在物流页查询”。Q2：如何退款？旧/新回答均“提交申请”。 结果片段： | case_id | 旧版 | 新版 | 依据 | |---|---|---|---| | Q1 | 失败 | 通过 | 新版明确要求订单号 | | Q2 | 失败 | 失败 | 两版均缺订单号要求 | 按这条编辑给定规则，样本通过数从 0/2 变为 1/2；不能据此外推真实客服质量。 这是依据固定入口方法撰写的编辑示例，没有运行上游 Skill 或访问真实账号。遵循构造样本、选指标、评估、分析失败、修复对比的循环，并用同一 case_id 跟踪回归。 首次任务 请使用已安装的 agent-platform-eval-flywheel Skill。 任务：对比两版客服代理的失败案例。 我的必需材料： - 带 case_id 的问题、参考答案和两版真实回答：[粘贴我的实际材料或路径；缺少时写明] - 本次质量指标与判分规则：[粘贴我的实际材料或路径；缺少时写明] 可选补充： - 历史评估结果 JSON：[可选，未提供时不要假定存在] - 允许的评估预算与执行环境：[可选，未提供时不要假定存在] 请先确认材料是否足够，只处理我提供的范围。先评阅已有样本；合成样本和在线评估消耗算力，需确认参数与预算。不能把编辑分数当作平台跑分。交付可直接审阅的对照表，明确尚未执行或验证的部分。不要代入页面例子的虚构数据。 验收： 1. 相同样本与指标用于前后对比。 2. 每个失败能定位原回答和判分依据。 3. 在线结果、人工标注与编辑演示分别标识。 验收方法 相同样本与指标用于前后对比。 每个失败能定位原回答和判分依据。 在线结果、人工标注与编辑演示分别标识。 依赖与准备 需要完整 Skill 目录，保留 references/deployment.md、references/dataset_schema.md、references/sdk_patterns.md、scripts/parse_adk_traces.py 等引用。完整目录包含 dataset_schema、SDK patterns 及 validate_dataset.py、compare_results.py 等；云端执行需官方 SDK、认证、配额与费用预算。 使用边界 先评阅已有样本；合成样本和在线评估消耗算力，需确认参数与预算。不能把编辑分数当作平台跑分。 依赖 Google Cloud Agent Platform；合成样本与评估可能计费，执行前需确认范围。 页面中的例子为编辑撰写，未运行上游 Skill；不代表平台兼容认证或生产实测。 排错 结果无法比较：先核对样本 ID、版本与指标配置是否一致，再比较数值。 数据集校验失败：按 dataset_schema 检查 EvaluationDataset 和 response/reference 类型，不跳过校验。 固定来源 https://github.com/google/skills/blob/2964a69c4d4a27632a43d60dab5f4f645f2a82df/skills/cloud/agent-platform-eval-flywheel/SKILL.md 许可 Apache-2.0。许可原文：https://github.com/google/skills/blob/2964a69c4d4a27632a43d60dab5f4f645f2a82df/LICENSE 仓库热度 google/skills 仓库 20,504 Stars（2026-09-30 核验）；这是父仓库指标，不是单个 Skill 的评分。