先看看示例
作者提供的示例,实际效果取决于你的输入和使用工具。
输入
A组1000人转化100;B组1000人转化110;仅运行1天,预期覆盖完整周周期。
输出
编辑示例 · 未运行
A:10%;B:11%;绝对差+1个百分点,相对差+10%。
当前限制:只运行1天,未覆盖预定周周期。
结论:不能仅凭正向差值宣布胜出。按原计划补齐周期,核验样本分配、置信区间与退款等护栏后再决定。
方法说明
核对实验设计、样本与区间估计,把统计结果转成上线、继续或停止的建议。 具体任务 检查实验设置:核对随机分流、样本量、周期及主指标。 解释差异与决策:计算效应和区间,并结合护栏判断继续、停止或上线。 必需材料 实验假设及分流方案 各组样本、结果与实验周期 可选材料 预设MDE与显著性水平 护栏指标 使用门槛 了解统计检验基本含义,能够确认独立样本与指标定义。 这个 Skill 额外提供的方法 先判断实验是否可信,再看差异是否值得业务采用。 编辑示例(未运行) 转化率高一点就能上线吗 任务:审查两组转化数据能支持什么判断 输入: A组1000人转化100;B组1000人转化110;仅运行1天,预期覆盖完整周周期。 结果片段: A:10%;B:11%;绝对差+1个百分点,相对差+10%。 当前限制:只运行1天,未覆盖预定周周期。 结论:不能仅凭正向差值宣布胜出。按原计划补齐周期,核验样本分配、置信区间与退款等护栏后再决定。 以下为官方编辑构造的示例,未运行上游 Skill。未计算或伪造p值;示例展示可算的差值和不足以决策的条件。 首次任务 任务:检查实验设置。 任务重点:核对随机分流、样本量、周期及主指标。 必需材料: - 实验假设及分流方案:[填写或粘贴我的材料;未具备则说明] - 各组样本、结果与实验周期:[填写或粘贴我的材料;未具备则说明] 可选补充: - 预设MDE与显著性水平:[可填写,未提供不应假定存在] - 护栏指标:[可填写,未提供不应假定存在] 请交付有材料依据的分析报告,列出发现、证据、建议与未覆盖范围。仅依据这些材料处理;缺少决定结果的信息时先说明缺口,不补造事实。未执行的检查、修改或外部操作明确标为未执行。 使用前提:了解统计检验基本含义,能够确认独立样本与指标定义。 处理边界:百分比变好不等于统计显著;不能随意反复查看后在显著时停止;应遵循预先分析规则 验收要求: 1. 实验设置与数据口径先通过检查。 2. 区间与效应量和主指标对应。 3. 建议同时考虑周期、功效与护栏。 验收方法 实验设置与数据口径先通过检查 区间与效应量和主指标对应 建议同时考虑周期、功效与护栏 依赖与准备 CSV或分析导出、统计计算环境;必要时生成可复查Python脚本。 使用边界 百分比变好不等于统计显著 不能随意反复查看后在显著时停止;应遵循预先分析规则 排错 p值小但收益很小:同时评估效应量和实施成本。 分流比例明显偏离:先排查分配与埋点,暂缓解释效果。 固定来源 https://github.com/phuryn/pm-skills/blob/8607e3b077817f89bf4a9b623246219734ac3be0/pm-data-analytics/skills/ab-test-analysis/SKILL.md