跳到主要内容
哒哒星球DADA PLANET

Skill · 已公开版本

ab-test-analysis · 判断 A/B 实验是否足以做决定

核对实验设计、样本与区间估计,把统计结果转成上线、继续或停止的建议。

先看看示例

作者提供的示例,实际效果取决于你的输入和使用工具。

输入

A组1000人转化100;B组1000人转化110;仅运行1天,预期覆盖完整周周期。

输出

编辑示例 · 未运行
A:10%;B:11%;绝对差+1个百分点,相对差+10%。

当前限制:只运行1天,未覆盖预定周周期。

结论:不能仅凭正向差值宣布胜出。按原计划补齐周期,核验样本分配、置信区间与退款等护栏后再决定。

方法说明

核对实验设计、样本与区间估计,把统计结果转成上线、继续或停止的建议。

具体任务

检查实验设置:核对随机分流、样本量、周期及主指标。

解释差异与决策:计算效应和区间,并结合护栏判断继续、停止或上线。

必需材料

实验假设及分流方案

各组样本、结果与实验周期

可选材料

预设MDE与显著性水平

护栏指标

使用门槛

了解统计检验基本含义,能够确认独立样本与指标定义。

这个 Skill 额外提供的方法

先判断实验是否可信,再看差异是否值得业务采用。

编辑示例(未运行)

转化率高一点就能上线吗

任务:审查两组转化数据能支持什么判断

输入:
A组1000人转化100;B组1000人转化110;仅运行1天,预期覆盖完整周周期。

结果片段:
A:10%;B:11%;绝对差+1个百分点,相对差+10%。

当前限制:只运行1天,未覆盖预定周周期。

结论:不能仅凭正向差值宣布胜出。按原计划补齐周期,核验样本分配、置信区间与退款等护栏后再决定。

以下为官方编辑构造的示例,未运行上游 Skill。未计算或伪造p值;示例展示可算的差值和不足以决策的条件。

首次任务

任务:检查实验设置。
任务重点:核对随机分流、样本量、周期及主指标。

必需材料:
- 实验假设及分流方案:[填写或粘贴我的材料;未具备则说明]
- 各组样本、结果与实验周期:[填写或粘贴我的材料;未具备则说明]

可选补充:
- 预设MDE与显著性水平:[可填写,未提供不应假定存在]
- 护栏指标:[可填写,未提供不应假定存在]

请交付有材料依据的分析报告,列出发现、证据、建议与未覆盖范围。仅依据这些材料处理;缺少决定结果的信息时先说明缺口,不补造事实。未执行的检查、修改或外部操作明确标为未执行。

使用前提:了解统计检验基本含义,能够确认独立样本与指标定义。
处理边界:百分比变好不等于统计显著;不能随意反复查看后在显著时停止;应遵循预先分析规则

验收要求:
1. 实验设置与数据口径先通过检查。
2. 区间与效应量和主指标对应。
3. 建议同时考虑周期、功效与护栏。

验收方法

实验设置与数据口径先通过检查

区间与效应量和主指标对应

建议同时考虑周期、功效与护栏

依赖与准备

CSV或分析导出、统计计算环境;必要时生成可复查Python脚本。

使用边界

百分比变好不等于统计显著

不能随意反复查看后在显著时停止;应遵循预先分析规则

排错

p值小但收益很小:同时评估效应量和实施成本。

分流比例明显偏离:先排查分配与埋点,暂缓解释效果。

固定来源

https://github.com/phuryn/pm-skills/blob/8607e3b077817f89bf4a9b623246219734ac3be0/pm-data-analytics/skills/ab-test-analysis/SKILL.md