ab-test-design - 设计可信的在线 A/B 实验
在最终统计推断前，设计并审查在线现场对照实验的可信性。
标签
更新于: 2026-10-03该技能可以做什么
- 定义决策指标
- 选择随机化单位
- 使用 MDE 估算规模
- 应用方差缩减
- 预先确定停止规则
- 验证 SRM 和 A/A 测试
- 审查新奇效应和首因效应
- 审查异常结果
- 移交可信数据
输入
- 实验变体定义
- 历史基线指标
- 历史方差估计
- 随机化单位
- 护栏指标
- 实验前协变量
- 停止规则
- 实时流量或案件
输出
- 实验设计
- 样本量和持续时间估算
- 方差缩减方案
- 有效性审查结果
- 停止方案
- 上线检查清单
- 可信数据分析移交
要求
- 实时流量或案件
- 随机分配能力
- 分配和结果日志记录
- 历史指标数据访问权限
- 上线前指标定义