概述:
目的:为了明确某个变量是否会对某个现象/最后结果起作用
基于假设:个体的潜在结果不受处理的影响(即无干扰);处理对个体的效果相同
A/Btest流程:建立假设——>定义衡量标准——>验证假设——>获取经验——>迭代
输入——用户属性、交互数据、业务数据(比如分配、买单等)
输出——目标值的变化量(①通过平均值来计算、②通过拉平数据总量来计算)、显著性、用户的操作路径、转化漏斗
注意事项
①流量分割科学:确保公平,具有可比性,通常采用的方法有完全随机(比如针对某个memberID进行取模)或者分层随机(通过协变量对总量先进行分层,然后再进行随机测试)
②结果科学:合理的置信度,如果不影响测试个体总数,可以通过平均值来衡量,如果会影响测试个体总数,则最好通过拉平数据总量来计算(即测试组和对照组分别扩量至全体对应的总值)
③开始使用系统之前可以先进行A/A测试
④要充分考虑到时间的影响:新进入测试的流量的平均点击会比原有测试对象的平均点击低
⑤及时进行扩量,BTW,用A/Btest平台把方案固化下来是不合适的