不废话,直接上干货,简单说~
1、AB平台核心定位及功能
保障所有实验结果的科学性,为企业的每次增长投入做数据结论支撑。平台本身其实比较简单,主要核心功能点有以下三个。
第一、分流分桶及用户打标
第二、变量参数注册及传递
第三、数据指标注册及看板展示
2、工作流程
准备环节:一般是产品经理来定义好实验方式,随后交由对应域的研发开发变量、功能和埋点,同时让数据分析师准备好数据口径。
实验创建环节:新建分桶,填写好不同分桶的流量和变量,配置好实验周期、观测的指标。添加白名单在不同的桶预览实验功能,确认后发布到线上。
正式实验环节:可在不同的桶中,调整变量和分流,生成不同的实验版本,也允许功能的迭代。最后由产品经理或专门的数据分析师做好数据结论。
3、说个完整的应用case
举个例子,在商品详情页面。
我们想做2个实验。实验1:对于女装的长裙,是不是展示一张长图比一张方图转化效率更好。实验2:对于一件商品,标题是展示完整三行转化效率更好,还是简短一些保障可读性更好。
此时商品详情域,就需要开发相应的功能以及变量。
对于实验1,变量为img,img=1代表是长图,img=2代表是方图。
新建3个分桶,自然桶img=2,流量10%。基准桶img=2,流量10%。实验桶img=1,流量10%。
这里可能有人要问,为啥有了基准桶还要自然桶?从科学实验的角度,AB实验应该叫AAB实验,两个A就是代表自然桶和基准桶,B就是实验桶。两个A的目的在于,验证本次分流是随机均匀的,若两个A桶之间实验结果不同,则B桶的数据也不置信。
数据分析师提前准备好“女装长裙Detail-Order”的数据指标,注册到AB平台中,则AB平台可以按照实验分桶,自动统计出三个桶分别的数据指标情况。
实验2也是同理不赘述,把实验2摆出来的目的在于,需要注意在同一个域下面,变量控制的功能不能互相干扰或者是相同,否则实验结果将变得混沌。但如果控制的功能完全不干扰,就像实验1和2的关系一样,则可以进行正交,结果可以正常分析。