AB测试重点汇总

Part1 from https://blog.csdn.net/weixin_38753213/article/details/100933667

实例A/B test步骤

指标：CTR
变体：新的推荐策略
假设：新的推荐策略可以带来更多的用户点击。
收集数据：以下B组数据为我们想验证的新的策略结果数据，A组数据为旧的策略结果数据。均为伪造数据。

分析结果（Python）：
利用 python 中的 scipy.stats.ttest_ind 做关于两组数据的双边 t 检验，结果比较简单。但是做大于或者小于的单边检测的时候需要做一些处理，才能得到正确的结果。

from scipy import stats 
import numpy as np  
import numpy as np  
import seaborn as sns   
    
A = np.array([ 1, 4, 2, 3, 5, 5, 5, 7, 8, 9,10,18]) 
B = np.array([ 1, 2, 5, 6, 8, 10, 13, 14, 17, 20,13,8]) 
print('策略A的均值是：',np.mean(A))    
print('策略B的均值是：',np.mean(B))

Output: 
策略A的均值是：6.416666666666667   
策略B的均值是：9.75

很明显，策略B的均值大于策略A的均值，但这就能说明策略B可以带来更多的业务转化吗？还是说仅仅是由于一些随机的因素造成的。

我们是想证明新开发的策略B效果更好，所以可以设置原假设和备择假设分别是:
H0：A>=B
H1：A < B

scipy.stats.ttest_ind(x,y)默认验证的是x.mean()-y.mean()这个假设。为了在结果中得到正数，计算如下：
stats.ttest_ind(B,A,equal_var= False)
output:
Ttest_indResult(statistic=1.556783470104261, pvalue=0.13462981561745652)
根据 scipy.stats.ttest_ind(x, y) 文档的解释，这是双边检验的结果。为了得到单边检验的结果，需要将计算出来的 pvalue 除于2 取单边的结果(这里取阈值为0.05）。

求得pvalue=0.13462981561745652， p/2 > alpha(0.05),所以不能够拒绝假设，暂时不能够认为策略B能带来多的用户点击。

A/B test需要注意的点

1、先验性：通过低代价，小流量的实验，在推广到全流量的用户。
2、并行性：不同版本、不同方案在验证时，要保重其他条件都一致。
3、分流科学性和数据科学性：分流科学是指对AB两组分配的数据要一致，数据科学性是指不能直接用均值转化率、均值点击率来进行AB test决策，而是要通过置信区间、假设检验、收敛程度来得出结论。

A/B test中要知道的统计学知识

上述文章只是从应用的角度介绍来AB test的一些内容，当收集好数据之后做推断性统计分析你可能需要具备以下知识，这里限于篇幅不做介绍，自行查阅统计学书籍阅读，可参考《统计学》贾跃平，可汗学院统计学等书籍和视频。

1、点估计
2、区间估计
3、中心极限定理（样本估计总体的核心，可以对比看一下大数定理）
4、假设检验
其中假设检验部分为核心，其他辅助更好的理解该部分内容，比如区间估计可以理解为正向的推断统计，假设检验可以理解为反证的推断统计，关于假设检验本身，你可能还需要知道小概率事件、t分布、z分布、卡方分布、p值、alpha错误、belta错误等内容。

A/B test样本数如何定

（待更新）