支付宝营销策略效果分析

A/B测试常用于比较不同设计、运营方案的优劣，以辅助决策。本分析以支付宝营销活动为例，通过广告点击率指标比较两组营销策略的广告投放效果。

1.数据来源

本文所用数据集来自阿里云天池：
阿里云天池 - Audience Expansion Dataset

该数据集包含三张表，分别记录了支付宝两组营销策略的活动情况：

emb_tb_2.csv: 用户特征数据集
effect_tb.csv: 广告点击情况数据集
seed_cand_tb.csv: 用户类型数据集

本分析报告主要使用广告点击情况数据，涉及字段如下：

dmp_id：营销策略编号（源数据文档未作说明，这里根据数据情况设定为1：对照组，2：营销策略一，3：营销策略二）
user_id：支付宝用户ID
label：用户当天是否点击活动广告（0：未点击，1：点击）

2. 数据处理

2.1 数据导入和清洗

# 加载包
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
%matplotlib inline

1. 导入数据

data = pd.read_csv('data/effect_tb.csv',header = None)
data.columns = ["dt","user_id","label","dmp_id"]

# 日志天数属性用不上，删除该列
data = data.drop(columns = "dt")
data.head(3)

2. 重复值处理

# 检查重复值
data[data.duplicated(keep = False)].sort_values(by = ["user_id"])

# 删除重复值
data = data.drop_duplicates()

3. 空值处理

data.info(null_counts = True)

数据集无空值，无需进行处理。

4. 数据类型

data.dtypes

数据类型正常，无需处理。

2.2 样本容量检验

在进行A/B测试前，需检查样本容量是否满足试验所需最小值。这里借助Evan Miller的样本量计算工具： Sample Size Calculator
首先需要设定点击率基准线以及最小提升比例，我们将对照组的点击率设为基准线.

# 对照组点击率
data[data["dmp_id"] == 1]["label"].mean()

0.012551012429794775

对照组点击率为1.26%，假定我们希望新的营销策略能让广告点击率至少提升1个百分点，则算得所需最小样本量为：2167。

data["dmp_id"].value_counts()

两组营销活动的样本量分别为41.11万和31.62万，满足最小样本量需求。

# 保存清洗好的数据备用
data.to_csv("data/output.csv", index = False)

3. 假设检验

先观察几组试验的点击率情况。

print("对  照  组： " ,data[data["dmp_id"] == 1]["label"].mean())
print("营销策略一： " ,data[data["dmp_id"] == 2]["label"].mean())
print("营销策略二： " ,data[data["dmp_id"] == 3]["label"].mean())

可以看到策略一和策略二相较对照组在点击率上都有不同程度提升。
其中策略一提升0.2个百分点，策略二提升1.3个百分点，只有策略二满足了前面我们对点击率提升最小值的要求。

接下来需要进行假设检验，看策略二点击率的提升是否显著。

**a. 零假设和备择假设**  
记对照组点击率为p1，策略二点击率为p2，则：  
零假设 H0： p1 ≥ p2  
备择假设 H1： p1 ＜ p2

**b. 分布类型、检验类型和显著性水平**  
样本服从二点分布，独立双样本，样本大小n＞30，总体均值和标准差未知，所以采用Z检验。显著性水平α取0.05。

# 用户数
n_old = len(data[data.dmp_id == 1])  # 对照组
n_new = len(data[data.dmp_id == 3])  # 策略二

# 点击数
c_old = len(data[data.dmp_id ==1][data.label == 1])
c_new = len(data[data.dmp_id ==3][data.label == 1])

# 计算点击率
r_old = c_old / n_old
r_new = c_new / n_new

# 总和点击率
r = (c_old + c_new) / (n_old + n_new)

print("总和点击率：", r)

总和点击率： 0.014492310074225832

# 计算检验统计量z
z = (r_old - r_new) / np.sqrt(r * (1 - r)*(1/n_old + 1/n_new))
print("检验统计量z：", z)

检验统计量z： -59.44168632985996

# 查α=0.05对应的z分位数
from scipy.stats import norm
z_alpha = norm.ppf(0.05)
z_alpha

z_alpha = -1.64，检验统计量z = -59.44，该检验为左侧单尾检验，拒绝域为{z＜z_alpha}。
所以我们可以得出结论：原假设不成立，策略二点击率的提升在统计上是显著的。

4. 结论

综上所述，两种营销策略中，策略二对广告点击率有显著提升效果，且相较于对照组点击率提升了近一倍，因而在两组营销策略中应选择第二组进行推广。