iOS A/B Test介绍和使用
一、什么是A/B Test
现在 App Store 中的应用，就像商场中的商品一样琳琅满目，可以解决用户各个方面的需求。这时，你要想创新，或者做出比竞品更优秀的功能，是越来越不容易。所以，很多公司都必须去做一些实验，看看有哪些功能可以增强自己 App 的竞争力，又有哪些功能可以废弃掉。而进行这样的实验的主要方法，就是 A/B 测试。
A/B 测试，也叫桶测试或分流测试，指的是针对一个变量的两个版本 A 和 B，来测试用户的不同反应，从而判断出哪个版本更有效，类似统计学领域使用的双样本假设测试。简单地说，A/B 测试就是检查 App 的不同用户在使用不同版本的功能时，哪个版本的用户反馈最好。
比如，引导用户加入会员的按钮，要设置为什么颜色更能吸引他们加入，这时候我们就需要进行 A/B 测试。产品接触的多了，我们自然清楚一个按钮的颜色，会影响到用户点击它，并进入会员介绍页面的概率。
二、App 开发中的 A/B Test
从 App 开发层面看，新版本发布频繁，基本上是每月或者每半月会发布一个版本。那么，新版本发布后，我们还需要观察界面调整后情况如何，性能问题修复后线上情况如何，新加功能使用情况如何等。这时，我们就需要进行 A/B 测试来帮助我们分析这些情况，通过度量每个版本的测试数据，来确定下一个版本应该如何迭代。
对于 App 版本迭代的情况简单说就是，新版本总会在旧版本的基础上做修改。这里，我们可以把旧版本理解为 A/B 测试里的 A 版本，把新版本理解为 B 版本。在 A/B 测试中 A 版本和 B 版本会同时存在，B 版本一开始是将小部分用户放到 B 测试桶里，逐步扩大用户范围，通过分析 A 版本和 B 版本的数据，看哪个版本更接近期望的目标，最终确定用哪个版本。总的来说，A/B 测试就是以数据驱动的可回退的灰度方案，客观、安全、风险小，是一种成熟的试错机制。
一个 A/B Test 框架主要包括三部分：
- 策略服务，为策略制定者提供策略；
- A/B 测试 SDK，集成在客户端内，用来处理上层业务去走不同的策略；
- 日志系统，负责反馈策略结果供分析人员分析不同策略执行的结果
其中，策略服务包含了决策流程、策略维度。A/B 测试 SDK 将用户放在不同测试桶里，测试桶可以按照系统信息、地址位置、发布渠道等来划分。日志系统和策略服务，主要是用作服务端处理的，这里我就不再展开了。
下图是 A/B 测试方案的结构图：
三、A/B Test 技术方案
1、整体设计
2、服务端
3、APP端
4、大数据端
大数据端需要处理统计的数据有：
- 符合灰度规则的用户数量
- 符合灰度规则并启动了APP的用户数量
- 符合灰度规则并启动了APP且在设置页面点击了【灰度验证】的用户数量
- 进入测试页面A的用户数
- 进入测试页面B的用户数
四、A/B Test iOS SDK
这里简单的写了一下逻辑，仅供参考，具体实现可能要复杂一些。开发们根据自己的需求再完善吧。
ZJHABTestManager.h 文件
#import <Foundation/Foundation.h>
/// 业务类型
typedef NS_ENUM(NSInteger, ZJHGrayUserKeyType) {
ZJHGrayUserKeyTypeOne, // 业务类型1
ZJHGrayUserKeyTypeTwo, // 业务类型2
ZJHGrayUserKeyTypeThree // 业务类型3
};
@interface ZJHABTestManager : NSObject
/// 初始化配置
+ (void)configGrayKeys;
/// 取值Bool
+ (BOOL)boolValueWithKeyType:(ZJHGrayUserKeyType)keyType;
/// 取值ABC
+ (NSInteger)abcValueWithKeyType:(ZJHGrayUserKeyType)keyType;
/// 取值Str
+ (NSString *)strValueWithKeyType:(ZJHGrayUserKeyType)keyType;
@end
ZJHABTestManager.m 文件
#import "ZJHABTestManager.h"
@interface ZJHABTestManager ()
@property (nonatomic, strong) NSDictionary *typeKeyDict;
@property (nonatomic, strong) NSDictionary *dataDict;
@end
@implementation ZJHABTestManager
/// 单例
+ (ZJHABTestManager *)shareInstance {
static ZJHABTestManager *grayUserManager;
static dispatch_once_t onceToken;
dispatch_once(&onceToken, ^{
if (!grayUserManager) {
grayUserManager = [[ZJHABTestManager alloc] init];
}
});
return grayUserManager;
}
/// 初始化配置
+ (void)configGrayKeys {
ZJHABTestManager *mgr = [ZJHABTestManager shareInstance];
// 配置
mgr.typeKeyDict = @{ @(ZJHGrayUserKeyTypeOne) : @"ZJHGrayUserKeyTypeOne",
@(ZJHGrayUserKeyTypeTwo) : @"ZJHGrayUserKeyTypeTwo",
@(ZJHGrayUserKeyTypeThree) : @"ZJHGrayUserKeyTypeThree" };
// 取缓存数据
mgr.dataDict =
[[NSUserDefaults standardUserDefaults] objectForKey:@"ZJHABTestDataKey"];
// 请求网络数据
[self requestUrlDataWithKeyArr:mgr.typeKeyDict.allValues completion:^(NSDictionary *dict) {
// 数据赋值
mgr.dataDict = dict;
// 存数据
[[NSUserDefaults standardUserDefaults] setObject:dict
forKey:@"ZJHABTestDataKey"];
}];
}
/// 请求网络数据
+ (void)requestUrlDataWithKeyArr:(NSArray *)keyArr
completion:(void (^)(NSDictionary *dict))completion {
dispatch_after(dispatch_time(DISPATCH_TIME_NOW, (int64_t)(1 * NSEC_PER_SEC)), dispatch_get_main_queue(), ^{
if (completion) {
NSMutableDictionary *mutDict = [NSMutableDictionary dictionary];
for (NSString *key in keyArr) {
;
mutDict[key] = [NSString stringWithFormat:@"%ld",random() % 3];
}
completion(mutDict);
}
});
}
/// 取值Bool
+ (BOOL)boolValueWithKeyType:(ZJHGrayUserKeyType)keyType {
NSString *str = [self strValueWithKeyType:keyType];
return [str boolValue];
}
/// 取值ABC
+ (NSInteger)abcValueWithKeyType:(ZJHGrayUserKeyType)keyType {
NSString *str = [self strValueWithKeyType:keyType];
return [str integerValue];
}
/// 取值Str
+ (NSString *)strValueWithKeyType:(ZJHGrayUserKeyType)keyType {
ZJHABTestManager *mgr = [ZJHABTestManager shareInstance];
NSString *typeStr = mgr.typeKeyDict[@(keyType)];
return mgr.dataDict[typeStr];
}
@end
参考链接：
什么是 A/B 测试？：https://www.zhihu.com/question/20045543
A/B 测试：验证决策效果的利器：https://time.geekbang.org/column/article/93097
iOS A/B Test 方案探索：//www.greatytc.com/p/ba7ba95a524e
