一、AB测试方面
1、对照组和测试组的选择
控制变量！
AB测试的设计：定期换桶、排除异常数据；支持版本、召回、重排、文章属性等多层面的AB测试
AB测试：检验是否有显著性（t检验等）
二、数据分析方面
1、分类是数据分析的80%
显性分类：内容类别、男女、地域、安卓/ios等显性用户特征
隐形分类：第几刷、什么推荐理由、时间点
自定义分类：定义新老用户、定义高中低活用户、定义流失用户、定义偏好阅读深浅和刷新深浅的分类
机器聚类：kmeans聚类等
双坐标分类：
①根据以上两种分类进行综合比较（横坐标阅读深度，纵坐标刷新深度）
②按照时间点（早上7点到-晚23点）看分小时分类别的推荐量、点击量、点击率、文章数；区分周末和工作日进行查看看
分类的注意事项：多个分类的情况下
分类维度：分人群（男女、地域、机型）、分内容、分时间（工作日还是周末，早中晚，小时级别）、分推荐理由
分类标准：已有标准、自定义标准
3、通过过程指标进行监控
例如：看用户核心兴趣来知道留存率的提高
4、巧用除法分析数据
例如看点击率占比，即点击数占比/推荐数占比，来比较某一个推荐模块的推荐效果；
看VV/新增，说明每新增带来的价值
5、巧用减法做数据分析
客户端每个功能的使用率和留存率曲线画出来，计算两条线之差，由高到低排列，可看到两条线差距。差距异常的地方是机会点
6、学会看分布
直方图、提琴图、线箱图
7、看数据之间的关系
散点图、计算相关系数
8、时间序的分析
比如根据分发次数、分发时间，分析各个数据
