sofasofa——交通事故文档分析

解决的问题是在交通摩擦（事故）发生后，理赔员会前往现场勘察、采集信息，这些信息往往影响着车主是否能够得到保险公司的理赔。训练集数据包括理赔人员在现场对该事故方采集的36条信息，信息已经被编码，以及该事故方最终是否获得理赔。我们的任务是根据这36条信息预测该事故方没有被理赔的概率。
二元分类的比赛结果如果不是太差基本上三步：特征工程、选好模型（大杀器）、调整好参数。
上传预测结果，平台计算AUC。一般结果在0.5（等于随机只选二元中的一个结果）到1（全对）之间。

本文最终处理结果为PR-AUC：0.8611xx，目前排名进前10。
在试验中比较了几种方法（当然也包括了比赛提供的标杆方法）
随机森林（标杆）的提交结果为0.850898。
lightgbm模型的提交结果为 0.86035。
xgboost模型的提交结果为 0.86115。
以下介绍以xgboost为例。

温馨提示：先用清华镜像安装imblearn 包

pip install imblearn -i https://pypi.tuna.tsinghua.edu.cn/simple

1.特征工程

方法1：特征工程通常需要考虑有没有缺失值、相关性（isnull()、corr())等问题。相关性可以输出入下图的效果。
Q1代表36个问题中第一个，一共有36个。

q1的相关性

然后再特征中移除这些方差超过一定阈值的，可能不是每个问题都相关。

    if Feature_selection == True:  # http://bluewhale.cc/2016-11-25/use-scikit-learn-for-feature-selection.html
        sel = VarianceThreshold(threshold=.09)  # 选择方差大于0.9的特征
        train = sel.fit_transform(train)
        test = sel.fit_transform(test)

移除方差较低的特征后，时间却降低很多。因为许多特征都表现出方差低的情况，移除后剩下为数不多的特征，此时耗时自然下降。

方法2：此外也可以利用遗传算法来对36个问题进行降维处理，流程图如下：

遗传算法降维

思路是数据集有36个特征，所以我们建立一个初始的种群为(30,36)的矩阵，其中染色体则为种群(30,36)矩阵中的其中(1,36)，基因则为染色体中的一个特征为一个基因。
对初始种群进行二进制编码，即随机产生一个(30,36)里面为0，1的矩阵，那么一条染色体即为数据集特征的索引，例如其中一条染色体为[0,1,1,1,0,…,0,1,0]，通过这条染色体进行索引数据集特征，得到新的一个数据集。将这个数据集切分成训练集和测试集，通过模型对新数据集进行训练和预测，以预测结果的AUC值作为适应度。根据适应度筛选出最优一条染色保存，看是否达到终止条件，没达到再对种群进行选择、交叉、变异，得到新种群进入下一次循环，直到到达终止条件（一般是人为设置，本次训练我设置迭代30次后终止循环），输出最优的一条染色体，即为我们降维的结果。

具体可以参考：https://blog.csdn.net/LDD1764759304/article/details/107721057

2.选好模型

XGBoost的特点：

①使用许多策略去防止过拟合，如：正则化项、Shrinkage and Column Subsampling等。
②目标函数优化利用了损失函数关于待求函数的二阶导数。
③支持并行化，这是XGBoost的闪光点，虽然树与树之间是串行关系，但是同层级节点可并行。具体的对于某个节点，节点内选择最佳分裂点，候选分裂点计算增益用多线程并行。训练速度快。
④添加了对稀疏数据的处理。
⑤交叉验证，early stop，当预测结果已经很好的时候可以提前停止建树，加快训练速度。
⑥支持设置样本权重，该权重体现在一阶导数g和二阶导数h，通过调整权重可以去更加关注一些样本。

具体可以参考：
https://www.cnblogs.com/wj-1314/p/10790197.html
//www.greatytc.com/p/37c540e02c87

3.调整参数

调参用了gridSearchCV（网格搜索）具体可以参考：
https://blog.csdn.net/weixin_41988628/article/details/83098130
https://www.cnblogs.com/wj-1314/p/10790197.html

def XGB(train_x, train_y):
    """
    XGBClassifier的调参及建立
    Parameters:
        train_x - 训练集变量
        train_y - 训练集类别
    Returns:
        clf - 模型
        best_params - 最优参数
        best_score - 最佳分数
    """
    cv_params = {}
    other_params = {'base_score': 0.5, 'booster': 'gbtree', 'colsample_bylevel': 0.9,
    'colsample_bytree': 0.6, 'gamma': 0.3, 'learning_rate': 0.1,
    'max_delta_step': 0, 'max_depth': 5, 'min_child_weight': 1, 'missing': None,
    'n_estimators': 800, 'n_jobs': -1, 'nthread': 4, 'objective': 'binary:logistic',
    'random_state': 0, 'reg_alpha': 1, 'reg_lambda': 1, 'scale_pos_weight': 1,
    'seed': 27, 'silent': True, 'subsample': 0.9}


    model = XGBClassifier(**other_params)
    clf = GridSearchCV(estimator=model, param_grid=cv_params, scoring='average_precision', verbose=1, n_jobs=-1, cv=3)
    clf.fit(train_x, train_y)

    evalute_result = clf.cv_results_
    # print('每轮迭代运行结果:{0}'.format(evalute_result))
    best_params = clf.best_params_
    best_score = clf.best_score_

    return clf, best_params, best_score

RP-AUC数值为:0.8584（上传到系统会高一些）
耗时：93 秒