分析建模,日常问题整理(二十九)
2019.9.30~2020.3.13
xgboost问题
1)保存为txt树结构,原生的xgboost保存model.dump_model
xgb.Regression._Booster.dump_model。
2)当xgboost的预测结果xgb.predict结果大于1时。肯定忘记设置'objective':'reg:logistic'!!!
3)当模型结果严重过拟合时,尝试gamma调整大一些,比如10~30之间。
4)alpha,min_child_weight调大也能减弱一些过拟合。
5)用原始数据还是用分箱后数据效果更好?(xgb本身就在做最优分箱,所以差别应该不大)。
6)转为txt树结构时,树结构只包含了每棵树的信息,不同于模型文件,里面包含了比较全的参数信息。txt不包含对数据的填充或者处理等操作,因此要保证进入模型的数据要保留空值。
7)用xgb跑10次重要性根据均值进行特征筛选时,可以迭代这个过程。
比如,每次循环剔除20个变量,再run下一次xgb多次重要性,如此循环,直到保留的变量小于设定的变量个数。
8)max_depth一般取值在(3~10],才能让模型学习充分,过拟合的参数可以在其他参数上调整设置。以iv最大化的smbinings(R里面的方法)会造成每个箱的分到的数据量差异很大。容易分比较少的类别,影响最终的分数分布情况。分类非常少时,很多分数会集中起来。所以用等深分箱的时候可能效果会好一些,尽可能多分一些类别(保证单调的情况下),虽然iv值可能偏小。
使用smote过抽样时,会使分布稍微均匀,且均值会往右偏(客户总体会偏坏?),所以尽量不要使过抽样离原始好坏分布差异太大。
经验证,smote会是模型对样本外效果不好。慎用!!!PCA是在寻找能使数据更加分散方差更大的线性超平面,因此对线性分布的数据效果更好。所以pca降维时候我一般选意义相近相关性强的数据(且要看其数据分布特征)。
数据去重以及如何选择划分会影响模型效果。
对总体数据集使用交叉验证,来选择效果最好的样本切分。为了对比两个数据,同时输出图和表
offline = pd.read_csv('dat1.csv')
offline.rename(columns = {'v1':'score_1'},inplace=True)
online = pd.read_excel('dat2.xlsx')
online.rename(columns = {'v2':'score_2'},inplace=True)
plt.figure(figsize=(6,4))
sns.kdeplot(offline['score_1'].astype(float),label = 'offline')
sns.kdeplot(online['score_2'].astype(float),label = 'online')
tem_1 = offline["score_1"].describe().reset_index()
tem_2 = online['score_2'].describe().reset_index()
tem = tem_1.merge(tem_2,on='index',how = 'left')
tem[['score_1','score_2']] = tem[['score_1','score_2']].applymap(lambda x:round(x,2))
table_ = plt.table(cellText = [['offline','online']]+tem[['score_1','score_2']].values.tolist(),
colWidths=[0.15]*2,rowLabels = [' ']+tem['index'].tolist(),loc='right')
table_.set_fontsize(14)
table_.scale(1.6,2.02)
color_list = ['#d65a31','#40bfc1','#b7e778','#5edfff']
plt.figure(figsize=(6,4))
联邦学习
概念:两个数据机构在保密各自数据的前提下进行模型训练
目的:在保障大数据交换时的信息安全、保护终端数据和个人数据隐私、保证合法合规的前提下,在多参与方或多计算结点之间开展高效率的机器学习。(提高效率还是增强模型判断力)
分类:
横向联邦学习:两个数据集的用户特征重叠较多,而用户重叠较少的情况下,我们把数据集按照横向(即用户维度)切分,并取出双方用户特征相同而用户不完全相同的那部分数据进行训练。相当于增加了训练样本。
纵向联邦学习:两个数据集的用户重叠较多而用户特征重叠较少的情况下,我们把数据集按照纵向(即特征维度)切分,并取出双方用户相同而用户特征不完全相同的那部分数据进行训练。相当于增加了特征维度。
迁移联邦学习:用户与用户特征重叠都较少的情况下,我们不对数据进行切分,而利用迁移学习国来克服数据或标签不足的情况。
应用场景:
问题:双方获益相同吗?如何将字符串转化为dataframe
'a:1,b:2,c:3'
pd.DataFrame([[dict(zip(['id']+[x.split(':')[0] for x in v.split(' ')] , ['k']+[x.split(':')[1] for x in v.split(' ')] )) ][0] for k,v in zip(df['id'],df['var_detail']) if v!='-999' ])