1. 项目背景
泰坦尼克号是当时世界上体积最庞大、内部设施最豪华的客运轮船，于1909年3月31日动工建造,，912年4月2日完工试航。于1912年4月10日，在南安普敦港的海洋码头，启程驶往纽约，开始了它的第一次，也是最后一次的航行。泰坦尼克号将乘客分为三个等级：三等舱位于船身较下层也最便宜；二等舱具备与当时其他一般船只的头等舱同样的等级，许多二等舱的乘客原先在其他船只上预定的头等舱，却因为泰坦尼克号的航行，将煤炭能源转移给泰坦尼克号；一等舱是整艘船最为昂贵奢华的部分。
船上时间为1912年4月14日23时40分左右，泰坦尼克号与一座冰山相撞，造成水密舱进水，次日凌晨2时20分左右沉没。2224名船员和乘客中1502人遇难，造成如此巨大的伤亡原因之一是船上没有足够的救生艇供乘客和船员使用。在这次灾难中能否幸存下来难免会有些运气成分，但是有些人比其他人更可能生存下来，比如妇女, 儿童和上层阶级。泰坦尼克号的沉没是世界上最严重的海难事故之一，今天我们通过分类树模型来预测一下哪些人可能成为幸存者。
2.数据来源
数据集来自kaggle（https://www.kaggle.com/c/titanic），从网页上可以下载到3个文件，分别是数据训练文件(train.csv)，数据测试文件(test.csv)，提交数据格式(gender_submission.csv)。
在本项目中，只用到train.csv中的数据。
另外说明的一点，本项目重点在于DecisionTreeClassifier算法在泰坦尼克号幸存者预测项目中的应用，以及对算法模型调参过程，对数据预处理的具体过程不作详细说明解释。
3.项目算法
Sklearn.Tree.DecisionTreeClassifier 决策分类树
4.项目流程
一、导入相关库
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
from sklearn.tree import DecisionTreeClassifier
from sklearn.model_selection import train_test_split
from sklearn.model_selection import GridSearchCV
from sklearn.model_selection import cross_val_score
二、数据预处理
#数据预处理
data=pd.read_csv("C:\\Users\\DRF\\Desktop\\tatanic\\datasets\\train.csv",index_col=0)
data.drop(['Name','Ticket','Cabin'],inplace=True,axis=1)
data['Age']=data['Age'].fillna(data['Age'].mean())
data=data.dropna()
data['Sex']=(data['Sex']=='male').astype('int32')
labels=data['Embarked'].unique().tolist()
data['Embarked']=data['Embarked'].apply(lambda x:labels.index(x))
x=data.iloc[:,data.columns!='Survived']
y=data.iloc[:,data.columns=='Survived']
#划分训练集和测试集
x_train,x_test,y_train,y_test=train_test_split(x,y,test_size=0.3)
#重置索引
for i in [x_train,x_test,y_train,y_test]:
i.index=range(i.shape[0])
三、初步建立模型
clf=DecisionTreeClassifier(random_state=25) #实例化
clf=clf.fit(x_train,y_train) #拟合模型
score=clf.score(x_test,y_test) #评估模型
print(score)
初步建立模型，在未调参的情况下，模型训练后测试评估模型得分为0.79026，得分有待提高，需进一步优化模型。
四、绘制学习曲线探索模型参数
#探索在不同max_depth情况下模型拟合情况
tr=[]
te=[]
for i in range(10):
clf=DecisionTreeClassifier(random_state=25
,max_depth=i+1
,criterion='entropy'
)
clf=clf.fit(x_train,y_train)
score_tr=clf.score(x_train,y_train)
score_te=cross_val_score(clf,x,y,cv=10).mean()
tr.append(score_tr)
te.append(score_te)
plt.figure()
plt.plot(range(1,11),tr,color='red',label='train')
plt.plot(range(1,11),te,color='blue',label='test')
plt.xticks(range(1,11))
plt.legend()
plt.show()
通过绘制学习曲线图可以看出，训练集随着max_depth的增加，得分不断提高；而测试集在max_depth等于3时达到阶段峰值后，分数反而随着节点层数增加逐渐递减；数据在训练集上拟合得很好，但在测试集上却没有有效地提高，说明模型的泛化能力不足，后续须进一步调参提高模型的泛化能力，增加对测试集的拟合程度。
五、网格搜索调整模型参数
clf=DecisionTreeClassifier(random_state=25)
param_grid1={'splitter':('best','random')
,'criterion':('entropy','gini')
,'max_depth':[*range(1,10)]
,'min_samples_leaf':[*range(1,50,5)]
,'min_impurity_decrease':[*np.linspace(0,0.5,20)]
}
GS=GridSearchCV(clf,param_grid=param_grid1,cv=10)
GS.fit(x_train,y_train)
GS.best_params_
GS.best_score_
这一步使用GridSearchCV网格搜索寻找最优参数提高模型的精确度，得到最优参数 criterion= 'gini'，max_depth=8，min_impurity_decrease=0，min_samples_leaf=1，此时模型在训练集上的精确度为0.813504823。
六、评估模型
clf=DecisionTreeClassifier(random_state=25
,criterion= 'gini'
,max_depth= 8
,min_impurity_decrease= 0
,min_samples_leaf= 1
,splitter='random')
clf.fit(x_train,y_train)
clf.score(x_test,y_test)
最后，使用测试集评估模型，最终精确度结果是0.808988。较之前未调参模型精确度0.79026有一定的提高，但提高程度不大。
后续建议：考虑加大网格搜索调参范围进一步找出更优参数，或使用其他算法模型如随机森林、逻辑回归等分类算法来提高对泰坦尼克号幸存者预测的准确度。
