X[:,0]是numpy中数组的一种写法，取数组的索引，表示对一个二维数组，取该二维数组第一维中的所有数据，第二维中取第0个数据，直观来说，X[:,0]就是取所有行的第0列个数据, X[:,1] 就是取所有行的第1列个数据。

temp.index = temp.pop("date")     temp.pop原有列字段的数据挪出来 做索引

insert()方法语法：list.insert(index, obj)    参数  index -- 对象     obj 需要插入的索引位置。    obj -- 要插入列表中的对象。

resharp（1，-1）样本转化成行向量形式 -1是推断操作

[axis=0代表列，axis=1代表行

KMeans(n_clusters=2,random_state=1) n_clusters样本分几堆  random_state使每次随机结果保持一致

例： loc[n]表示索引的是第n行（index 是整数） loc[‘d’]表示索引的是第’d’行（index 是字符） 2. .iloc   ：通过行号获取行数据，不能是字符 3.  ix——结合前两种的混合索引

np.random.seed 设置相同的seed，则每次生成的随机数也相同，如果不设置seed，则每次生成的随机数都会不一样

umpy.random中shuffle与permutation的区别        函数shuffle与permutation都是对原来的数组进行重新洗牌（即随机打乱原来的元素顺序）；区别在于shuffle直接在原来的数组上进行操作，改变原来数组的顺序，无返回值。而permutation不直接在原来的数组上进行操作，而是返回一个新的打乱顺序的数组，并不改变原来的数组。

逻辑回归 from sklearn.linear_model import LogisticRegression       函数  predict    predict_proba

以及三种括号如何使用，如何表示矩阵：1.小括号：表示一个tutle元组，这是一个不可更改的数据表示，只能读取  2.中括号：定义一个list列表，这里注意不能用list来表示我们常说的“数组”，数组的定义需要用到numpy,例如你定义一个变量：a=[[1,2,3],[4,5,6],[7,8,9]]这也只是表示a是个元素的list变量的list，不可以用a[:,:]的形式来提取值，而可以使用a[0][1]这样的形式。但是，数据的寻找是逐步的，所以a[:][1]和a[1][:]是用一种结果3.大括号：代表dict字典数据类型，字典是由键对值组组成。冒号':'分开键和值，逗号','隔开组。

print titanic.describe() 查看所有特征

unique 某一特征下的属性详细包含

from sklearn.cross_validation import KFold 交叉验证

from sklearn.feature_selection import SelectKBest, f_classif选出哪个特征最重要

value_counts 特征值得个数统计

len() 方法返回列表元素个数 样本个数

unique

roc_curve

roc_auc_score

reset_index

cross_val_score

groupby

scatter_plot_by_category

drop参数

get_dummies

notnull

isnull

logspace

np.concatenate

columns.tolist() 查看特征所有名

交叉验证

shuffled 重新洗牌

5 numpy 用于做矩阵 excel行和列就是矩阵

一维表，就是在工作表数据区域的顶端行为字段名称(标题)，以后各行为数据(记录)，并且各列只包含一种类型数据的数据区域。维表每个数据都只有一个对应值，而二维表每个数据有两个对应值。每一列都是独立的参数那就是一维表，如果每一列都是同类参数那就是二维表。为了后期更好地创建各种类型的数据透视表，强烈建议用户在数据录入时，采用一维表形式的数据录入，避免采用二维表的形式对数据进行录入。

numpy中一维数组用一个中括号 二维用两个

变量.shap 看数组的结构

np.genformtxt 打印出表格每一行数据

取一行的其中一个数据  变量名[1,4]  取所有列[:1] 所有行 第一列  [:0:2] 取0和2两列  print(变量拍[suoyin==10]) 打印出array的布尔值

找出等于25的行数据。。

7    变量名.astype(float)  改变数据类型    矩阵求和 matrix.sum(axis=1)代表行

8    矩阵变换 

向量变成矩阵

.size 矩阵中有多少数值  np.zeros((3,4)) 初始化为0的矩阵  np.ones((2,3,4)) 都为一的3维矩阵。np.random.random(2,3)调用random模块下的random函数    np.linespace 随机造数

每个数值做一个平方操作。

np.range(10,30,5) 范围。起点为10，终点为30间隔为五。。

9    a.ravel 矩阵变成向量

10.不同复制操作对比

11 pandas 数据处理应用   print(变量名.columns)

    12  print(变量名.loc[0]) 取第一行第零个数据。 loc[4:3]    取列的数据。print(变量名[“列名”])用列名进行定位。增加列以及数值重要。 新建列变量名["新列名"]

    13     tainan["age"][age_is_null==false]  去掉缺失值,提出有值的项

row_index_83_age  第83个样本值是多少？。

14     剔除缺失值  good_ages = titanic_survival["Age"][age_is_null == False]

pivot_table量与其他量关系的函数 index以谁为基准 aggfunc统计与什么之间的关系   aggfunc统计两个之间的什么关系 不写表示求均值       port_stats = titanic_survival.pivot_table(index="Embarked", values=["Fare","Survived"], aggfunc=np.sum)

print(port_stats)

15 apply自定义函数 功能未提供 所以自己写的函数 titanic_survival.apply(not_null_count)  

统计哪一列有空值个数   pd.isnull(column)

28 三个特征之间用直方图。特征与特征之间用散点图。

35 有监督学习。分类问题。分类猫和狗。做法要执行的时候有一个标签纸。猫和狗分别打标签是有监督的学习。摸个狗混在一起，要分类出来是无监督学习。最终预测出一个具体的值就是回归。分类是一和零的问题。是有还是无

35-38线性回归推导。x1 x2代表工资和年龄两个特征。Θ1Θ2是对x1x2的影响程度。hΘ银行最终会借多少钱？由x1x2决定。X1x2由Θ1Θ2决定 相当于wx+b。  Θ0 转换成矩阵格式 变成增加一个列为1的特征值。公式化转后x是列向量。Θ转制是行向量。行与列相乘得hΘ值。 y是标签值。

np.linalg.inv() 矩阵求逆 mat=x.T.dot(...)是先求这个3*3矩阵的转置（.T），再求与点积(.dot)点积就是矩阵各个对应元素相乘, 这个时候要求两个矩阵必须同样大小。

https://zhidao.baidu.com/question/811675877155828172.html

39 逻辑回归。做一个分类任务。sigmod把特征值转化成零到一区间的概率纸。

40梯度下降。一个最优化算法，梯度下降的方向就是用负梯度方向为搜索方向，沿着梯度下降的方向求解极小值。

https://blog.csdn.net/chengqiuming/article/details/80187824

Θ0截距 Θ1斜率

41-46决策树  为达到目标定出的条件，选择其概率的优先度。

 解决分类问题和回归问题 如：是否相亲成功 熵:表集合的混乱程度     gini系数：信息增益率=信息增益/自身的熵值 率值越高越好

H(T) 叶子节点的熵值 Nt 叶子节点的样本数 （权重值）gini也相当于熵值

决策树(Decision Tree)是在已知各种情况发生概率的基础上，通过构成决策树来求取净现值的期望值大于等于零的概率，评价项目风险，判断其可行性的决策分析方法，是直观运用概率分析的一种图解法  决策树是一个预测模型，他代表的是对象属性与对象值之间的一种映射关系。其中每个内部节点表示一个属性上的测试，每个分支代表一个测试输出，每个叶节点代表一种类别。是监督学习就是给定一堆样本，每个样本都有一组属性和一个类别，这些类别是事先确定的，那么通过学习得到一个分类器，这个分类器能够对新出现的对象给出正确的分类。

不同决策树算法的划分方法。

ID3系列算法：使用信息熵作为集合纯度的评估  信息增益的缺点是倾向于选择取值较多是属性，在有些情况下这类属性可能不会提供太多有价值的信息。 ID3算法只能对描述属性为离散型属性的数据集构造决策树 。

CART算法：使用GINI系数作为集合纯度的评估：

https://www.sohu.com/a/208748892_716346

https://www.sohu.com/a/155545922_609133

https://blog.csdn.net/ruggier/article/details/78756447

46 决策树剪枝。防止过拟合 样本数少特征数多容易过拟合   方法：预剪枝 后剪枝     47随机森林模型。解决决策树的过拟合现象  48决策树参数。交叉验证

49-53贝叶斯推导及实例。

54-59     支持向量机

61至75。K近邻,三基本要素:K值的选择,距离度量,分类决策。

image转化成数据XxYxZ，W找一些权重参数，得出每个类的得分

超参数。交叉验证。得分函数。损失函数。正则化惩罚项。惩罚权重不均匀的项

softmax分类器。

exp 做e的x次幂 放大数值 突出好坏特征明显 再做标准化 变概率值 

sigmod函数。梯度下降。

过程：x值通过w参数得到得分值 ，再e的x次幂做归一。得到类别概率值。就可求loss值。就可进行最优化。x到loss的过程就是显像传播的过程

学习率。反向传播。

由loss往回传 算什么样的w值该更新 更新多大。最优化是在反向传播中体现出来的。反向传播中最重要的。就是更新权重参数。。

神经网络。激活函数。如果实例中。线性函数分不开样本点。要是用激活函数来分。sigmod             digw3[sig w2[sig[w,x1]]]  但是是sigmod会产生梯度消失。所以被淘汰了这个用法。relu替换。

过拟合。w值内部神经元数据无法展现出。神经元就相当于w参数个数。导致训练与测试与相差很大。λ （lambda） 郑则惩罚项。解决过拟合问题。

数据预处理。

W不能用铃铛初始。b用零做初始化是可以的。

权重初始化。dropout。

x作为全连接操作。容易出现过拟合。dropout每次只贷60%。随机选取。可降低过拟合风险。

卷积神经网络。

76-81 xgboost 

使用多颗树 用不同的特征 每个相当于一个分类七。每家一棵树需要效果得到提升。。。。每个叶子节点给予的分值。最后将相同叶子结点的得分值相加。不能让叶子结点个数更多。加入惩罚项损失函数。

目标函数。

82 adaboost

83至86。自然语言处理。

88 softmax

89 90cbow

91 梯度上升。

92负采样。

95无监督学习

95，96 kmeans

97-98 k近邻算法

98

99-100 kca

101 102svd

 dot()函数是矩阵乘,而*则表示逐个元素相乘一

52邮件过滤

73

小写的θ是：数学上常代表平面的角

---------------------------

实例

104   lr = LinearRegression()    lr.fit(cars[["weight"]], cars["mpg"])   lr.fit（inputs,outut）inputs:原数据转换成fit格式的矩阵，行是样本 列是每一个特征  output标签值

实例  lr = LinearRegression()    ①lr.fit(X, y, sample_weight=None)  ②predictions = lr.predict(X)

对模型预测好坏的评估  用均方误差法 （预测值-真实值）**2

mse = mean_squared_error(cars["mpg"], predictions)    rmse = mse ** (0.5)  mean_squared_error(预测值，真实标签值) 标签值：预测的参考

105 逻辑回归

两步 Wx算出得分值S，再转换成正数值。再压缩到0-1的区间上。（W权重参数 x特征值）

from sklearn.linear_model import LogisticRegression    logistic_model = LogisticRegression()    logistic_model.fit(admissions[["gpa"]], admissions["admit"])    计算概率值   pred_probs = logistic_model.predict_proba(admissions[["gpa"]]) 想查看表

106如何评判模型

print(predicted_label.value_counts())  value_counts确认数据出现的频率。    

预测值==真实值 那么就是预测对了 求精度概率值accuracy = len(correct_predictions) / float(len(admissions))   但精度预测也不靠谱 所以。。。

以上公式表示检测模型正类效果

检测负例效果

true_positive_filter = (admissions["predicted_label"] == 1) & (admissions["actual_label"] == 1)    true_positives = len(admissions[true_positive_filter])   

 false_negative_filter = (admissions["predicted_label"] == 0) & (admissions["actual_label"] == 1)    false_negatives = len(admissions[false_negative_filter])

sensitivity = true_positives / float((true_positives + false_negatives))  检验正类的效果有多少    0.127049180328 100人88人应该被录取 但模型没给录取

0.9625负类检测效果好 应该被拒 实际也被拒

107  

admissions["actual_label"] = admissions["admit"] 创建actual_label列 ，值采用admit的值   

admissions = admissions.drop("admit", axis=1)删除damit列 axis索引为1

#返回一个新的打乱顺序的数组（） 元数据可能以升序等方式排列 ）shuffled_index = np.random.permutation(admissions.index)  permutation返回index值

#划分测试数列集  train = shuffled_admissions.iloc[0:515]     接下来用划分的数据集来训练测试  model.fit(train[["gpa"]], train["actual_label"])    labels = model.predict(test[["gpa"]])        如果训练测试结果相差大 就是过拟合

probabilities = model.predict_proba(test[["gpa"]])  predict_proba求预测的概率值  #roc_curve曲线  fpr, tpr, thresholds = metrics.roc_curve(test["actual_label"], probabilities[:,1]) 参数实际值，预测的概率值    thresholds 预值  fpr, tpr要求图形的面积越大预测效果越好            #求曲线面积值  auc_score = roc_auc_score(test["actual_label"], probabilities[:,1])

108 交叉验证

admissions.ix[0:128, "fold"] = 1  数据切5份  自动建立个新列 fold=1表第一个块的数据

kf = KFold(len(admissions), 5, shuffle=True, random_state=8)

lr = LogisticRegression()

#cross_val_score交叉验证，返回验证一个结果 参数lr加载一个模型，加载数据，标签，返回的结果可以是精度值accuracies或面积值roc_auc等等，cv要求几倍的交叉验证

kf = KFold(len(admissions), 5, shuffle=True, random_state=8)  len(admissions)=n样本个数  切分块数=5     accuracies = cross_val_score(lr,admissions[["gpa"]], admissions["actual_label"], scoring="roc_auc", cv=kf)     cross_val_score交叉验证  admissions[["gpa"]]=data   admissions["actual_label"]=label  scoring="roc_auc"=返回的结果 也可以用精度accuracy

109 回归用在多类别问题上  转成多个2分类问题  方法：把一个特征用多维度列形式表示

dummy_cylinders = pd.get_dummies(cars["cylinders"], prefix="cyl")  cars["cylinders"]要使用的特征咧 prefix起名为cyl   cars = pd.concat([cars, dummy_cylinders], axis=1)  concat把元数据连接在一起

highest_train_row = int(cars.shape[0] * .70)70%做测试集train =shuffled_cars.iloc[0:highest_train_row]

将数据拿到手 unique_origins = cars["origin"].unique()   再听吧

110  print (kobe.shape)数据总数  kobe = raw[pd.notnull(raw['shot_made_flag'])]  notnull不为空的列都保留下     print(kobe.action_type.unique())打印某特征值中包含的多个属性    print(kobe.shot_type.value_counts())每个属性的个数

112  数据预处理  对机器无法是别的特征值转换  raw['season'] = raw['season'].apply(lambda x: int(x.split('-')[1]) )        lambda 写命名函数 对数值切分  

pd.DataFrame({'matchup':kobe.matchup, 'opponent':kobe.opponent})  传进2个列 起名matchup

plt.scatter(raw.dist, raw.shot_distance, color='blue')两个特征完全正相关  只取一个做特征就好

兰浩特get_dummies 分多类属于的为1 不属于的为0 pd.get_dummies(raw['combined_shot_type'], prefix='combined_shot_type')[0:2]   combined_shot_type起前缀名 

随机森林 range_n参数 要构造多少棵树 不知道 先取一个范围 range_m树的深度 不过拟合选多少一个个试rfc = RandomForestClassifier(n_estimators=n)

115 tatanic 数据预处理  

print (titanic.describe()) 查看所有数据 缺失值填充 取均值 titanic["Age"] = titanic["Age"].fillna(titanic["Age"].median())  fillna 函数   填充方法median()         字符串的量值转成数字0,1   titanic.loc[titanic["Sex"] == "male", "Sex"] = 0

116预测    先提取特征 做交叉验证  训练。   想知道某人是否获救   predictions[predictions > .5] = 1  预测与真实值相等的个数   accuracy = sum(predictions[predictions == titanic["Survived"]]) / len(predictions)    0.787878787879  精准度78%   用逻辑回归得出概率值结果两者差不多

117 用回归做比较初级 ，接下来用随机森林　参数调优要多花费时间 当数据调整不上去了 就换或增加一些数据特征  

118衡量挑选有价值的特征

from sklearn.feature_selection import SelectKBest, f_classif 基于SelectKBest库操作        selector = SelectKBest(f_classif, k=5)    #"Survived" 作为label值，衡量重要性selector.fit(titanic[predictors], titanic["Survived"])  

用多分类器去做 看看效果好的比例

algorithms = [[GradientBoostingClassifier(random_state=1, n_estimators=25, max_depth=3), ["Pclass", "特征项",]],        [LogisticRegression(random_state=1), ["Pclass", "特征项"]]]

分别作训练和测试 再把两个预测值取平均test_predictions = (full_test_predictions[0] + full_test_predictions[1]) / 2

119 案例还款率分类任务  count_classes = pd.value_counts(data['Class'], sort = True).sort_index()图表查看两类的比例  样本不均衡解决方案 过采样（少的增多）和下采样（多的减少）

先要将特征分布差异调整到差不多不能有的1，有的400  所以 from sklearn.preprocessing import StandardScaler  在preprocessing预处理模块导入StandardScaler 标准化模块  

data['normAmount'] = StandardScaler().fit_transform(data['Amount'].reshape(-1, 1))

data = data.drop(['Time','Amount'],axis=1)    fit_transform对数据进行变换  reshape(-1, 1)  -1让模块自己去猜 自动识别  操作后加入新特征normAmount

121 下采样X = data.ix[:, data.columns != 'Class']  y = data.ix[:, data.columns == 'Class'] 数据做切分         number_records_fraud = len(data[data.Class == 1]) .Class的数 为true的取出来    fraud_indices = np.array(data[data.Class == 1].index)数据拿到手 样本等于1的用index取出来        normal_indices = data[data.Class == 0].index把等于0的index索引拿出来        random_normal_indices = np.random.choice(normal_indices, number_records_fraud, replace = False)    random.choice随机选择（参数：选择的范围，选择的个数，replace ：是否用代替）        np.concatenate 0和1数据合并

122 交叉验证 数据80训练 20验证  80训练中分三份 1,2训练3验证  13练2验证 23练1验证 再3次的结果取平均 目的让数据不偏激 模型参数选择合理性

from sklearn.cross_validation import train_test_split  cross_validation 交叉验证模块  train_test_split数据集切分   train_test_split(X,y,test_size = 0.3, random_state = 0) test_size 切分比例 random_state数据洗牌操作，随机切分 

接下来用下采样训练 测试用原始数据的测试集部分 30%

123 recall 负样本 未检测出的患癌数重要，对其重查

124正则化惩罚  惩罚力度  lr = LogisticRegression(C = c_param, penalty = 'l1')  c_param表示惩罚力度  param选择惩罚模型l1 l2

125 from sklearn.cross_validation import KFold, cross_val_score  KFold规定做几倍交叉验证切几份自己定  cross_val_score  验证评估结果         from sklearn.metrics import confusion_matrix,recall_score,classification_report  ·confusion_matrix        

126 confusion_matrix混淆矩阵  预测与真实值的比较   x,y=1 TP正类 FN x=0y=1 TP,FN对recall有影响     x=1y=0 本来没异常发生 误抓，使精度偏低（精度计算：x0y0+x1y1/x1y0+x0y1）  x=0y=1有样本未检测到

127   逻辑回归阈值  predict_proba >=0.1    阈值设的大误杀率高>=0.9  0.4-0.6范围有检测不到样本情况  实际应用中根据误判容忍度选择值

128.SMOTE过采样     from imblearn.over_sampling import SMOTE          oversampler=SMOTE(random_state=0)实例化对象 过采样   os_features,os_labels=oversampler.fit_sample(features_train,labels_train)

１２９文本分析

重要词程度决定法

131提取数据   content = df_news.content.values.tolist()  把content列拿出来 再转换成tolist格式  

current_segment = jieba.lcut(line)  lcut进行分词  

df_content=pd.DataFrame({'content_S':content_S})  DataFrame把分词写在表格 

132  数据清洗  stopwords=pd.read_csv("stopwords.txt",index_col=False,sep="\t",quoting=3,names=['stopword'], encoding='utf-8')

停用词表 if word in stopwords:   continue   line_clean.append(word)    all_words.append(str(word))

出现就过滤掉continue    没出现就拿过来append        df_all_words=pd.DataFrame({'all_words':all_words})看一下出现了哪些词

words_count=df_all_words.groupby(by=['all_words'])['all_words'].agg({"count":numpy.size})  groupby统计词出现的次数

print (" ".join(jieba.analyse.extract_tags(content_S_str, topK=5, withWeight=False)))  extract_tags提取关键词   content_S_str传入结果   topK返回结果数

133 想知道主题里包含了哪些关键词

134 贝叶斯分类器对新闻分类        df_train.label.unique()展示分类一共的词 不重复的值 

做映射电脑只认数字  label_mapping = {"汽车": 1, "财经": 2, "科技": }  df_train['label'] = df_train['label'].map(label_mapping)  label值替换用map将label_mapping传进去

from sklearn.feature_extraction.text import CountVectorizer 把一句话转换成向量

136 时间序列

rng = pd.date_range('2016-07-01', periods = 10, freq = '3D')         index=pd.date_range(dt.datetime(2016,1,1),periods=20))指定索引为天  print(time['2016-01-15'])打印天就可直接调数据出来        #时间戳pd.Timestamp('2016-07-10')

138时间窗口  r = df.rolling(window = 10)     print(r.mean())求均值

139.数据平稳性arima与差分法 用于根据历史数据预测未来 或未来降雨量  数据必须有惯性特征如果16年和17年分布不一样 就不能用 平稳性要求均值方差不发生明显变化

要求曲线波动不十分剧烈

sentiment_short['UMCSENT'].diff(1)    sentiment_short取到有数值的一列  diff相减的时间间隔

151  贷款预测

print(loans_2007.iloc[0]) 显示所有特征第一行   print(loans_2007.shape[1]) 列数统计

value_counts统计每个特征出现次数

153  模型预测 不能用精度  要用recall  重要盯住 FP 这孙子不能还，却借给了 代表亏损  要降低这个值 TP能还也借了 代表收益 要提高这个值 

１５４　数据样本不均衡会导致两个值的预测都很高 6:1  可以降低tp的样本权重是1 升高fp权重为6

penalty = {    0: 5,   1: 1}    lr = LogisticRegression(class_weight=penalty)  自定义权重比例自定 5:1  class_weight

也可以随机森林预测等方法  寻找更好方法

156 客户流失    数据预处理  1 数据取值范围统一化 x-min/max-min 或标准化[-1,1]之间压缩preprocessing.StandardScaler()       2 去除字符串 0-1化     看数据是否均衡   接下来交叉验证 for形式模板 只换分类器名就行  接下来用多个分类器玩 knn  svc rf  并算精度  每个分类器的预测与实际相同比例  精度值不能表现问题 应关注 预测没流失 却流失的数据  求得数据来比较哪个分类器好  MAP比较 面积看哪个好

159  流失优先级操作

162  red card   数据查看   df.shap  df.head()  df.describe().T   df.dtypes    df.columns.tolist()

同一属性特征下有多重数据 看没种的均值 用groupby       grouped = df2['data1'].groupby(df['key1'])   grouped.mean()

163  相似属性归类  特征值是否有重复检查  all_cols_unique_players[all_cols_unique_players > 1].dropna().head()      all_cols_unique_players[all_cols_unique_players > 1].dropna().shape[0] == 0  

164查看缺失值 msno.matrix(players.sample(500),   figsize=(16, 7),  width_ratios=(15, 1)) 用插件 

或自己统计players = players[players.rater1.notnull()]  players.shape[0]

pandas_profiling.ProfileReport(players)包 自动统计数据 很有用

170 slice可以根据变量进行各种切分    variable_slice(data, 'total_pop').head()   variable_slice不同国家人口变化情况  

172   recent[['total_pop', 'urban_pop', 'rural_pop']].apply(scipy.stats.skew)    scipy偏度的计算

177  一组数据中最大值与最小值相差巨大，如何归一化

178.应用聚类算法得出异常IP点  多特征权重