大师兄的数据分析学习笔记(十二）：特征预处理（三）

大师兄的数据分析学习笔记(十一）：特征预处理（二）
大师兄的数据分析学习笔记(十三）：特征预处理（四）

四、特征变换

特征变换就是根据数据特征的特性，进行一定方式的转换，使特征能够发挥出他的特点。
特征变换变化的方式有很多种，常见的方式如下：

1. 对指化

对指化就是对数据进行指数化和对数化的过程。

1.1 指数化

指数化就是将一个数值进行指数变换的过程。
指数的底数一般取自然指数 $e$ 。
从上图中可以看到，自然指数的底数函数中大于零的部分，x轴表示的自变量变化较小，而y轴的变化较大。
也就是说将数据大于零部分的值之间的差距被放大了。

>>>import numpy as np

>>>nums = np.arange(0.1,1, 0.1)
>>>print(nums)
[0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9]
>>>print(np.exp(nums))
[1.10517092 1.22140276 1.34985881 1.4918247  1.64872127 1.8221188
 2.01375271 2.22554093 2.45960311]

1.2 对数化

对数化就是将一个数值进行对数变换的过程。
对数的底通常取自然指数 $e$ 、10或2。
其操作与指数化基本是相反的，可以将值之间的差距缩小。

>>>import numpy as np

>>>nums = np.arange(100000, 1000000, 100000)
>>>print(nums)
[100000 200000 300000 400000 500000 600000 700000 800000 900000]
>>>print(np.log(nums))
[11.51292546 12.20607265 12.61153775 12.89921983 13.12236338 13.30468493
 13.45883561 13.59236701 13.71015004]

2. 离散化

数据离散化是将连续数据变换成离散数据的操作，一般是将连续变量分成几段。
数据之所以需要被离散化，是基于以下原因：

为了克服数据本身的缺陷，比如派出连续数据中的噪声，可以离散后用一部分去做比较。

某些算法的属性必须是离散值，比如朴素贝叶斯算法。

数据的非线性映射需求，比如连续数据中心明显的拐点或不同的数值区间，可能代表不同的意义。

常用的数据离散化方式包括：等频分箱、等距分箱和自因变量优化三种方式。

2.1 等身分箱

等身分箱会将数据分成n份，并将每份之内的数据与距离较近的边界对齐。

>>>import numpy as np
>>>import pandas as pd

>>>data = np.random.randint(1,100,20)
>>>print(data)
[60 61 74 29 21 88 39 95 45 61 15 85 21 52 30 21 97 69 48 40]
>>>pprint.pprint(list(pd.qcut(data,q=3)))
[Interval(39.333, 61.0, closed='right'),
 Interval(39.333, 61.0, closed='right'),
 Interval(61.0, 97.0, closed='right'),
 Interval(14.999, 39.333, closed='right'),
 Interval(14.999, 39.333, closed='right'),
 Interval(61.0, 97.0, closed='right'),
 Interval(14.999, 39.333, closed='right'),
 Interval(61.0, 97.0, closed='right'),
 Interval(39.333, 61.0, closed='right'),
 Interval(39.333, 61.0, closed='right'),
 Interval(14.999, 39.333, closed='right'),
 Interval(61.0, 97.0, closed='right'),
 Interval(14.999, 39.333, closed='right'),
 Interval(39.333, 61.0, closed='right'),
 Interval(14.999, 39.333, closed='right'),
 Interval(14.999, 39.333, closed='right'),
 Interval(61.0, 97.0, closed='right'),
 Interval(61.0, 97.0, closed='right'),
 Interval(39.333, 61.0, closed='right'),
 Interval(39.333, 61.0, closed='right')]
>>>print(list(pd.qcut(data,q=3,labels=["l","m","h"])))
['m', 'm', 'h', 'l', 'l', 'h', 'l', 'h', 'm', 'm', 'l', 'h', 'l', 'm', 'l', 'l', 'h', 'h', 'm', 'm']

2.2 等距分箱

与等身分箱相似，等距分箱会将距离相近的数据分成n份。

>>>import numpy as np
>>>import pandas as pd

>>>data = np.random.randint(1,100,20)
>>>print(data)
[93 83 60 87 93 46 69 84 97 60 54 57 18 48 79 97 73 64 17 76]
>>>pprint.pprint(list(pd.cut(data,bins=3)))
[Interval(70.333, 97.0, closed='right'),
 Interval(70.333, 97.0, closed='right'),
 Interval(43.667, 70.333, closed='right'),
 Interval(70.333, 97.0, closed='right'),
 Interval(70.333, 97.0, closed='right'),
 Interval(43.667, 70.333, closed='right'),
 Interval(43.667, 70.333, closed='right'),
 Interval(70.333, 97.0, closed='right'),
 Interval(70.333, 97.0, closed='right'),
 Interval(43.667, 70.333, closed='right'),
 Interval(43.667, 70.333, closed='right'),
 Interval(43.667, 70.333, closed='right'),
 Interval(16.92, 43.667, closed='right'),
 Interval(43.667, 70.333, closed='right'),
 Interval(70.333, 97.0, closed='right'),
 Interval(70.333, 97.0, closed='right'),
 Interval(70.333, 97.0, closed='right'),
 Interval(43.667, 70.333, closed='right'),
 Interval(16.92, 43.667, closed='right'),
 Interval(70.333, 97.0, closed='right')]
>>>print(list(pd.cut(data,bins=3,labels=["l","m","h"])))
['h', 'h', 'm', 'h', 'h', 'm', 'm', 'h', 'h', 'm', 'm', 'm', 'l', 'm', 'h', 'h', 'h', 'm', 'l', 'h']

3. 归一化

归一化实际是将数据转化到0至1之间的范围内。
公式： $x' = \frac{x - x_{min}}{x_{max} - x_{min}}$
根据公式可以看出，如果是最小值，则映射成0；如果是最大值，则映射成1。
归一化有以下好处：

可以直接观察单个数据仙姑低于整体情况的比例。

可以在不同量纲的数据特征之间建立合适的距离度量方法。

>>>import os
>>>import numpy as np
>>>import pandas as pd
>>>from sklearn.preprocessing import MinMaxScaler

>>>df = pd.read_csv(os.path.join(".", "data", "WA_Fn-UseC_-HR-Employee-Attrition.csv"))
>>>age = df.Age
>>>print(MinMaxScaler().fit_transform(np.array(age).reshape(-1,1)))
[[0.54761905]
 [0.73809524]
 [0.45238095]
 ...
 [0.21428571]
 [0.73809524]
 [0.38095238]]

4. 标准化

标准化指的是将数据转换成一个标准的形式。
归一化实际上也是一种标准化。
狭义上的标准化，指的是将数据缩放到均值为0，标准差为1的尺度上，即z-score。
z-score的公式为： $x' = \frac{x - \overline{x}}{\delta}$
z-score可以用来体现数据与该特征下其它数据的相对大小和差距关系。

>>>import os
>>>import numpy as np
>>>import pandas as pd
>>>from sklearn.preprocessing import MinMaxScaler,StandardScaler

>>>df = pd.read_csv(os.path.join(".", "data", "WA_Fn-UseC_-HR-Employee-Attrition.csv"))
>>>age = df.Age
>>>print(StandardScaler().fit_transform(np.array(age).reshape(-1,1)))
[[ 0.4463504 ]
 [ 1.32236521]
 [ 0.008343  ]
 ...
 [-1.08667552]
 [ 1.32236521]
 [-0.32016256]]

5. 数值化

数值化就是把非数值数据转化成数值数据的过程。
从下表可以看出，定类数据、定序数据、定距数据在进行运算时都有可能需要转换：

定类数据	定序数据	定距数据	定比数据
无大小关系	大小关系不好衡量	大小关系可以衡量，但无零点	大小关系可以衡量，有零点
无法进行加减法运算	无法进行加减法运算	有加减法运算，但无乘除法运算	有加减乘除法运算

其中定距数据可以通过归一化的方式消除物理含义，从而具备乘除的能力。
定类数据和定序数据在运算时需要进行数值化。
定序数据的数值化可以采用标签化的方式，也就是直接对数据进行数值标签的转换。

>>>import os
>>>import pandas as pd
>>>from sklearn.preprocessing import LabelEncoder

>>>df = pd.read_csv(os.path.join(".", "data", "WA_Fn-UseC_-HR-Employee-Attrition.csv"))
>>>department = df.Department
>>>print(list(department))
['Sales', 'Research & Development', 'Research & Development', ...,'Research & Development', 'Research & Development']
>>>label = LabelEncoder().fit_transform(department)
>>>print(label)
[2 1 1 ... 1 2 1]

定类数据的数值化需要采用独热编码(One-Hot Encode)的方式，将数据的特征变成矩阵。

>>>import os
>>>import pandas as pd
>>>import numpy as np
>>>from sklearn.preprocessing import LabelEncoder, OneHotEncoder

>>>df = pd.read_csv(os.path.join(".", "data", "WA_Fn-UseC_-HR-Employee-Attrition.csv"))
>>>ef = np.array(df.EducationField).reshape(-1, 1)
>>>encoder = LabelEncoder()
>>>lb_trans = encoder.fit_transform(ef)
>>>oht_encoder = OneHotEncoder().fit(lb_trans.reshape(-1,1))
>>>oht = oht_encoder.transform(encoder.transform(np.array(ef)).reshape(-1, 1))
>>>print(oht.toarray())
[[0. 1. 0. 0. 0. 0.]
 [0. 1. 0. 0. 0. 0.]
 [0. 0. 0. 0. 1. 0.]
 ...
 [0. 1. 0. 0. 0. 0.]
 [0. 0. 0. 1. 0. 0.]
 [0. 0. 0. 1. 0. 0.]]

6. 正规化

正规化就是将一个向量的长度正规到单位1。
如果距离尺度的衡量用 $L_1$ 距离，公式如下： $x' = \frac{x_i}{\sum_{j=1}^n{|x_j|}}$
如果距离尺度的衡量用 $L_2$ 距离，公式如下： $x' = \frac{x_i}{\sqrt{\sum_{j=1}^n{|x_j|^2}}}$
正规化的用法如下：

直接用在特征上。

用在每个对象的各个特征的表示（特征矩阵的行）。

模型的参数。

>>>import os
>>>import pandas as pd
>>>import numpy as np
>>>from sklearn.preprocessing import Normalizer

>>>df = pd.read_csv(os.path.join(".", "data", "WA_Fn-UseC_-HR-Employee-Attrition.csv"))
>>>es = np.array([df.EnvironmentSatisfaction])
>>>l1 = Normalizer(norm="l1").fit_transform(es)
>>>print(l1)
[[0.00049988 0.00074981 0.00099975 ... 0.00049988 0.00099975 0.00049988]]
>>>l2 = Normalizer(norm="l2").fit_transform(es)
>>>print(l2)
[[0.01778568 0.02667853 0.03557137 ... 0.01778568 0.03557137 0.01778568]]

大师兄的数据分析学习笔记(十二）：特征预处理（三）

四、特征变换

1. 对指化

1.1 指数化

1.2 对数化

2. 离散化

2.1 等身分箱

2.2 等距分箱

3. 归一化

4. 标准化

5. 数值化

6. 正规化

推荐阅读更多精彩内容