介绍如何在R语言中进行特征工程（未完待续）
建议在R语言中亲自实践
总述
特征工程可以帮助我们提升模型的表现，但是这是一个有些玄学的东西，因为没有一种具体的、结构性强的处理方法。很多人都有一些秘而不宣的小技巧。我的体会是，对于数据比赛和发论文来说，这是一个利器。但是对于商业应用来说有些鸡肋，因为不太符合成本收益分析。
有一点要特别强调，当你的数据量不够多时，特征工程非常重要。一旦数据量足够大以后，它就不那么重要了，这是因为像神经网等模型充分训练以后可以充分提取特征。
尽管这是一个玄之又玄的东西，我们还是要掌握一些常规的方法。通常情况下，特征工程总是伴随着可视化，于是我们的ggplot2可以派上用场了。
数据准备
我们的数据来源于kaggle竞赛https://www.kaggle.com/c/mercedes-benz-greener-manufacturing/data，可以自由下载。
我们观察数据，会发现这个数据集由0-1数据和类别数据（x0-x8)构成。把他们分离。
library(tidyverse)
dir_train <- 'F:/Mine/R/FE/test.csv'
dir_test <- 'F:/Mine/R/FE/test.csv'
train <- read_csv(dir_train)
test <- read_csv(dir_test)
# 我们用read_csv()读入tibble格式，此时文件路径不能含有中文，否则会报错。而传统的read.csv()则是可以的。
data_all <- rbind(train, test)
categorical_vars = paste0('X', c(0,1,2,3,4,5,6,8))
categorical_data <- df_all %>% select(one_of(categorical_vars))
# one_of(): variables in character vector ; select(): choose columns
binary_data <- data_all %>% select(-one_of(categorical_vars))
Missing Data
这个数据集很完整，不需要处理数据缺失，我们将在另外的文档中展示这一功能。为保证特征工程的完整性，我们暂且加上它。
One-hot encoding
首先说一说什么是热独码。这是一种把种类数据转换为0-1矩阵的方法，很常见。
使用one-hot encoding前：
代码实现如下：
library(caret)
# perform one-hot encoding
dmy <- dummyVars(~., data = categorical_data)
ohe_features <- data.frame(predict(dmy, newdata = categorical_data))
data_all <- cbind(data_all, ohe_features)
binary_data <- cbind(binary_data, ohe_features)
binary_data_train <- binary_data[1:nrow(train), ]
binary_data_test <- binary_data[(nrow(train)+1):nrow(binary_data),]
同时，我们还可以给0-1矩阵画图，以下代码实现了这一功能：
image(as.matrix(ohe_features), col=c("white", "black"))
# 主要的画图函数，横坐标是样本，纵坐标是所有的类别。被映射到[0,1]上。
n_levels <- apply(categorical_df, 2, function(x){length(unique(x))})
# 计算类的数量
n_levels <- n_levels/sum(n_levels)
# 归一化
abline(h=cumsum(n_levels), col="red")
text(0.05, cumsum(n_levels)-.025, names(n_levels), col="red")
# 标定类
abline(v=0.5, col="darkgreen")
# 0.5表示训练集和测试集五五开，应视实际情况选取
text(0.22, 0.025, "Train", col="darkgreen")
text(0.72, 0.025, "Test", col="darkgreen")
解读：在这个例子中，X5值得我们关注。这表明观察结果也许不是随机选择的。X5可能是一个测试参数，在几次连续的测试运行中保持不变。这表明观察的时间顺序。
这样，我们完成了one-hot encoding。
Hierarchical Clustering（分层聚类）
这里聚合0-1变量并使用不同聚类索引作为新特征。使用Jaccard的距离。
library(proxy)
# compute distance matrix
jdist <- proxy::dist(binary_data, method = "Jaccard")
# perform hierarchical clustering
hc <- hclust(jdist)
# get all clusterings with 2 up to max_k clusters
max_k <- 50
clusters <- data.frame(sapply(2:max_k, function(k){ cutree(hc,k) }))
# 聚类的信息都储存在clusters中
colnames(clusters) <- paste0("hc_group_", 2:max_k)
# add lines for each cut in the dendrogram
plot(hc, hang = -1, labels = FALSE, xlab = "", ann=FALSE)
cuts <- sort(hc$height, decreasing = TRUE)[2:max_k]
abline(h=cuts, col=alpha("red",0.3))
这样，我们把类作为新的特征即可。有关聚类的更多细节，我们会专题学习。
Principal Component Analysis (PCA)
PCA也是烂大街的一种方法，具体说来就是把高维度特征精华一下，浓缩到相对低维，而又不损失太多信息。这种方法听起来不错，用起来就差强人意。不过还是比没有强那么一些。
# perform pca
res_pca <- prcomp(binary_data_train)
pca_features <- predict(res_pca, newdata = binary_data)
# proportion of explained variance
importance_pca <- summary(res_pca)$importance
结果如下：
可以画成这种，用ggplot2自己完成即可。
注：
参数的意义依次为标准差、方差贡献率、累计方差贡献率。
Logistic PCA
用于0-1数据降维的更合适的方法称为Logistic PCA。与普通PCA不同，Logistic PCA最大化伯努利对数似然函数而不是变量线性组合的方差。
对Logistic PCA更详细的解释在“Dimensionality Reduction for Binary Data through the Projection of Natural Parameters”这篇论文中，下载地址为https://arxiv.org/pdf/1510.06112.pdf或者参照https://cran.r-project.org/web/packages/logisticPCA/vignettes/logisticPCA.html。
library(logisticPCA)
library(rARPACK)
# Find the appropriate values for k and m.
# > logsvd_model = logisticSVD(binary_data, k = 20)
# 8418 rows and 368 columns
# Rank 20 solution
# 95.6% of deviance explained
# 397 iterations to converge
#
# > logpca_cv = cv.lpca(binary_data, ks = 20, ms = 1:10)
# m
# k 1 2 3 4 5 6 7 8 9 10
# 20 400428 261586.6 185985 143663.3 118547.4 102668.9 92638.51 85579.33 80440.14 76707.54
k <- 20
m <- 12
logpca_model = logisticPCA(binary_df_train, k = k, m = m)
logpca_features <- predict(logpca_model, newdata=binary_df)
colnames(logpca_features) <- paste0("LPC", 1:k)
这个算法计算量比较大，速度慢一些。
ICA
MCA
总结
最后我们把做好的特征组合起来，喂给我们的模型。这样，通常来说你会得到一个好于直接把数据丢给模型更好的结果。当然，有一点需要铭记：这是经验占据主导地位的一个领域。
参考文献
https://www.kaggle.com/msp48731/feature-engineering-and-visualization/notebook
