缺失值可视化

1.在GEO数据挖掘过程中，有时取子集会导致生成的子集都是NA。那么是因为代码写错了，或者数据类型没搞清，还有一种情况就是，数据集明明只有5行，可是你却要取出第10行到第20行的数据，那么结果就也都是NA了。NA并不可怕。重新审视代码，修正后，是可以令NA神奇地消失的。所以在GEO数据挖掘过程中，出现NA，我们就先去审视代码。而今天我来学习NA值并不是想要在GEO数据挖掘过程中对NA进行一些R包的处理，而是想要了解下NA值。

当我们面对的数据是比较大量的时候，就需要了解数据集中那些变量有缺失值、缺失的数量、属于那种组合方式等有用信息。此时可以使用mice包中的md.pattern()函数，该函数可生成一个以矩阵或者数据框形式展示缺失值模式的表格，且该函数只需要传入需要判断的数据即可。另外还有使用图形方法这种更直观的方法描述数据的缺失，就是利用VIM包中的aggr()函数实现。VIM包中的scattMiss()函数用线和点来描绘两个变量间缺失值的关系。

image-20191121212355652

> md.pattern(nhanes)
   age hyp bmi chl   
13   1   1   1   1  0
3    1   1   1   0  1
1    1   1   0   1  1
1    1   0   0   1  2
7    1   0   0   0  3
     0   8   9  10 27

上面的第一列的数据表示：

13:完整数据有13行

3:仅chl这一列有缺失值的有3行

1:仅bmi这一列有缺失值的有1行

1:hpy和bmi这两列在相同行均为缺失值的有1行

7:仅age这一列有缺失值的有7行

最后一行的数据含义表示：

0:age这一列一个缺失值都没有

8:hyp这一列共有8个缺失值

9:bmi这一列共有9个缺失值

10:chl这一列共有9个缺失值

27:这个数据框中共有27个缺失值

image-20191121212408010

#代码了解下这个数据
> table(apply(nhanes,1,is.na))

FALSE  TRUE 
   73    27 
> apply(nhanes,2,function(x){sum(is.na(x))})
age bmi hyp chl 
  0   9   8  10 

另外还有使用图形方法这种更直观的方法描述数据的缺失，也可利用VIM包中的aggr()函数实现

aggr(nhanes,delimiter = NULL,plot = T)

image-20191121212415494

matrixplot（）函数可生成展示每个实例数据的图形

matrixplot(nhanes) 
#浅色表示值小，深色表示值大；默认缺失值为红色。

image-20191121212423393

marginplot（）函数可生成一幅散点图，在图形边界展示两个变量的缺失值信息。

marginplot(nhanes[c("bmi","chl")],pch=c(20),col=c("darkgray","red","blue"))  
#数字7代表chl和bmi均含有缺失值的行数
#数字9代表bmi含有缺失值的行数
#数字10代表chl含有缺失值的行数

image-20191121212443008

scattMiss用线和点来描绘两个变量间缺失值的关系.输入参数是一个只包括了两列的数据框或矩阵,输出这两列的缺失值关系图.图上的散点就是X轴为第一个变量,Y轴第二个变量的散点图,与plot的效果一样。

scattMiss(nhanes[,c("bmi","chl")])
#图上的竖线是用第二个变量填补第一个变量的数值线

image-20191121212456834

scattMiss(kNN(nhanes[,c('bmi','chl')]),delimiter = '_imp')
#黄色是填充的值

image-20191121212504663

缺失值插补

大致思路：

1.从一个包含缺失数据的数据框开始，用mice()函数，返回一个包含多个（默认为5个）完整数据集的对象。

2.用with()函数通过对原始数据框中的缺失数据进行插补建模（glm、lm模型）。 由于插补有随机的成分，因此每个完整数据集都略有不同。

3.pool()函数将这些单独的分析结果整合为一组结果。最终模型的标准误和p值都将准确地反映出由于缺失值和多重插补而产生的不确定性。

##插补数据集
library(lattice) #调入函数包
library(MASS)
library(nnet)
library(mice) #前三个包是mice的基础
imp=mice(nhanes,m=4) #4重插补，即生成4个无缺失数据集
fit=with(imp,lm(bmi~hyp,data=nhanes))#选择插补模型
pooled=pool(fit)
summary(pooled)
result4=complete(imp,action=3)#选择第三个插补数据集作为结果

image-20191121212513688

#利用这个代码imp$imp$bmi  可以找到，每个插补数据集缺失值位置的数据补齐具体数值是什么。
1、2、3、4代表这个
> imp$imp$bmi
      1    2    3    4
1  22.7 22.0 30.1 29.6
3  22.0 25.5 22.0 28.7
4  21.7 22.5 22.7 30.1
6  27.4 20.4 24.9 24.9
10 22.7 22.5 27.5 20.4
11 30.1 30.1 33.2 33.2
12 20.4 22.5 27.2 30.1
16 20.4 30.1 29.6 26.3
21 27.5 22.0 28.7 35.3

最后友情宣传生信技能树

• 生物信息学“义诊”

• 生物信息学"拍卖会"

• 全国巡讲:R基础，Linux基础和RNA-seq实战演练 : 预告：12月28-30长沙站

• 广州珠江新城GEO数据挖掘滚动开班

• DNA及RNA甲基化数据分析与课题设计