load and check data
outliner detection:
一个是标准化数值检测法。具有钟型正态分布的数据,大约68%的数据分布于距离平均值一个标准差以内,95%的数据分布于距离平均值两个标准差以内,几乎所有的数据都分布于距离平均值三个标准差以内。
所以如果距离平均值三个标准差以内的数据都可以判定为异常值。
另一个是利用箱形图来检测。分别计算Q1百分位数,Q3百分位数,求得四分位间距IQR,计算上限和下限。
上限:Q1-1.5*IQR
下限:Q3+1.5*IQR
在这个范围内的数据为正常,超出这个范围的数据可视为异常值。