Outliner detection

load and check data

outliner detection:

一个是标准化数值检测法。具有钟型正态分布的数据,大约68%的数据分布于距离平均值一个标准差以内,95%的数据分布于距离平均值两个标准差以内,几乎所有的数据都分布于距离平均值三个标准差以内。

所以如果距离平均值三个标准差以内的数据都可以判定为异常值。

另一个是利用箱形图来检测。分别计算Q1百分位数,Q3百分位数,求得四分位间距IQR,计算上限和下限。

上限:Q1-1.5*IQR

下限:Q3+1.5*IQR

在这个范围内的数据为正常,超出这个范围的数据可视为异常值。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。