1.accuracy: 准确率
2.precision:精确率,所有预测为正例样本中真正的正例样本有多少
3.recall:召回率,所有正例样本中预测为正例样本有多少
4.F1-score:F1值,又称调和平均数,公式(2)和(3)中反应的precision和recall是相互矛盾的,当recall越大时,预测的覆盖率越高,这样precision就会越小,反之亦然,通常,使用F1-score来调和precision和recall,
5.ROC:全称Receiver Operating Characteristic曲线,常用于评价二分类的优劣
有了accuracy还要计算ROC,是因为在实际的分类样本中,往往会出现样本偏差的情况,假如一个样本集中,正例、负例样本各占10%、90%,这种情况下,即使把正例和负例样本全部预测为负例,accuracy = 90%,准确率依然很高,所以accuracy在这种情况下不能正确反映分类情况
坐标轴
- X轴叫做False Positive Rate(FPR), 表示负样例被预测为正例的比率(0-1),也叫做误纳率;
- Y轴叫做True Positive Rate(TPR),表示正样例被预测为正例的比率(0-1),1-TPR叫做误拒率。
坐标图上四个点(0, 0)、(0, 1)、(1, 0)、(1, 1) - (0, 0),即FPR = 0,TPR = 0,正例样本和负例样本全部被预测为负例,原因是阈值太高;
- (0, 1),即FPR = 0,TPR = 1,正例样本全部被预测为正例,负例样本全部被预测为负例,是最理想的分类情况;
- (1, 0),即FPR = 1,TPR = 0,正例样本全部被预测为负例,负例样本全部被预测为正例,是最差的情况;
- (1, 1),即FPR = 1,TPR = 1,正例样本和负例样本全部被预测为正例,原因是阈值太低。
绘制ROC曲线,通过选取不同的阈值计算响应的(FPR, TPR)的值,每一对值在坐标上都是一个点,把这些不同的点连接起来就是ROC曲线。可以知道,阈值选取的越多,分布越均匀,对应的ROC曲线越平滑。最理想的阈值对应于ROC曲线离坐标(0, 1)最近的点。
6.AUC:全称Area Under Curve,被定义为ROC曲线下的面积,取值范围在0.5到1之间
由于ROC在很多情况下不能说明哪个分类器更好,而AUC是一个数值,反映的ROC曲线的面积,数值越大,对应的分类器越好。
7.PR-AUC:即以Precision和Recall为坐标轴,选取不同的阈值画线, AUC即曲线的面积,面积越大,Precision和Recall都越接近1,模型就越理想。
参考: