当前很多安全产品尤其是涉及利用AI技术进行安全检测的场景中经常要用到评价标准,例如某公司新推出一种安全检测算法或者产品,大家都会问“检出怎么样?”,“误报怎么样?”,下面就此评价进行总结。
通常来说,检测率可以认为是精确率(precision rate),误报可以认为是误报率(false positive rate),以二分类为例,P为正类,N为负类,总体样本只由正类和负类构成。
解释一下是真正属于正类的样本,为错分为正类的样本。
此外,还会使用召回率来形容检测能力
,
具体实例为:待检测有200个样本,其中属于正类的样本为120个,那么负类样本为80个,某检测算法(通常来说,某检测算法只检测出我们关心的那一类,比如我们很关心哪些是恶意的,那么检测算法就只是检测出恶意的)检测了100个(这100个为算法检测正类,这其中可能会有误报,也就是说100个里可能有负类样本),而100个里真正是正类的有97个,
那么该检测算法的精确率为%,误报率为%,召回率为%。
从上例可以看出,精确率和误报率比较好计算,原因在于检测算法的检测数量都很明确,而召回率并不好计算,原因在于针对未知检测环境,待检测样本里到底有多少是正类和负类均为未知数,因此召回率较适用于测试样本集合。