测量物体检测模型 - mAP - 什么是平均精度?

对于使用机器学习解决的大多数常见问题,通常有多种模型可用。每个人都有自己的怪癖,并根据各种因素表现不同。

每个模型都是通过其在数据集上的性能来判断的,通常称为“验证/测试”数据集。这种性能是使用各种统计数据来衡量的 - 准确性,精确度,召回等。选择的统计数据通常特定于您的特定应用和用例。对于每个应用程序,找到可用于客观地比较模型的度量标准至关重要。

在本文中,我们将讨论用于对象检测问题的最常见的选择度量 - 平均平均精度,即mAP

大多数情况下,指标很容易理解和计算。例如,在二进制分类中,精度和召回用作简单直观的统计。

另一方面,对象检测是一个相当不同且有趣的问题。

即使您的物体探测器在图像中检测到猫,如果您无法找到图像中的位置,也无效。

既然你预测occurence  位置的图像中的物体,这是相当有趣的,我们如何计算该指标。

首先,让我们定义对象检测问题,以便我们在同一页面上。

对象检测问题

通过“物体检测问题”这就是我的意思,

给定图像,找到其中的对象,找到它们的位置并对它们进行分类。

对象检测模型通常在一组固定的类上进行训练,因此模型只能定位和分类图像中的那些类。

此外,对象的位置通常是边界矩形的形式。

因此,对象检测涉及对象在图像中的定位以及对该对象的分类


图1 - 几个突出的图像处理问题图像取自斯坦福大学的CS231n课程幻灯片(讲座8)如下所述,平均平均精度特别用于我们预测对象的位置以及类的算法。因此,从图1中,我们可以看到它对评估本地化模型,对象检测模型和分割模型很有用。

评估对象检测模型

为何选择mAP?

对象检测问题中的每个图像都可以具有不同类的不同对象。如前所述,需要评估模型的分类和本地化。 

因此,图像分类问题中使用的标准精度度量不能直接应用于此。这是mAP(平均平均精度)进入图片的地方。我希望在本文的最后,您将能够理解它的含义和代表。

关于地面真相

对于任何算法,总是与地面实况数据进行比较来评估度量。我们只知道培训,验证和测试数据集的Ground Truth信息。

对于对象检测问题,基本事实包括图像,其中对象类以及图像中每个对象**真实边界框

一个例子


人类可视化的基础事实

我们给出了实际图像(jpg,png等)和其他注释作为文本(边界框坐标(x,y,宽度和高度)和类),红色框和文本标签仅在此图像上为我们绘制人类可视化。

因此,对于这个特定的例子,我们的模型在培训期间得到的是这个


实际图形

3组数字定义了地面实况(假设这个图像是1000x800px,所有这些坐标都以像素为单位,也近似


让我们亲自动手,看看如何计算mAP。

我将在另一篇文章中介绍各种对象检测算法,它们的方法和性能。现在,假设我们有一个训练有素的模型,我们正在验证集上评估其结果。

计算mAP

让我们说原始图像和地面实况注释就像我们在上面看到的那样。训练和验证数据以相同的方式注释所有图像。

该模型将返回大量预测,但在这些预测中,其中大多数将具有非常低的置信度得分,因此我们仅考虑高于某个报告的置信度得分的预测。

我们通过模型运行原始图像,这是在置信度阈值处理后对象检测算法返回的,

带边框的图像 -


我们的模型结果

现在,由于我们人类是专家物体探测器,我们可以说这些探测是正确的。但是我们如何量化呢?

我们首先需要知道判断每个检测的正确性。告诉我们给定边界框正确性的度量标准是 - IoU - 联合交叉点。这是一个非常简单的视觉量。

就单词而言,有些人会说这个名字是自我解释的,但我们需要更好的解释。我将以简短的方式解释IoU,对于那些真正需要详细解释的人,Adrian Rosebrock有一篇 非常好的文章 ,你可以参考。

期票

Union上的交叉点是交叉点与预测框和地面实况框的并集之间的比率。 该统计数据也称为Jaccard指数,由Paul Jaccard于20世纪初首次出版。

为了获得交集和并集值,我们首先将预测框覆盖在地面实况框上。(见图)

现在,对于每个类,与预测框和地面实况框重叠的区域是交叉区域,并且跨越的总区域是联合


©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 218,122评论 6 505
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 93,070评论 3 395
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 164,491评论 0 354
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,636评论 1 293
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,676评论 6 392
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,541评论 1 305
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,292评论 3 418
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 39,211评论 0 276
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,655评论 1 314
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,846评论 3 336
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,965评论 1 348
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,684评论 5 347
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,295评论 3 329
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,894评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 33,012评论 1 269
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 48,126评论 3 370
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,914评论 2 355

推荐阅读更多精彩内容