Performance Review

1.pixel accuracy（PA）:只是找到正确分类的像素比厨艺像素总数

2.mean pixel accuracy（MPA）：是pa的拓展版本，其中以每个类的方式计算正确像素的比率，然后在类的总数上求平均值。

3.Intersection over Union (IoU) or the Jaccard Index： 是语义细分中最常用的指标之一。它定义为预测的分割图和 ground truth 之间的交集面积，除以预测的分割图和地面实况之间的并集面积。

4.Mean-IoU： 是另一种流行的指标，定义为所有类别的平均IoU。 它被广泛用于报告现代分割算法的性能。

5.Precision / Recall / F1 score： 是报告许多经典图像分割模型准确性的常用指标。 可以为每个类别以及总体级别定义精度和召回率

6.Dice coefficient： 是另一种用于图像分割的流行指标，可以将其定义为预测图和真实图的重叠区域的两倍，再除以两个图像中像素的总数。（dice系数与iou非常相似）

Challenges & Opportunities

1 More Challenging Datasets

已经创建了几个大型图像数据集用于语义分割和实例分割。 但是，仍然需要更具挑战性的数据集以及不同类型图像的数据集。 对于静止图像，具有大量对象和重叠对象的数据集将非常有价值。 这可以使训练模型更适合处理密集的对象场景，以及对象之间的较大重叠，这在

真实场景。随着3D图像分割的日益普及，尤其是在医学图像分析中，也非常需要大型3D图像数据集。 这些数据集比维数较低的数据集更难创建。 现有的可用3D图像分割数据集通常不够大，有些是合成的，因此更大，更具挑战性的3D图像数据集可能非常有价值。

2 Interpretable Deep Models

尽管基于DL的模型在具有挑战性的基准上取得了可喜的性能，但有关这些模型的问题仍然存在。 例如，深度模型究竟要学习什么？ 我们应该如何解释这些模型学到的特征？ 能在给定的数据集上达到一定分割精度的最小神经架构是什么？ 尽管可以使用一些技术来可视化这些模型的学习卷积核，但是仍缺乏对这些模型的基本行为/动力学的具体研究。 更好地理解这些模型的理论方面，可以开发出针对各种细分方案而设计的更好的模型。

3 Weakly-Supervised and Unsupervised Learning

弱监督（也就是很少有镜头学习）和无监督学习正在成为非常活跃的研究领域。这些技术有望对图像分割特别有价值，因为在许多应用领域，尤其是在医学图像分析中，采集用于分割问题的标记样本是有问题的 。 转移学习方法是在大量带标签的样本（可能来自公共基准）上训练通用图像分割模型，然后在某些特定目标应用程序的几个样本上对该模型进行微调。 自我监督学习是另一个有希望的方向，在各个领域都吸引了很多吸引力。 借助自我监督学习，可以捕获图像中的许多细节，从而以更少的训练样本来训练分割模型。 基于强化学习的模型也可能是另一个潜在的未来方向，因为它们很少受到图像分割的关注。

.4 Real-time Models for Various Applications

在许多应用程序中，准确性是最重要的因素；但是，在某些应用程序中，具有可以接近实时或至少接近普通相机帧速率（每秒至少25帧）运行的分割模型也很关键 ）。 这对于例如部署在自动驾驶汽车中的计算机视觉系统很有用。 当前的大多数模型都远非这个帧速率。 例如，FCN-8大约需要100毫秒来处理低分辨率图像。基于膨胀卷积的模型有助于在某种程度上提高分割模型的速度，但仍有很大的改进空间。

5 Memory Efficient Models

即使在推理阶段，许多现代分割模型也需要大量内存。 到目前为止，已经进行了很多努力来提高这种模型的准确性，但是为了使它们适合特定的设备（例如移动电话），必须简化网络。 这可以通过使用更简单的模型，或者通过使用模型压缩技术，甚至训练复杂的模型，然后使用知识提炼技术将其压缩为模仿复杂模型的较小的，内存有效的网络来完成。

6 3D Point-Cloud Segmentation

许多工作集中在2D图像分割上，但 处理3D点云分割的工作却很少 。然而，对点云分割的兴趣与日俱增，在3D建模，自动驾驶汽车，机器人技术中具有广泛的应用 ，建筑模型等。 处理3D无序和非结构化数据（例如点云）带来了一些挑战。 例如，尚不清楚在点云上应用CNN和其他经典深度学习架构的最佳方法。 基于图的深度模型可能是探索点云分割的潜在领域，从而实现了这些数据的其他工业应用。