0
点赞
收藏
分享

微信扫一扫

【图像分割】走进基于深度学习的图像分割


深度学习中的图像分割

图像分割就是把图像分成若干个特定的、具有独特性质的区域并提出感兴趣目标的技术和过程。它是由图像处理到图像分析的关键步骤。现有的图像分割方法主要分以下几类:基于阈值的分割方法、基于区域的分割方法、基于边缘的分割方法以及基于特定理论的分割方法等。从数学角度来看,图像分割是将数字图像划分成互不相交的区域的过程。图像分割的过程也是一个标记过程,即把属于同一区域的像素赋予相同的编号。基于深度学习的图像分割算法主要分为两类:

1.语义分割

为图像中的每个像素分配一个类别,如把画面中的所有物体都指出它们各自的类别。

【图像分割】走进基于深度学习的图像分割_计算机视觉

2.实例分割

与语义分割不同,实例分割只对特定物体进行类别分配,这一点与目标检测有点相似,但目标检测输出的是边界框和类别,而实例分割输出的是掩膜(mask)和类别。

【图像分割】走进基于深度学习的图像分割_神经网络_02

应用领域

1. 医学影像。

包括:

(1)肿瘤和其他病理的定位

(2)组织体积的测量

(3)计算机引导的手术

(4)诊断

(5)治疗方案的定制

(6)解剖学结构的研究

2. 在卫星图像中定位物体

(1)建筑物变化检测

(2)农作物、森林、土地等面积的计算

(3)道路提取

(4)建筑物分割

3.无人驾驶领域

4、人脸检测和识别、指纹检测、虹膜识别等。

深度学习中的图像分割模型

FCN

U-Net:

SegNet

RefineNet

PSPNet

DeepLabv1

DeepLabv2

DeepLabv3

DeepLabv3+

Mask-R-CNN

Transformer

深度学习常用数据集

Pascal VOC

地址链接:http://host.robots.ox.ac.uk/pascal/VOC/

VOC 数据集分为20类,包括背景为21类,分别如下:

• Person: person

• Animal: bird, cat, cow, dog, horse, sheep

• Vehicle: aeroplane, bicycle, boat, bus, car, motorbike, train

• Indoor: bottle, chair, dining table, potted plant, sofa, tv/monitor

VOC 数据集中用于分割比赛的图片实例如下,包含原图以及图像分类分割和图像物体分割两种图(PNG格式)。图像分类分割是在20种物体中,ground-turth图片上每个物体的轮廓填充都有一个特定的颜色,一共20种颜色。

【图像分割】走进基于深度学习的图像分割_计算机视觉_03

MS COCO

地址链接:https://cocodataset.org/#home

MS COCO 是最大图像分割数据集,提供的类别有 80 类,有超过 33 万张图片,其中 20 万张有标注,整个数据集中个体的数目超过 150 万个。MS COCO是目前难度最大,挑战最高的图像分割数据集。

【图像分割】走进基于深度学习的图像分割_自动驾驶_04

Cityscapes

地址链接:https://www.cityscapes-dataset.com/

Cityscapes 是驾驶领域进行效果和性能测试的图像分割数据集,它包含了5000张精细标注的图像和20000张粗略标注的图像,这些图像包含50个城市的不同场景、不同背景、不同街景,以及30类涵盖地面、建筑、交通标志、自然、天空、人和车辆等的物体标注。Cityscapes评测集有两项任务:像素级(Pixel-level)图像场景分割(以下简称语义分割)与实例级(Instance-level)图像场景分割(以下简称实例分割)。

【图像分割】走进基于深度学习的图像分割_神经网络_05

ADE20K

官网:http://groups.csail.mit.edu/vision/datasets/ADE20K/

整个数据集(包含所有的图像和分割在内)的大小为 3.8Gb,训练集20210张图片,验证集200张,场景比较丰富包括:室内,室外,自然场景等。单张场景的类别也较多,共150个类别。

【图像分割】走进基于深度学习的图像分割_pytorch_06

常用的损失函数

  1. Binary Cross Entropy
  2. Weighted Cross Entropy
  3. Balanced Cross Entropy
  4. Dice Loss
  5. Focal loss
  6. Tversky loss
  7. Focal Tversky loss
  8. log-cosh dice loss

推荐一个好用的图像分割库

segmentation_models_pytorch是一个基于PyTorch的图像分割神经网络

这个新集合由俄罗斯的程序员小哥Pavel Yakubovskiy一手打造。

github地址:https://github.com/qubvel/segmentation_models.pytorch

【图像分割】走进基于深度学习的图像分割_自动驾驶_07



举报

相关推荐

0 条评论