机器之心专栏
本专栏由机器之心SOTA！模型资源站出品，每周日于机器之心大众号持续更新。 本专栏将逐一盘点自然语言处理、核算机视觉等范畴下的常见使命，并对在这些使命上取得过 SOTA 的经典模型逐一详解。前往 SOTA！模型资源站（sota.jiqizhixin.com）即可获取本文中包含的模型完成代码、预练习模型及 API 等资源。
本文将分 3 期进行连载，共介绍19 ****个在图画切割使命上曾取得 SOTA 的经典模型。
-
第 1 期：FCN、ReSeg、U-Net、ParseNet、DeepMask、SegNet、Instance-Aware Segmentation
-
第 2 期：DeepLab、DeepLabv3、RefineNet、PSPNet、Dense-Net、Mask-Lab
-
第 3 期：PANet、DANet、FastFCN、Gated-SCNN、OneFormer、PSPNet-ResNet50_PSSL
您正在阅览的是其间的第 1 期。前往 SOTA！模型资源站（sota.jiqizhixin.com）即可获取本文中包含的模型完成代码、预练习模型及 API 等资源。
本期录入模型速览
| 模型 | SOTA！模型资源站录入情况 | 模型来历论文 |
|---|---|---|
| FCN | sota.jiqizhixin.com/project/fcn 录入完成数量：12 支撑结构：PyTorch、TensorFlow等 | Fully convolutional networks for semantic segmentation |
| ReSeg | sota.jiqizhixin.com/project/res… 录入完成数量：2 支撑结构：PyTorch | ReSeg: A Recurrent Neural Network-based Model for Semantic Segmentation |
| U-Net | sota.jiqizhixin.com/project/une… 录入完成数量：16 支撑结构：PyTorch、TensorFlow等 | U-net: Convolutional networks for biomedical image segmentation |
| ParseNet | sota.jiqizhixin.com/project/par… 录入完成数量：4 支撑结构：TensorFlow | ParseNet: Looking Wider to See Better |
| DeepMask | sota.jiqizhixin.com/project/dee… 录入完成数量：2 支撑结构：TensorFlow、Torch | Learning to Segment Object Candidates |
| SegNet | sota.jiqizhixin.com/project/seg… 录入完成数量：6 支撑结构：PyTorch、TensorFlow等 | Segnet: A deep convolutional encoder-decoder architecture for image segmentation |
| Instance-Aware Segmentation | sota.jiqizhixin.com/project/ins… 录入完成数量：1 支撑结构：Caffe2 | Instance-aware semantic segmentation via multi-task network cascades |
图画切割是核算机视觉中的一项基本使命，其运用范畴包含场景了解、医学图画剖析、机器人感知、视频监控、增强现实和图画压缩等。图画切割便是把图画分红若干个特定的、具有一起性质的区域并提出感兴趣方针的技能和进程。它是由图画处理到图画剖析的关键步骤。相比图画分类和检测，切割是一项更精细的工作，因为需求对每个像素点分类。
图画切割能够表明为带有语义标签的像素分类问题(语义切割，Semantic Segmentation)或单个方针的切割问题(实例切割，Instance Segmentation) 。语义切割是对一切图画像素进行一组方针类别(如人、车、树、天空)的像素级符号，即简单地对图画中各个像素点分类。实例切割进一步扩展了语义切割的范围，需求检测和描绘图画中每个感兴趣的方针(例如，对个人的切割)，即区分隔不同的物体。从一定含义上来说，实例切割能够看作是语义切割加检测。
此外，还有全景切割（Panoramic segmentation），全景切割是语义切割和实例切割的结合。跟实例切割不同的是：实例切割只对图画中的object进行检测，并对检测到的object进行切割，而全景切割是对图中的一切物体（包含布景）都要进行检测和切割。本文不涉及全景切割的办法。
跟着深度学习技能的运用，已经发生了新一代的图画切割模型，其性能有了显著的提高——通常在流行的基准测试中取得了最高的准确率——致使许多研究人员以为该范畴发生了范式转变。
本文聚集于深度学习技能，回忆图画切割中必备的TOP模型，包含语义切割模型和实例切割模型。
1、 FCN
本文提出了全卷积网络(Fully convolutional network，FCN)的概念，针对语义切割练习一个端到端、点对点的网络，达到了state-of-the-art。这是第一次练习端到端的FCN用于像素级的猜测，也是第一次用监督预练习的办法练习FCN。其首要思维是树立一个“全卷积”网络，它承受恣意巨细的输入，经过密布的前向核算和反向传达进行有用的推理和学习并生成相应巨细的输出。在构建网络进程中，经过将经典的分类网络(AlexNet、VGG和GoogleLeNet等)调整为全卷积网络（去掉了全衔接层），并经过微调将它们的学习表明传递给切割使命；之后界说了一个skip结构，它将来自深层、粗层的语义信息与来自浅层、细层的外观信息结合起来，以生成准确和详细的分段。
CNN的强壮之处在于它的多层结构能自动学习特征，并且能够学习到多个层次的特征：较浅的卷积层感知域较小，能够学习到一些部分区域的特征；较深的卷积层具有较大的感知域，能够学习到愈加笼统的特征。FCN与CNN“在卷积层后运用全衔接层得到固定长度的特征向量再进行分类”的处理方法不同。在传统的CNN结构中，前5层是卷积层，第6层和第7层别离是一个长度为4096的一维向量，第8层是长度为1000的一维向量，别离对应1000个类别的概率。FCN将这3层表明为卷积层，卷积核的巨细(通道数，宽，高)别离为（4096,7,7）、（4096,1,1）、（1000,1,1）。FCN的一切层都是卷积层，故称为全卷积网络。FCN能够承受恣意标准的输入图画，选用反卷积层（deconvolution）对终究一个卷积层的特征图（feature map）进行上采样，使它康复到输入图画相同的标准，然后能够对每一个像素都发生一个猜测，从笼统的特征中康复出每个像素所属的类别，完成了从图画级别的分类延伸到像素级别的分类。终究逐一像素核算softmax分类的丢失, 相当于每一个像素对应一个练习样本。下图是用于语义切割所选用的FCN结构示意图：
图1 将全衔接层转化为卷积层使分类网能够输出热力求。增加层和空间丢失生成一个高效的机器，用于端到端的密布学习*
*
FCN首要运用了三种技能：卷积化（Convolutional）不含全衔接层(FC)的全卷积(fully conv)网络。可习惯恣意标准输入；上采样（Upsample）增大数据标准的反卷积(deconv)层，能够输出精细的成果；跳动结构（Skip Layer）结合不同深度层成果的skip结构。FCN能够同时保证鲁棒性和准确性。
图2 全卷积网络能够有用地学习对每个像素进行密布猜测，如语义切割
当时SOTA！渠道录入FCN共12个模型完成。
| 项目 | SOTA！渠道项目详情页 |
|---|---|
| FCN | 前往 SOTA！模型渠道获取完成资源：sota.jiqizhixin.com/project/fcn |
2、ReSeg
本文提出了用于语义切割的ReSeg结构，该结构是依据用于图画分类的依据RNN的ReNet所构建的。ReSeg网络的特征提取阶段（编码器阶段）选用的是预练习好的CNN网络结构，而在康复图画标准的时分（解码器阶段，也便是上采样阶段）选用了RNN结构，RNN结构部分是依据ReNet的。ReSeg结构处理语义切割使命非常灵活、高效，其间的ReNet模块能够很好地整合上下文信息，取得很好的作用。
首要，输入图画经过第一阶段的VGG-16网络的层（在ImageNet上预练习，没有fine-tune，设定图画分辨率不会变得过小），得到的特征图随后送入一个或多个ReNet层，在图画上滑动。终究，一个或多个上采样层用于对终究的特征图进行分辨率康复，使其与输入分辨率相同，再运用softmax非线性得到每个像素点对应的类别概率散布。循环层是这个结构的中心，由多个RNN（能够是初级的tanh RNN层）、一个Gated Recurrent Unit（GRU）层或一个LSTM层组成。依据ReNet不需求过多的回归单元的特性，这儿挑选用GRU模块，因为其能够很好地平衡核算力和内存之间的联系。ReSeg结构如图3所示。
ReSeg全体由两部分组成：特征提取阶段运用的是预练习好的VGG16结构，解码器阶段运用的是ReNet结构，经过ReNet的BRNN（双向RNN）联系上下文信息。ReSeg运用了3次串联的完好ReNet模块，空间分辨率在这个进程中逐步减小。这么做的意图是将VGG-16提取的特征进行进一步的处理，然后得到对输入图画更复杂的特征描述。特征提取结束后，特征图对输入图画的空间分辨率下降为1/8，因而需求康复空间分辨率以得到稠密的切割成果。在一切ReNet模块结束后，ReSeg运用了若干层由反卷积组成的上采样层，将特征图的空间分辨率康复成原始输入图画的空间分辨率。终究，简单运用softmax完成切割。
当时SOTA！渠道录入ReSeg共2个模型完成。
| 项目 | SOTA！渠道项目详情页 |
|---|---|
| ReSeg | 前往 SOTA！模型渠道获取完成资源：sota.jiqizhixin.com/project/res… |
3、U-Net
以往练习深度神经网络需求很多的标示好的样本数据，本篇论文提出了全新的U形网络和依据数据增强的练习战略以愈加充分的运用标示数据。本文所提出的UNet网络运用下采样提取图画信息，原因是下采样后深层次的特征语义性更强；此外，运用对称结构以便更准确的定位，即将浅层特征交融到深层特征中。UNet能够直接端到端练习，作用优于以往办法。
UNet在FCN的基础上进行改进，意图是以很少的练习样本图画工作，发生更准确的切割。UNet的首要思维是用接连层来弥补通常的缩短网络，其间，运用上采样算子替代池化操作，这些层提高了输出的分辨率。为了定位，将缩短途径中的高分辨率特征与上采样输出结合在一起。然后，运用接连卷积层学习依据这些信息组装的更准确的输出。详细来说，在上采样部分，UNet也有很多的特征通道，这使得网络能够将上下文信息传达到更高分辨率的层。其成果是，扩展途径与缩短途径或多或少对称，并发生U形结构。UNet网络没有任何全衔接层，只运用每个卷积的有用部分，即切割映射只包含输入图画中可用的全部内容的像素。该战略答应经过重叠块战略对恣意大的图画进行无缝切割。要猜测图画边框区域中的像素，则需求经过镜像输入映像来揣度丢失的内容。此外，能够经过对可用的练习图画施加弹性变形来进行数据增强，这答应网络学习这种变形的不变性，而不强制标示数据（图画）库中包含这些转化。这在生物医学图画切割中尤为重要。
UNet网络体系结构如图4所示，它由缩短途径（左边）和扩展途径（右侧）组成。缩短途径遵从卷积网络的典型结构。它包含重复运用两个3×3卷积（非加量卷积），每个卷积后边是一个校正的线性单元（Relu）和一个2×2最大池化操作，以步长为2进行下采样。在每个下采样步骤中，将特征通道的数量增加一倍。扩展途径中的每一步都包含一个特征映射的上采样；然后是一个2×2卷积(上卷积)，它将特征通道的数量减半，与缩短途径中相应裁剪的特征映射衔接；以及两个3×3卷积，每个卷积后边跟着一个relu。
因为每个卷积中的鸿沟像素的丢失，还需求裁剪处理。在UNet终究一层，运用1×1卷积来将每个64维分量特征向量映射到所需数量的类别。总UNet网络合计有23个卷积层。为了答应输出分段映射的无缝拼接，需求挑选输入块的巨细，以便将一切2×2池化操作运用到具有均匀x和y巨细的层。
图4 UNet结构（最低分辨率下32×32像素的比如）。每个蓝框对应于一个多通道特征图。通道的数量表明在box顶部。X-Y标准在box左下角供给。白色方框代表复制的特征图。箭头表明不同的操作
当时SOTA！渠道录入U-Net共16个模型完成。
| 项目 | SOTA！渠道项目详情页 |
|---|---|
| U-Net | 前往 SOTA！模型渠道获取完成资源：sota.jiqizhixin.com/project/une… |
4、ParseNet
本文提出了一个将大局上下文信息参加到全卷积网络的图画切割（语义切割）办法ParseNet。这个办法很简单，用的是一个层的均匀特征来扩张每个方位上的特征。此外，作者还研究了几种练习进程中的特质，极大地改进了比照算法的体现（比如FCN）。此外，作者参加大局特征后，引入了一个学习归一化参数的技巧，进一步改进了算法的体现。
如下图所示，ParseNet经过大局池化提取图画的大局特征，并将其与部分特征交融起来。用大局均匀池化对终究一层上下文特征进行池化，或是对恣意方针层池化。在部分特征图上增加大局特征后，切割的作用大幅提高。
图5ParseNet运用额外的大局布景来clarify部分的混乱并平滑切割
直观上了解，大局特征与部分特征的交融能够发生在两个节点：练习分类器之前（early fusion）和练习分类器之后（late fusion）。其间，前者是将两个特征交融后，作为一个全体送入分类网络练习分类器；后者则是以两个特征为输入，别离练习其对应的分类器，终究再将分类的成果整合。假如疏忽结合特征后的练习进程，这两种交融的作用是差不多的。但是，在某些情况下，只有大局特征辅助下的部分特征才能够判别出正确的分类成果；此刻，假如两个特征别离练习再整合，那么这种情况下的切割丢失是不可逆的，也便是说，这些情况下的分类将不正确。
ParseNet运用了L2范数来归一化特征的交融进程。详细而言，给定d维输入x，算法经过核算其L2范数并在整个维度内完成归一化。此外，假如仅仅单纯地对一切输入层进行归一化，不仅会减慢网络的练习速度，同时也会改动该层的标准。因而，还需求对其增加一个标准参数gamma，将归一化的成果进行标准缩放（缩放成果为y）。这一进程增加的参数量等于一切的通道数之和，因而在反向传达进程中是能够疏忽的。详细的反向传达公式如下：
当时SOTA！渠道录入ParseNet共4个模型完成。
| 项目 | SOTA！渠道项目详情页 |
|---|---|
| ParseNet | 前往 SOTA！模型渠道获取完成资源：sota.jiqizhixin.com/project/par… |
5、 DeepMask
本文提出的DeepMask解决的是实例切割使命。DeepMask完成了三个使命：前布景切割、远景语义切割与远景实例切割。这三个使命是依据同一个网络结构进行的，仅仅各自有独自的分支。图6是DeepMask的网络结构概略。与大部分切割网络相同，DeepMask相同运用了VGG模型作为特征提取的首要模块，在练习中也用了ImageNet下练习得到的VGG参数初始化这一部分模型。随后，DeepMask用两条分支来别离完成切割使命和远景方针辨认使命。
切割部分要完成的是对图画块内场景的类别的辨认，由一个1×1卷积层后接分类层完成。这儿的分类是密布的，也便是对每一个像素都有其对应的标示。网络的第二个分支要完成的使命是判别一个图画块是否满意下面两个要求：方针坐落图画块的正中心附近、方针完好存在于图画块中（在某一标准范围内）。这一部分由一个2×2的最大池化层后接两个全衔接层组成。终究的输出是一个方针score，用来显现该方针是否满意上面的要求。
图6（顶部）DeepMask模型结构：网络在同享特征提取层之后被分红两个分支。上面的分支猜测坐落中心的物体的切割掩码，而下面的分支猜测输入patch的物体得分。(底部）练习三要素示例：输入patch x、掩码m和标签y。绿色patch包含满意指定束缚的方针，因而被分配到标签y=1。负样本的Mask（以赤色显现）没有运用，仅仅为了说明问题
如图6DeepMask挑选了VGG-A架构，该架构由8个33卷积层（之后是ReLU非线性）和5个22 max pooling组成。因为咱们对揣度切割掩码感兴趣，卷积特征图中供给的空间信息很重要。因而，删除了VGG-A模型的一切终究全衔接层。此外，还舍弃了终究一个max pooling层。因为剩余的四个22 max pooling层同享层的输出有一个16的下采样系数，给定一个标准为3hw的输入图画，输出是一个标准为512h/16w/16的特征图。
DeepMask的练习进程对于切割使命是很有学习含义的。这儿，网络的两个分支一起练习，丢失函数如下：
除了基本的切割要求，DeepMask还做了一个限制，使得在测试推理阶段，网络会尝试对一切的图画块都进行切割，即使该图画块中不存在方针。为了完成这个意图，其选用的战略是对于不存在方针的图画块，只练习切割分支。网络与VGG-A相同，接纳的RGB输入标准为3x224x224，生成的特征标准为512x14x14。因为网络结构导致输出标准小于原始标准（切割分支为1/16，方针分支为1/32），因而需求运用双线性插值将成果康复成原始标准。在这个设定下，DeepMask约包含75M的参数。
当时SOTA！渠道录入DeepMask共2个模型完成。
| 项目 | SOTA！渠道项目详情页 |
|---|---|
| DeepMask | 前往 SOTA！模型渠道获取完成资源：sota.jiqizhixin.com/project/dee… |
6、SegNet
用于语义切割的网络通常是将用于分类的网络进行全卷积化而来的，这带来了空间分辨率下降（网络存在降采样）的问题，然后生成较为粗糙的切割成果。此外，还需求将低分辨率的成果上采样到原图巨细，这个还原的进程即解码进程。大部分的用于切割的网络都有相同或类似的encoder network，之所以会发生不同精度的切割成果，关键在于decoder network的不同。作者剖析一些网络的解码进程，提出了SegNet。SegNet的encoder network为VGG16（移除了全衔接层），在decoder network里依托encoder network的max pooling层所发生的最大值方位索引对输入进行upsample（无需学习），得到稀少的feature maps，然后对稀少的feature maps进行卷积细密。每个decoder对应一个encoder。终究接一个softmax分类器。
图7是SegNet的网络结构，其间蓝色代表卷积+Batch Normalization+ReLU，绿色代表max-pooling，赤色代表上采样，黄色是Softmax。SegNet与FCN的对应结构相比体量要小很多，这首要得益于SegNet中为了权衡核算量而采纳的操作：用记载的池化进程的方位信息替代直接的反卷积操作。详细如图8所示。图8中左边是SegNet运用的解码方法，右侧是FCN对应的解码方法。能够看到，SegNet的做法是先依据方位信息生成稀少的特征图，再运用后续的卷积核算康复密布特征图。而FCN则直接运用反卷积操作求得上采样后的特征图，再将其与编码器特征图相加。
图8 SegNet和FCN解码器说明。a、b、c、d对应于特征图中的数值。SegNet运用最大调集指数对特征图进行上采样（无需学习），并与可练习的解码器滤波器组进行交融。FCN经过学习对输入的特征图进行上采样，并增加相应的编码器特征图以发生解码器输出。这个特征图是相应编码器的max-pooling层（包含子采样）的输出
当时SOTA！渠道录入SegNet共6个模型完成。
| 项目 | SOTA！渠道项目详情页 |
|---|---|
| SegNet | 前往 SOTA！模型渠道获取完成资源：sota.jiqizhixin.com/project/seg… |
7、Instance-Aware Segmentation
本文的起点是做Instance-aware Semantic Segmentation，详细的，作者将其分为三个子使命来做：1) Differentiating instances 实例区分；2) Estimating masks 掩码估量；3) Categorizing objects分类方针。经过这种分解，作者提出了如下的多使命学习结构，即：Multi-task Network Cascades (MNCs)，示意流程如图9。
Regressing Box-level Instances
第一阶段，回归出object的bbox（bounding box），这一阶段的网络结构和loss都参照Region Proposal Networks (RPNs)，RPNs经过全卷积网络猜测object的bbox和置信度，在feature map后紧跟两个1×1卷积用于回归bbox以及断定是否为远景。详细丢失函数如下：
B是这个阶段的网络输出，代表一系列的bbox ：
Regressing Mask-level Instances
第二阶段，将同享的features和第一阶段的bbox作为输入，为每个bbox输出像素级的mask。经过RoI pooling将每个bbox的特征提取成14×14的固定巨细特征，再加两个全衔接层，第一个全衔接层将维度减小到256层，第二个全衔接层回归出像素级的mask，其成果由一个m x m的二维向量表明。丢失函数如下：
该阶段的输出M代表该阶段的网络输出，表明一系列mask，M={M_i}，M_i是用sigmoid回归到[0,1]的m^2 维的逻辑回归输出。
Categorizing Instances
第三阶段，将同享的features和第一阶段的bbox、第二阶段的mask作为输入，为每个实例输出类别置信度。第一阶段给定预选框并用RoI pooling提取feature，第二阶段猜测实例的mask，导致feature专心于猜测mask的远景，像素级masked feature 核算公式如下：
M_i为本阶段输出的Mask。将mask-based和box-based的pathway衔接之后用softmax对N个object类别和1个布景类进行分类。丢失函数如下：
整个模型的级联的丢失函数为：
终究，作者将级联模型扩展到MNC更多阶段。增加了一个4(N+1)-d fc层，用于回归class-wise bounding boxes，它与分类器层是同级联系。在推理进程中，首要运转完好3阶段的网络，并在第3阶段取得回归的box。然后，这些boxes被视为新的主张。第2和第3阶段在这些主张上第二次执行。这实际上包含了5个阶段的推理。五阶段进程如图10所示。第4和第5阶段与第2和第3阶段的结构相同，仅仅它们运用第3阶段的bounding box作为新的主张。
图10 5阶段的级联。在第三阶段，由box回归层更新的bounding box被用作第四阶段的输入
当时SOTA！渠道录入Instance-Aware Segmentation共1个模型完成。
| 项目 | SOTA！渠道项目详情页 |
|---|---|
| Instance-Aware Segmentation | 前往 SOTA！模型渠道获取完成资源：sota.jiqizhixin.com/project/ins… |
前往 SOTA！模型资源站（sota.jiqizhixin.com）即可获取本文中包含的模型完成代码、预练习模型及API等资源。
