持续创造,加快成长!这是我参加「日新方案 10 月更文挑战」的第20天,点击检查活动详情

导读

运用CBAM加持的MobileNetV1,ResNeXt&ResNet,WRN优于运用SENet的网络。

CBAM:融合通道和空间注意力的注意力模块

在这篇文章中,介绍了 “CBAM: Convolutional Block Attention Module” (CBAM) ,主要内容:

  • 给定中间特征图,BAM按次序推导出沿通道和空间两个独立维度的留意力求,然后将留意图相乘到输入特征图进行自适应特征细化。
  • CBAM能够无缝集成到任何CNN架构中,开支能够忽略不计,而且能够与基础CNN一起进行端到端练习。

这是一篇发表在2018 ECCV上的论文,被引次数超过1000次。下面具体介绍。

1. CBAM: 一般性结构

CBAM:融合通道和空间注意力的注意力模块

CBAM: General Architecture

CBAM顺次揣度出一个1D的通道留意图Mc,尺寸为Cx1x1,和一个2D的空间留意力求Ms,尺寸为1xHxW。

CBAM:融合通道和空间注意力的注意力模块

其间 ⨂ 表明元素乘法,F’’是最终的细化输出。

这两个模块能够以并行或次序的办法放置。成果表明,次序摆放的成果比并行摆放的成果好。关于摆放的次序,试验成果表明,通道在前面略优于空间在前面。下面是一个ResBlock中CBAM的比如:

CBAM:融合通道和空间注意力的注意力模块

2. 通道留意力模块

CBAM:融合通道和空间注意力的注意力模块

通道留意力模块

通道留意力聚集在“什么”是有意义的输入图画,为了有用核算通道留意力,需求对输入特征图的空间维度进行压缩,关于空间信息的聚合,常用的办法是均匀池化。但有人以为,最大池化收集了另一个重要线索,关于共同的物体特征,能够揣度更细的通道上的留意力。因而,均匀池化和最大池化的特征是一起运用的。

CBAM:融合通道和空间注意力的注意力模块

FcavgFcmax,别离表明均匀池化特征最大池化特征。然后,这两个描述符被转发到一个共享网络,以发生咱们的通道留意力求Mc。共享网络由一个多层感知器(MLP)组成,其间有一个隐含层。为减少参数开支,隐藏层的激活巨细设为R/C=r11,其间R为下降率。将共享网络运用到每个描述符后,输出的特征向量运用element-wise求和进行兼并。表明sigmoid函数。这个Mc(F)与F进行元素相乘得到F’.。

3. 空间留意力模块

CBAM:融合通道和空间注意力的注意力模块

空间留意力模块

空间留意力聚集在“哪里”是最具信息量的部分,这是对通道留意力的弥补。为了核算空间留意力,沿着通道轴运用均匀池化和最大池操作,然后将它们连接起来生成一个有用的特征描述符。然后运用卷积层生成巨细为RHW的空间留意力求Ms(F),该空间留意图编码了需求重视或限制的位置。

CBAM:融合通道和空间注意力的注意力模块

具体来说,运用两个pooling操作聚合成一个feature map的通道信息,生成两个2D图:Fsavg巨细为1HWFsmax巨细为1HW表明sigmoid函数,f77表明一个滤波器巨细为77的卷积运算。

4. ImageNet上的消融研究

4.1. Max Pool 仍是 Avg Pool

CBAM:融合通道和空间注意力的注意力模块

比照不同的通道留意力模型

最大池化编码了最明显的部分,而均匀池化编码了大局的计算信息。因而,这两个特征被一起运用,并对这些特征运用一个共享网络。在SENet中的SE部分运用CAM是一种进一步提升的有用的办法。

4.2. 空间和通道留意力

CBAM:融合通道和空间注意力的注意力模块

比照不同的通道留意力办法

通道池化发生更好的准确性,表显着式建模的池化导致更好的留意力揣度,而不是可学习的加权通道池化。在这两种情况下,选用更大的内核巨细(k=7)能够发生更好的精度。这意味着需求一个开阔的视界(即大的感触野)来决议重要的空间区域。简略的说,咱们运用了通道轴上卷积核巨细为7的均匀和最大池化特征作为咱们的空间留意模块。

4.3. 通道和空间留意力的摆放

CBAM:融合通道和空间注意力的注意力模块

从空间的视点来看,通道留意力是大局的,而空间留意力是局部的。研究发现,按次序生成留意力求比并行生成留意力求更好。此外,通道在前面的功能略优于空间在前面。最终模块的top-1差错达到22.66%,大大低于SE。

5. SOTA比照

5.1. ImageNet

CBAM:融合通道和空间注意力的注意力模块

在ImageNet-1K上的分类成果

ResNet,WideResNet,ResNeXt运用了CBAM后明显优于基线。这意味着CBAM是强大的,显现了新的池化办法的有用性,它发生更丰富的描述符和空间留意力求,有用地弥补了通道留意力。CBAM不只大大进步了基线的准确性,而且也很好的进步了SE的功能。

CBAM:融合通道和空间注意力的注意力模块

在ImageNet-1K上运用轻量网络MobileNet的分类成果

CBAM的总体开支在参数和核算方面都十分小。CBAM十分适合于轻量级网络MobileNetV1。以上改善显现了CBAM在低端设备上运用的巨大潜力。

5.2. 运用Grad-CAM进行网络可视化

CBAM:融合通道和空间注意力的注意力模块

Grad-CAM可视化成果

Grad-CAM是最近提出的一种可视化办法,它运用梯度来核算卷积层中空间位置的重要性。Grad-CAM成果明晰地显现了网络重视的区域。咱们能够清楚地看到集成了CBAM的网络的Grad-CAM mask关于方针区域的掩盖要比其他办法更好。

5.3. MS COCO Object Detection

CBAM:融合通道和空间注意力的注意力模块

在MS COCO验证集上的物体检测mAP

咱们的检测办法是Faster R-CNN,基线网络是ImageNet上预练习过的ResNet50和ResNet101,能够看到,较基线有明显改善,展现了CBAM在其他识别使命上的泛化功能。

5.4. VOC 2007 Object Detection

CBAM:融合通道和空间注意力的注意力模块

PASCAL VOC 2007测验集

物体检测器为SSD和StairNet,咱们能够清楚地看到,CBAM对两个主干网络的所有基线的准确性都有提升。

CBAM精度的进步带来的参数开支能够忽略不计,这表明增强不是由于简略的容量添加,而是由于有用的特征细化。

英文原文:sh-tsang.medium.com/reading-cba…