顶刊TCYB 2022｜遥感显著目标检测新基线ACCoNet，南洋理工IEEE Fellow团队出品

论文标题：Adjacent Context Coordination Network for Salient Object Detection in Optical Remote Sensing Images
论文链接：arxiv.org/abs/2203.13…
代码仓库：github.com/MathLee/ACC…
作者单位：上海大学、南洋理工大学（Weisi Lin，IEEE Fellow）、纽约州立大学石溪分校

欢迎重视@CV顶刊顶会 微信大众号，认真且严肃的计算机视觉论文前沿报道~

期刊介绍：IEEE Transactions on Cybernetics（IEEE TCYB）是中科院Q1区期刊，归于我国计算机学会引荐的人工智能与模式识别范畴B类期刊，是图画处理及计算机视觉范畴公认的世界尖端期刊，偏重图画处理的前沿理论与办法，其最新的影响因子为21.6。

明显性方针检测使命（Salient object detection，SOD）以及光学遥感图画中的明显方针检测（RSI-SOD）是现在遥感图画解译的新式方向。但是，因为光学 RSI 和天然场景图画 (natural scene images，NSI) 之间的差异，直接将NSI-SOD办法应用于光学遥感图画中未能获得令人满意的成果。在本文中，来自上海大学、新加坡南洋理工大学等单位的研究者提出了一种针对光学遥感图画的相邻上下文和谐网络 (adjacent context coordination network，ACCoNet) 发表在人工智能范畴尖端期刊（IEEE Transactions on Cybernetics，TCYB）上。ACCoNet主要通过对RSI-SOD中的编码器-解码器架构中相邻特征的和谐性进行探究。具体来说，ACCoNet由三部分组成：1）编码器； 2) 相邻上下文和谐模块（adjacent context coordination modules，ACCoM）； 3）解码器。作为 ACCoNet 的关键组成部分，ACCoM 激活编码器输出特征图的明显区域并将其传输到解码器。ACCoM 包括一个部分分支和两个相邻分支以一起和谐多级特征。部分分支以自适应的方式杰出明显区域，而相邻分支引进相邻等级的全局信息以增强明显区域。此外，为了扩展解码器块的功能，作者将其扩展为两个支路，并提出一个分叉聚合块 (bifurcation-aggregation block，BAB) 来捕获解码器中的上下文信息。在两个基准数据集上进行的大量试验表明，所提出的 ACCoNet 在九个评估指标下优于 22 种最先进的办法，并且在单个 NVIDIA Titan X GPU 上运转能够到达 81 fps。

1.导言

明显性方针检测使命（SOD）旨在区别和杰出场景中在视觉上吸引人的方针/区域，现在，SOD 已扩展到光学遥感图画范畴，并吸引了大量的研究者。但是，天然图画和光学遥感图画在拍照设备、场景和视图方向上存在明显差异，导致它们在分辨率、方针类型和方针尺度方面存在差异。 因而，将天然图画上的SOD办法直接迁移到遥感图画上往往会导致性能不尽善尽美。如下图所示，最终一列成果为GateNet[1]的检测成果，GateNet是一种根据CNN结构的天然图画SOD代表办法，尽管作者将其在光学遥感图画上进行了再练习，但是其依然无法适应遥感图画。

现有专门针对遥感图画SOD规划的办法能够分为根据手工特征和根据CNN的办法两种。传统手工特征通常在光学遥感的复杂场景中失效，根据CNN的办法专注于探究有用的特征交互战略，以战胜光学遥感图画中的复杂拓扑和独特场景。密布留意力流体网络 (DAFNet) [2]是现在具有代表性的办法，其将捕捉边际和纹路信息的初级特征的浅层留意力线索转移到深层，即捕捉语义和方针的高级特征。但是，高层特征对低层特征的影响被忽略，特征交互掩盖缺乏，解码器块的级联结构简略，或许导致遥感图形中上下文信息的探究不完整。DAFNet的效果如上图倒数第二列所示，其失去了明晰的边界和更精密的细节。

2.本文办法

本文提出的ACCoNet根据编码器-解码器架构，整体结构如下图所示，由一个编码器网络、几个 ACCoM 组件和一个带有 BAB 模块的解码器网络组成。

2.1 相邻上下文和谐模块（ACCoM）

编码器网络结构采用VGG-16，包括5个图画分辨等级，其间最终一个最大池化层和三个全衔接层被切断。上下文信息对于RSI-SOD至关重要。它不仅存在于一个特征层中，并且存在于相邻层的特征中。并行运用具有不同卷积核的卷积层能够在一个特征等级内捕获部分和全局内容。这有利于捕获光学遥感图画中具有可变巨细或不确定数量的明显物体。在相邻等级的特征之间引进特征交互是捕获跨等级上下文互补信息的有用战略。因而，作者运用这两种战略探究上述两种上下文信息。具体而言，作者在 ACCoM 中规划了三个分支（即一个部分分支和两个相邻分支）。部分分支以自适应方式进一步进行特征调制，两个相邻分支由previous-to-current分支和subsequent-to-current分支组成。因为从前和后续特征与当前特征的尺度不同，因而两个相邻分支通过两个空间留意（SA）图供给跨尺度信息以两次对齐明显区域。

因而，将ACCoM的处理过程界说为 $F(\cdot )$，其公式如下：

其间 faccomt\boldsymbol{f}_{\mathrm{accom}}^{t}faccomt​ 是第 $t$ 层ACCoM的输出特征图。

部分分支对当前特征 ftf_tft​ 进行操作，包括两个主要操作。首先，运用四个具有不同扩张率的扩张卷积并行操作，其界说如下：

随后通过通道留意力对四种分辨率的特征图进行整合。相邻分支担任对相邻的特征进行信息交融，交融操作如下：

通过上述几步的特征和谐，作者将这三个分支的输出特征与原来的当前特征进行整合，如下：

2.2 分叉聚合模块（BAB）

BAB是解码器的根本单元，它处理来自当前 ACCoM 和从前 BAB 的特征，最终推断出明显方针的掩码，作者将BAB的处理界说为$B(\cdot )$，其公式如下：

随后将BAB-t层输出的特征界说为 fb−ct,lf_{\mathrm{b}-\mathrm{c}}^{t, l}fb−ct,l​，随后两个 所以两个分叉的输出特征（即fbift,lf_{bif}^{t, l}fbift,l​）能够计算为：

其间作者采用扩张卷积来扩展感触野并从 faccomtf_{\mathrm{accom}}^{t}faccomt​ 中捕获上下文信息，在具体操作中，考虑到每个 BAB 的特征分辨率的差异，作者为不同的 BAB 设置了不同的分叉扩张率。随后，运用衔接卷积运算将这两个分叉和原始特征 fb−ct,3f_{\mathrm{b}-\mathrm{c}}^{t, 3}fb−ct,3​ 聚合为:

这样操作，BAB能够在推理阶段根据 faccomtf_{\mathrm{accom}}^{t}faccomt​ 进一步扫描不同巨细的区域，能够很好地适应光学遥感图画中明显物体的形状、巨细和数量改变的特色。

2.3 丢失函数

ACCoNet的丢失函数由像素级的二元穿插熵（BCE）和IoU丢失联合构成，以完成全面和互补的内容增强。在练习阶段，将像素级监督附加到每个空间尺度上的解码器块以完成快速收敛，整体丢失函数能够表明为：

3.试验

本文的试验在两个公开数据集上进行，分别是ORSSD和EORSSD，ORSSD是第一个公开可用的 光学遥感SOD数据集，收集自 Google Earth 和一些现有的遥感数据集。它包括 800 个光学遥感图画，并为每个图画供给相应的像素注释。其间 600 张图画用作练习集，其余 200 张图画用作测验集。EORSSD是现在最大的遥感SOD公共数据集。它将原始 ORSSD 数据集扩展到 2000 个具有相应像素级 GT 的图画。 其间，1400张图片作为练习集，600张图片作为测验集。

作者进行了翔实的比照试验，试验成果如下图所示，包括了从2015年到2022年间的22种比照办法，ACCoNet在所有的评价指标上均获得了不错的效果。

在两个数据集上的PR曲线比照如下图所示，其间红线为ACCoNet的成果。

下图展现了ACCoNet与其他baseline办法在多方针、多微小方针和不规则几何结构的情况下的明显方针检测效果。

4.总结

本文对编码器-解码器架构中的上下文信息进行发掘，并根据遥感方针图画的特色，提出了一种简略有用的遥感明显方针检测网络ACCoNet。ACCoNet中提取的上下文信息有利于解决遥感SOD使命中的可变方针份额、方针形状和方针数量。在编码器中，提出的 ACCoM 能够用来和谐相邻特征（即当前、从前和后续特征）并探究明显区域激活的相邻信息。在解码器中，提出了 BAB 模块来捕获明显方针区域的多尺度信息。 ACCoM 和 BAB 都学习上下文信息以改善明显方针的特征表明。此外，作者进行了充沛的试验，比照了22品种似的办法，证明了本文办法的有用性。

参阅

[1] X. Zhao, Y. Pang, L. Zhang, H. Lu, and L. Zhang, “Suppress and balance: A simple gated network for salient object detection,” in Proc. ECCV , Aug. 2020, pp. 35–51.

[2] Q. Zhang et al., “Dense attention fluid network for salient object detection in optical remote sensing images,” IEEE Trans. Image Process., vol. 30, pp. 1305–1317, 2021.