本文首发于微信公众号 CVHub，不得以任何形式转载到其它平台，仅供学习沟通，违者必究！

R2AU-Net: 基于循环残差注意力和半监督学习范式的道路裂缝分割算法

Title: A FEW-SHOT ATTENTION RECURRENT RESIDUAL U-NET FOR CRACK SEGMENTATION

Paper: arxiv.org/pdf/2303.01…

Code: github.com/ikatsamenis…

导读

从图片中辨认路途破损程度是路途养护的重要日常作业，随着人工智能领域的鼓起，深度学习技能在路途基础设施的主动视觉查看中起着至关重要的效果。

R2AU-Net: 基于循环残差注意力和半监督学习范式的道路裂缝分割算法

为更好的动态习惯用户反应，本文首要讨论了一种关于小样本语义切割的路途裂缝主动切割算法，其依据具有循环残差和注意力模块的U-Net架构——Recurrent Residual and Attention U-Net。当一些新的校正样本被送入分类器时，选用再练习战略能够动态地微调U-Net的权重。大量实验标明，在名为CrackMap的新数据集上，所提出的小样本R2AU-Net框架在Dice和IoU目标方面优于其他最先进的网络，

布景介绍

依据路途裂缝切割的作业首要可分为两类，即依据传统图画处理算法和依据现代深度学习算法。

传统办法

依据传统图画处理的办法大都是一些手艺规划的模板按照一定的规律进行特征提取，如使用边缘、灰度、纹理等信息，此类办法不只费时吃力，极度依赖于专家经验，并且鲁棒性也非常差，只能适用于特定的环境下。

深度学习

依据深度学习的办法大都是依据卷积神经网络或许Transformer等架构进行端到端的特征提取。以路途裂缝切割为例，能够建模为一个二值切割网络，以原图作为输入，掩码图作为输出，经过练习主动学习出最优的参数。

R2AU-Net: 基于循环残差注意力和半监督学习范式的道路裂缝分割算法

办法

Framework

R2AU-Net: 基于循环残差注意力和半监督学习范式的道路裂缝分割算法

如图1(a)所示，本文依据U-Net网络并结合循环残差和注意力模块提出了一种适用于路途裂缝切割的网络，称为R2AU-Net。与规范U-Net比较，R2AU-Net 结合了递归残差卷积层，可确保更好地表明切割任务的特征和注意力区域，以突出显示经过跳跃连接传递的明显特征。

此外，本文针对以往办法仅能从以练习的标示数据中学习的限制，引入了一种依据 R2AU-Net 的半监督学习范式few-shot refinement计划，它能够依据用户的反应灵敏的调整模型的行为和权重，进一步提高切割功能，如图1(b)所示.

R2AU-Net

R2AU-Net 这块没什么好讲的，拆开看便是一个Recurrent Residual U-Net + Attention U-Net 的超级缝合怪。作者强调该“魔改”模型是特意针对切割RGB图画中的裂缝而规划的，因而供给了对主动化和机器人驱动的保护进程至关重要的各种目标和特点的详细信息，例如几许形状、类型、方向、长度 、密度和裂纹形状。

关于语义切割这一块这里咱们不会详细描述，感兴趣的小伙伴能够直接跳转到咱们的语义切割大总结，激烈安利给还没看过的小伙伴，分上、下两个篇章：

R2AU-Net: 基于循环残差注意力和半监督学习范式的道路裂缝分割算法

R2AU-Net: 基于循环残差注意力和半监督学习范式的道路裂缝分割算法

Few-shot learning for segmentation refinement

R2AU-Net: 基于循环残差注意力和半监督学习范式的道路裂缝分割算法

如上图所示，这是一种动态整改计划，能够依据用户反应，供给网络的全体功能。简单点讲，这其实便是增量学习的领域，其核心思维是如何坚持原有知识尽可能不被遗忘的前提下学习新的知识。

详细地，对于一个给定的图画方位 (i,j)(i, j)，咱们用 pi,jp_{i, j} 表明当时方位所对应的像素值。其次，对于每个输入 nn，咱们计算出它们的平均图画置信度得分 InI_{n}，如下所示：

In=1∑∀i,jij⋅∑i=1R∑j=1Cij⋅pijI_n=\frac{1}{\sum_{\forall i, j} \zeta_{i j}} \cdot \sum_{i=1}^R \sum_{j=1}^C \zeta_{i j} \cdot p_{i j}

其间 CC 和 RR 别离对应于图画的列和行。同时，当 pi,j>0p_{i, j}>0 时，ij∈0,1\zeta_{i j} \in {0, 1} 等于 1，否则为 0，其间检测阈值设置为 0.5。因而，置信度分数仅考虑深度分类器供给的图画 nn 上的破裂区域。随后，咱们依据 InI_{n} 分数对图画进行排名。排名较低的图画的 5% 供给给工程师专家，他们纠正模型的切割输出。最终，经过细化(纠正)的小样本标示数据被反应到网络以更新模型的权重。

关于增量学习的更多内容解读请移步至下方链接观看。

R2AU-Net: 基于循环残差注意力和半监督学习范式的道路裂缝分割算法

实验

R2AU-Net: 基于循环残差注意力和半监督学习范式的道路裂缝分割算法

R2AU-Net: 基于循环残差注意力和半监督学习范式的道路裂缝分割算法

总结

今日给我们介绍的这篇作业本身没什么创新性，旨在传递给我们一个观点。便是现有的网络基础架构其实现已发展得很成熟了，无论是经典的 CNNs 还是近几年大火的 Transformer，现在新出的作业简直都是大力出奇迹的节奏，经过堆积显卡跑融化实验发篇论文，诚心不建议大多数小伙伴去卷这个方向。反而像今日这篇作业，笔者感觉真挺好，结合已有的作业探索一些新的“组合”，多去尝试解决一些实践的场景。

写在最终

假如您也对人工智能和计算机视觉全栈领域感兴趣，激烈推荐您重视有料、风趣、有爱的公众号『CVHub』，每日为我们带来精品原创、多领域、有深度的前沿科技论文解读及工业成熟解决计划！欢迎添加小编微信号:cv_huber，一起讨论更多风趣的论题！