前语 水下方针检测旨在对水下场景中的物体进行定位和辨认。这项研讨因为在海洋学、水下导航等范畴的广泛使用而引起了持续的关注。但是,因为杂乱的水下环境和光照条件,这仍然是一项艰巨的使命。因此近年来有多个赛事与水下方针检测相关,接下来咱们将介绍在水下方针检测范畴的深度学习办法概述。

本文转载自AI约读社

作者丨南山

欢迎关注大众号CV技能攻略,专注于核算机视觉的技能总结、最新技能盯梢、经典论文解读、CV招聘信息。

核算机视觉入门1v3辅导班

01 水下方针检测的要害问题

1.1 水下图片含糊

在水下场景中,因为光照影响大大降低了水下图画的质量,然后导致了可见度丢失,弱对比度和纹路失真,颜色改变等问题(如下图所示),并且在水下场景中环境杂乱,这导致水下方针检测更加困难。

一文梳理水下目标检测方法

1.2 小方针检测

水下环境中的方针物体一般很小,如:海胆,扇贝,海参等,而当时依据深度学习的方针检测器一般无法有效地检测小物体,或许对小方针物体的检测功能较差。

一文梳理水下目标检测方法

一文梳理水下目标检测方法

02 水下方针检测的深度学习办法

缓解水下图片含糊首要是经过对水下图片进行增强,去噪,复原等办法,关于小方针检测的问题能够经过数据扩增和改进网络的方式来缓解,接下来咱们将介绍近年来解决水下方针检测问题的深度学习办法。

Underwater object detection using Invert Multi-Class Adaboost with deep learning

论文链接: arxiv.org/pdf/2005.11…

代码链接: github.com/LongChenCV/…

首要办法:文中提出了一种用于水下方针小样本检测的SWIPENet,网络中提出了一种样本重加权算法IMA(Invert Multi-Class Adaboost),IMA会削减missed objects(丢失方针)的权重,以削减这些“干扰”样本的影响。并且在SWIPENet中引入了具有RELU的空泛卷积层(dilated conv)它们能够在不献身特征图分辨率的状况下取得大的承受区域。

IMA算法:首要顺序练习多个基本分类器,并依据其过错率Em分配权重值。然后,将由前面的分类器分类过错的样本分配较高的权重,然后使后边的分类器专注于学习这些样本。最终,将一切弱基础分类器组合在一起,构成具有相应权重的全体分类器。IMA还练习了M次SWIPENet,然后将它们整合为一个统一模型。不同的是,在每次练习迭代中,IMA都会削减丢失方针的权重,以削减这些“干扰”样本的影响。

试验成果:到达URPC 2017的冠军成果,45.0map,冠军为45.1map。

SWIPENet的网络结构图:

一文梳理水下目标检测方法

RoIMix: Proposal-Fusion among Multiple Images for Underwater Object Detection

论文链接: arxiv.org/abs/1911.03…

首要办法:URPC 2019水下方针检测竞赛冠军计划:多图画交融增强,针对水下场景堆叠和遮挡(水下生物喜欢聚在一起)、含糊(水中沉淀物导致)的问题,提出一种依据候选框交融的图画增强办法,以生成模拟堆叠、遮挡、含糊的练习样本,然后进步模型的mAP和鲁棒性。

RoIMix算法运用RPN发生ROI,并以随机的份额混合它们。该份额是依据Beta分布发生的,然后,运用混合样本来练习模型。

下图中: 即为用RoIMix图画增强办法生成的模拟遮挡+含糊的练习样本

一文梳理水下目标检测方法

RoIMix的网络结构图:

一文梳理水下目标检测方法

试验成果:到达URPC 2019的冠军计划,ROIMIX和BaseLine之间的最大功能差异为9.05%个mAP值。

一文梳理水下目标检测方法

An Underwater Image Enhancement Benchmark Dataset and Beyond

论文链接: arxiv.org/abs/1901.05…

代码链接: github.com/Li-Chongyi/…

首要办法:文中提出了一个新的具有950张水下图片的数据集UIEBD,包含各个水下场景,以及水下各种特征退化(光线缺乏、雾)的状况,用数据集UIEBD对12种现阶段干流的水下图片增强算法进行评测和验证。并且提出依据fusion的水下图片增强模型DuwieNet。

12种水下数据扩增办法比较:

一文梳理水下目标检测方法

一文梳理水下目标检测方法

DUIENet: 依据所构建的UIEBD数据集,作者提出了一种用于水下图画增强的CNN模型,称为DuwieNet。DuwieNet是—种门控交融网络,它将输入与猜测的置信度图交融以取得增强的成果。首要经过FTUs将输入转换为准确的输入,然后猜测置信度图。最终,将改进后的输入与相应的置信度图进行交融,得到增强后的成果。其结构图如下所示:

一文梳理水下目标检测方法

试验成果:

一文梳理水下目标检测方法

一文梳理水下目标检测方法

03 水下方针检测竞赛的开源计划

在上一年的2020年全国水下机器人(湛江)大赛水下方针检测竞赛很多,部分选手公开了他们的参赛计划,他们在竞赛中的经验这对咱们研讨水下方针检测具有很大的参阅价值,下面我依据运用的检测结构进行分类,简单介绍其间的几个开源计划

3.1 mmdection

和鲸社区Kesci 水下方针检测算法赛(光学图画赛项)三等奖 单模计划

代码链接:github.com/milleniums/…

办法简述:

  1. 运用两阶段检测结构,保证精度要求;

  2. 运用FPN,增强小方针的检测作用;

  3. 运用Mixup、旋转等无损的数据增强技能,减轻网络过拟合,并提高模型泛化才能;

  4. 运用多尺度练习与猜测,习惯图片分辨率差异,能够让参加练习的方针巨细分布更加均衡,使模型对方针巨细具有必定的鲁棒性;

  5. 参阅ResNet论文,运用Global Context ROI为每个候选框增加上下文信息,充分利用数据分布特色,提高了检测精度。

融化试验:

一文梳理水下目标检测方法

和鲸社区Kesci 水下方针检测算法赛(光学图画赛项)30(A榜) / 31(B榜)

代码链接: github.com/Wakinguup/U…

办法简述:

1、数据增强:

选用Mixup、实例平衡增强、含糊(Median Blur和 Motion Blur)、Retinex、泊松交融、标签滑润。 2、模型结构:mmdetection代码库中的Cascade R-CNN模型,其间backbone是ResNeXt101-64x4d (64是基数Cardinality,X101的一个block的group数量。而4d是指bottleneck的宽度)。模型一起也搭配了FPN[3],增强模型对小方针的检测才能。

3.2 EfficientDet

EfficientDet练习水下方针检测数据集

代码链接: github.com/DataXujing/…

办法简述:

这个运用EfficientDet进行水下方针检测,仅是baseline无任何tricks,Step by Step演示怎么练习最近开源的相对SOTA的Pytorch版的EfficientDet的练习,评价,揣度的进程。像paper中提到的一样,咱们并没有运用任何数据增强或模型交融等后处理的trick来进步模型的精度,如果你想增加数据增强的策略能够在efficientdet/dataset.py中完成;

3.3 YOLOV5

咱们团队这次也参加了2021年全国水下机器人(湛江)大赛,为大家开源了YOLOV5检测的baseline

代码:github.com/wangdongdut…

一文梳理水下目标检测方法

04 总结

水下方针检测目上一任然还是一个具有应战的范畴, 相比于传统图画处理办法分多个过程和环节处理检测使命, 依据深度学习的办法将其统一为端到端的特征提取和分类。尽管水下方针检测技能已经不断地从学术研讨走向老练的工业使用, 但是仍然有一些需求解决的问题。

本文仅做学术共享,如有侵权,请联络删文。

欢迎关注大众号CV技能攻略,专注于核算机视觉的技能总结、最新技能盯梢、经典论文解读、CV招聘信息。

【技能文档】《从零建立pytorch模型教程》122页PDF下载

QQ沟通群:444129970。群内有大佬负责回答大家的日常学习、科研、代码问题。

模型布置沟通群:732145323。用于核算机视觉方面的模型布置、高功能核算、优化加速、技能学习等方面的沟通。

其它文章

深度理解变分自编码器(VAE) | 从入门到精通

核算机视觉入门1v3辅导班

核算机视觉沟通群

用于超大图画的练习策略:Patch Gradient Descent

CV小知识讨论与分析(5)究竟什么是Latent Space?

【免费送书活动】关于语义切割的亿点考虑

新计划:从过错中学习,点云切割中的自我规范化层次语义表示

经典文章:Transformer是怎么进军点云学习范畴的?

CVPR 2023 Workshop | 首个大规模视频全景切割竞赛

怎么更好地应对下流小样本图画数据?不平衡数据集的建模的技巧和策

Transformer沟通群

经典文章:Transformer是怎么进军点云学习范畴的?

CVPR 2023 Workshop | 首个大规模视频全景切割竞赛

怎么更好地应对下流小样本图画数据?不平衡数据集的建模的技巧和策

U-Net在2022年相关研讨的论文引荐

用少于256KB内存完成边际练习,开销不到PyTorch千分之一

PyTorch 2.0 重磅发布:一行代码提速 30%

Hinton 最新研讨:神经网络的未来是前向-前向算法

聊聊核算机视觉入门

FRNet:上下文感知的特征强化模块

DAMO-YOLO | 逾越一切YOLO,统筹模型速度与精度

《医学图画切割》总述,详述六大类100多个算法

怎么高效完成矩阵乘?万文长字带你从CUDA初学者的角度入门

近似乘法对卷积神经网络的影响

BT-Unet:医学图画切割的自监督学习结构

语义切割该怎么走下去?

轻量级模型规划与布置总结

从CVPR22出发,聊聊CAM是怎么激活咱们文章的热度!

入门必读系列(十六)经典CNN规划演变的要害总结:从VGGNet到EfficientNet

入门必读系列(十五)神经网络不work的原因总结

入门必读系列(十四)CV论文常见英语单词总结

入门必读系列(十三)高效阅览论文的办法

入门必读系列(十二)池化各要点与各办法总结

TensorRT教程(三)TensorRT的装置教程

TensorRT教程(一)初次介绍TensorRT

TensorRT教程(二)TensorRT进阶介绍