前言 方针检测一般包括分类和回归两个子使命。在模型练习的进程中，本文依据回归使命的猜测成果动态分配分类使命的标签，一起利用分类使命的猜测成果来分配回归使命的标签，以此到达相互辅导、左右互搏的作用。
本文转载自计算机视觉研讨院
作者 | Edison_G
欢迎重视大众号CV技能攻略，专心于计算机视觉的技能总结、最新技能跟踪、经典论文解读、CV招聘信息。
计算机视觉入门1v3辅导班
论文地址：openaccess.thecvf.com/content/ACC…
源代码地址：github.com/ZHANGHeng19…
一、布景
有监督的方针检测是计算机视觉中的一项盛行使命，旨在经过鸿沟框定位方针并将它们中的每一个分配给预界说的类。依据深度学习的办法在很大程度上主导了这个研讨范畴，最近的办法都是依据Anchor机制的。Anchors是在整个图画上均匀堆叠的不同巨细和纵横比的预界说参考框。它们经过将方针检测问题转换为依据Anchor的鸿沟框回归和分类问题，协助网络处理方针尺寸和形状改变。大多数最先进的依据Anchor的方针检测器选用预界说的Anchor boxes和GT框（以下称为 IoU-anchor）之间的交集（IoU）来将样本Anchor分配给方针（正样本Anchor）或布景（负样本Anchor）类别。然后运用这些分配的Anchors来最小化练习期间的鸿沟框回归和分类丢失。
Anchor A和Anchor B与框GT具有相同的IoU，但具有不同的视觉语义信息。每个图画中的真实情况标记为虚线框。
依据深度学习的方针检测触及两个子使命：实例定位和分类。这两个使命的猜测别离告诉咱们图画上的“方位”和“什么”方针。在练习阶段，两个使命都经过梯度下降联合优化，可是静态Anchor匹配战略并没有明确获益于两个使命的联合处理方案，这或许会导致使命错位问题，即在评估阶段 ，该模型或许会生成具有正确分类但不准确定位的鸿沟框的猜测，以及具有准确定位但错误分类的猜测。这两种猜测都显着降低了整体检测质量。
二、前言
为了处理现有依据IoU-anchor战略的这两个局限性，研讨者提出了一种新的自适应Anchor匹配原则，由定位和分类使命相互辅导，动态分配练习Anchor样本为优化分类，反之亦然。特别是，将定位杰出的Anchor限制为也很好分类（定位到分类），以及那些分类杰出的Anchor也很好定位（分类到定位）。这些战略导致内容/上下文敏感的Anchor匹配并防止使命错位问题。尽管所提出的战略很简单，但在PASCAL VOC和MS COCO数据集上，尤其是在严格的方针（如AP75）上，Mutual Guidance与具有不同深度学习架构的传统静态战略比较，带来了共同的均匀精度 (AP) 增益。
新提出的办法有望在需求准确实例定位的使用程序上更有效，例如自动驾驶、机器人、户外视频监控等。
三、新结构
传统的Anchor通常是预先界说了一组Anchor的aspect ratio，在实际的滑窗练习进程中先用二分类模型判断这些Anchor的框内有没有物体，并依据设定的阈值将sample标注为positive或许negative或许ignored，然后进行bonding box回归进行refine，最终做多分类再回归调整方位。
这儿作者将预界说的Anchor和GT的IoU叫做IoU-anchor，IoU-anchor大于50%的作为positive，小于40%作为negative，其他作为ignored samples。如果没有Anchor的大于50%，那就选最大的IoU的那个作为positive。如下图所示：
- 定位到分类（Localize to Classify）
动态设置述分类办法中正负样本的阈值。由于随着练习进行，正样本变多（由于二分类模型才能逐步增强，可是阈值没变），作者认为这样会导致练习不稳定。
所以作者将拟将分类模型的分类才能归入阈值设置考量范围以动态设置阈值：在依据IoU-regressed标注确定正负样本的时分不再直接选用固定阈值，而是依据IoU-anchor中的正样本数量n来选取IoU-regressed的前n个样本标注为positive，其他negative和ignored同理。
这种战略能够随着定位才能进步而进步，一起也坚持了练习进程中正负样本分配的共同性！
- 分类到定位（Classify to localize）
在分类前期，模型处于初始状态，大多数分类的成果都接近于0，存在类似于引荐系统的冷启动问题一起也或许使得练习不稳定，所以研讨者界说了一个Classify to localize的战略来防止这种问题。
首要作者界说了一个IoU-amplified用于替换传统的IoU-regressed，其表达式如下:
其中是超参用于调整的增强系数，p是分类得分。此外，这一部分也选用了类似于前面定位到分类部分动态阈值设置的战略来设置这儿的正样本阈值。
明显开始时与GT的iou较大的anchor box置信度一般更高，被选中的概率也更高；当iou相一起，置信度p较高的anchor得到的IOUamplified也更大。上图的第四列是直接猜测的置信度，第五列是amplified之后的score。可以发现amplified后的成果与iou和p都有关。
IoU-amplifed总是高于IoU-anchor，并且amplification与猜测的Classif分数成正比。特别是越小amplification越强（留意要大于1），变大时就消失。经过这种交互作用，练习进程能够让回归好分类差的Anchor尽或许地提升分类精度，同样让分类好但回归差的Anchor尽或许地提升回归精度，然后一定程度处理 task-misalignment问题。
四、试验及可视化
练习阶段标签分配差异的可视化（图画巨细设置为320320像素）。红色、黄色和绿色Anchor框别离是由依据IoU-anchor、Localize to Classify和Classify to Localize分配的正样本Anchor。
欢迎重视大众号CV技能攻略，专心于计算机视觉的技能总结、最新技能跟踪、经典论文解读、CV招聘信息。
计算机视觉入门1v3辅导班
【技能文档】《从零搭建pytorch模型教程》122页PDF下载
QQ交流群：444129970。群内有大佬负责回答我们的日常学习、科研、代码问题。
其它文章
DiffusionDet：用于方针检测的扩散模型
CV小常识讨论与剖析(7) 寻觅论文立异点的新方式
CV小常识剖析与讨论(6）论文立异的一点误区
一文看尽深度学习中的各种留意力机制
MMYOLO 想你所想：练习进程可视化
顶刊TPAMI 2023！Food2K：大规模食物图画识别
用于准确方针检测的多网格冗余鸿沟框标注
2023最新半监督语义切割总述 | 技能总结与展望！
原来Transformer便是一种图神经网络，这个概念你清楚吗？
快速完成常识蒸馏算法，运用 MMRazor 就够啦！
常识蒸馏的搬迁学习使用
TensorFlow 真的要被 PyTorch 比下去了吗？
深入剖析MobileAI图画超分最佳方案：ABPN
3D方针检测中点云的稀少性问题及处理方案
一文深度剖析扩散模型究竟学到了什么？
OpenMMLab教程【零】OpenMMLab介绍与安装
代码实战：YOLOv5完成钢材表面缺点检测
TensorRT教程（六）运用Python和C++布置YOLOv5的TensorRT模型
超全汇总 | 计算机视觉/自动驾驶/深度学习资料合集！
高精度语义地图构建的一点思考
点云切割练习哪家强？监督，弱监督，无监督仍是半监督？
计算机视觉入门1v3辅导班
计算机视觉交流群
用于超大图画的练习战略：Patch Gradient Descent
CV小常识讨论与剖析（5）究竟什么是Latent Space?
【免费送书活动】关于语义切割的亿点思考
新方案：从错误中学习，点云切割中的自我规范化层次语义表示
经典文章：Transformer是怎么进军点云学习范畴的？
CVPR 2023 Workshop | 首个大规模视频全景切割比赛
怎么更好地应对下游小样本图画数据？不平衡数据集的建模的技巧和策
Transformer交流群
深度了解变分自编码器(VAE) | 从入门到通晓
U-Net在2022年相关研讨的论文引荐
用少于256KB内存完成边际练习，开销不到PyTorch千分之一
PyTorch 2.0 重磅发布：一行代码提速 30%
Hinton 最新研讨：神经网络的未来是前向-前向算法
聊聊计算机视觉入门
