前语 论文提出了一种新的多视图散布式方针结构，以有用地削减练习和测验阶段的过拟合。
具体来说便是，在练习阶段，开发了一种多视图正则化元学习算法，运用多个优化轨道发生合适模型更新的优化方向。在测验阶段，运用多幅增强图画进行多视图猜测，缓解了猜测不稳定的问题，明显进步了模型的牢靠性。
在三个基准数据集上的很多试验验证了本文办法能够找到一个平整的最小值来增强泛化，并优于几种SOTA的办法。
欢迎重视大众号CV技能攻略，专心于核算机视觉的技能总结、最新技能盯梢、经典论文解读、CV招聘信息。现在大众号正在征稿中，能够获取对应的稿酬哦。
QQ沟通群: 444129970。群内有大佬负责解答大家的日常学习、科研、代码问题。
论文：arxiv.org/pdf/2112.12…
代码：github.com/koncle/MVDG
立异思路
传统的监督学习假定练习数据和测验数据来自同一个散布。但是，当练习数据和测验数据之间存在域搬运时，这种传统的假定在现实国际中并不总是满足。最近，学习一个鲁棒和有用的模型来对抗域搬运引起了相当多的重视。
无监督域习惯(unsupervised domain adaption, UDA)是域改换下最具代表性的学习范式之一，旨在处理在范畴改换下由符号源域向未符号方针域的习惯问题。
尽管现在的UDA模型取得了巨大的成功，但是将之前练习好的UDA模型布置到其他不行见区域时，需要将新搜集的不行见区域的数据从头练习模型。这种再练习进程不只增加了额外的空间/时间本钱，而且在某些情况下(例如，临床数据)还违反了隐私政策，使得这些UDA办法不适用于某些实际使命。
而在DG中，只需要从已有的源域学习相关知识，就能够将练习好的模型直接使用到以前没有见过的域上，而不需要再进行练习。为了保证模型在不行见的方针域上的有用性，以往的DG办法是经过学习域不变表明来削减源域对特定域的影响，但不行避免地存在过拟合的问题。
因而，根据元学习的办法已经成为练习中最受欢迎的抵抗过拟合的办法之一，它偶尔性地模拟域搬运进行正则化。但是，这些办法在每次迭代中只运用一个使命来练习它们的模型，这可能会导致有偏差和噪声的优化方向。
此外，在研究了练习模型在测验阶段的猜测后，过拟合也会导致猜测不稳定。作者经过对测验图画进行扰动(例如，随机裁剪和翻转)来进行试验。如图1所示，猜测在遭到扰动后通常会发生改变。
图1:PACS数据集上测验图画在不行见区域遭到轻微扰动时，猜测概率的改变示例。
如上所述，**过拟合问题不只出现在练习阶段，而且很大程度上也影响了测验进程。**为了避免过拟合，本文提出了一种多视图结构来处理泛化能力较差和猜测不稳定的问题。
本文的首要贡献
1、在练习中，规划了一个有用的多视图正则化元学习计划，以避免过拟合，并找到一个平整的最小值，能够更好地泛化。
2、从理论上证明了增加练习阶段的使命数量能够使泛化距离变小，泛化性更好。
3、在测验阶段，引入了一种多视图猜测策略，经过运用多视图信息来进步猜测的牢靠性。
4、本文的办法在多个DG基准数据集进步行了广泛的试验，并优于其他SOTA办法。
办法
情景练习结构
假定数据空间和标签空间分别为X和Y，N个源域为D1，…， DN，将参数化的模型记为f。
给定输入x，模型输出f(x|)，将一个域作为元测验域Dte，其他域作为元序列域Dtr。然后从这些域抽取小批量样本，得到元序列Btr和元测验数据Bte。参数定义B上的损失:
与以往选用二阶梯度更新模型参数的元学习算法不同，Reptile是一阶算法，以下降核算本钱。因而，选用MLDG的Reptile版别。在第j次迭代时，给定模型参数j，先用L(Btr|j)，再用L(Bte|j)练习模型。然后，得到沿该优化轨道的暂时更新参数tmp。
最后，以(tmp−j)为优化方向，更新原始参数j:
这样，tmp就能够运用一部分当时权值空间，为当时采样使命找到一个更好的优化方向。
多视图正则化元学习
尽管Reptile下降了核算本钱，但上述练习计划存在几个问题。
1、模型沿单一优化轨道练习，只发生一个暂时参数tmp。
2、由于该模型在每个轨道中运用单个使命进行练习，因而它无法充沛探究权重空间，并且难以逃避部分极小值，从而导致过拟合问题。
为了更好地探究权重空间以取得更精确的优化方向并消除过度拟合的影响，经过在每次迭代中运用多视图信息，规划了一种简略而有用的多视图正则化元学习（MVRML）算法。
具体而言，为了找到稳健的优化方向，将沿着不同的优化轨道取得T个暂时参数{1tmp，…，Ttmp}。与MLDG不同，运用s个采样使命练习每个暂时参数，以帮助其脱离部分最小值。
此外，在不同的轨道中对不同的使命进行采样，以鼓励暂时模型的多样性。从这些使命中学习能够运用补充视图探究权重空间中的不同信息。完整算法如算法1所示，如图2所示。
图2：Reptile和多视图正则化元学习算法的图示。
多视图猜测
由于本文的模型是在源域内练习的，因而学习到的数据的特征表明是很好聚类的。但是，当出现不行见的图画时，由于过拟合和域差异，这些图画更简单接近决议计划边界，导致特征表明不稳定。当对测验图画施加小扰动时，它们的特征表明会被推过边界，如图1所示。
因而，作者选用多视图猜测(multi-view prediction, MVP)来替代单一视图进行测验。经过多视图猜测，整合这些视图的互补信息，取得更稳健、更牢靠的猜测结果。
假定有一张图画x要测验，经过一些微弱的随机改换T()生成该图画的不同视图。则图画猜测p由:
只对MVP使用弱改换(如随机翻转)，由于强增强(如色彩抖动)会使增强图画违背原始图画的流形，导致猜测精度不理想。
试验
表1:运用ResNet-18(左)和ResNet-50(右)的PACS数据集上的域泛化精度(%)。
表3:消融试验在PACS数据集上对DeepAll、Reptile和多视图正则化元学习(MVRML)、多视图猜测(MVP)各组件的准确率(%)。
图4:ERM、Reptile和MVRML在PACS方针区域的部分锐度比较。
表4:PACS数据集上MVRML不同使命采样策略的比较。
图5:MVRML中使命数量(a)和轨道数量(b)的影响。
表5:左表为ResNet-18在PACS数据集上不同办法的准确率和猜测改变率(PCR)。右表显示了在PACS数据集上将MVP使用于其他SOTA办法的准确率(%)。
结论
为了抵抗过拟合，根据使命增强练习和样本增强测验的DG模型都能进步模型的性能，本文提出了一种新的多视图结构，以进步泛化能力，削减过拟合导致的不稳定猜测。
在练习进程中，规划了一种多视图正则化元学习算法。在测验进程中，引入多视图猜测，生成单个图画的不同视图，以稳定集成的猜测。经过在三个DG基准数据集进步行广泛的试验，验证了本文办法的有用性。
搞了个QQ沟通群，计划往5000人的规划扩展，还专门找了大佬保护群内沟通氛围，大家有啥问题能够直接问，首要用于算法、技能、学习、作业、求职等方面的沟通，征稿、大众号或星球招聘、一些福利也会优先往群里发。感兴趣的请搜索群号：444129970
加微信群加知识星球方式：重视大众号CV技能攻略，获取编辑微信，约请加入。
欢迎重视大众号CV技能攻略，专心于核算机视觉的技能总结、最新技能盯梢、经典论文解读、CV招聘信息。现在大众号正在征稿中，能够获取对应的稿酬哦。
其它文章
ECCV 2022 | MorphMLP：一种有用的用于视频建模的MLP类架构
CVPR 2022 | BatchFormerV2：新的即插即用的用于学习样本联系的模块
CVPR 2022｜RINet：弱监督旋转不变的航空方针检测网络
ECCV 2022 | 新计划: 先剪枝再蒸馏
ECCV 2022 | FPN：You Should Look at All Objects
ECCV 2022 | ScalableViT：从头思考视觉Transformer面向上下文的泛化
ECCV 2022 | RFLA：根据高斯感触野的细小方针检测标签分配
Pytorch转onnx详解
Pytorch 加快数据读取
各种神经网络层和模块的核算量和参数量估量总结
迁移科技-工业机器人3D视觉方向2023校招-C++、算法、计划等岗位
文末赠书 |【经历】深度学习中从基础总述、论文笔记到工程经历、练习技巧
ECCV 2022 | 通往数据高效的Transformer方针检测器
ECCV 2022 Oral | 根据配准的少样本异常检测结构
CVPR 2022 | 网络中批处理归一化估量偏移的深入研究
CVPR2022 | 自注意力和卷积的交融
CVPR2022 | 从头审视池化：你的感触野不是最理想的
CVPR2022 | A ConvNet for the 2020s & 如何规划神经网络总结
核算机视觉中的论文常见单词总结
核算机视觉中的高效阅览论文的办法总结
