元探究：依据场景方针谱的探究性分层视觉和言语导航
Project Navigation： rllab-snu.github.io/projects/Me…
论文布景与奉献
1、概念与布景
虚拟导航是指在虚拟环境中进行导航使命，进一步能够说是像原神或王者荣耀中的探究峡谷地图使命。与此同时，视觉与言语交互技能成为一个新式穿插的热点。近年来，研讨者期望智能体在对视觉和言语信息有用处理的基础上经过跨模态语义对齐实现对新环境和人类意图的精确感知，并要求在感知前提下自主做出途径规划和行为决策。
2、问题与应战
经过对VLN范畴中很多代表性作业进行梳理和总结，在复杂的虚拟环境中导航使命面临的关键性应战大致分为以下三方面：
- 跨模态语义难以对齐
- 言语是多字符组合，视觉对应的图画区域是具有二维空间关系的多通道像素值的组合，数据差异性很大
- 语义了解与推理困难（导航使命部分）
- 人类不行能给出带有详细移动步骤的指令，智能体需求识别出指令包括的关键场景和物体，并将语义信息与视觉信息一起进行推理，然后得到动作空间的途径规划，并将其分解为一系列履行步骤。很大难点在于，指令的语义与行为的细粒度对齐关系通常较少在练习数据中显式地进行标示 ，因而要求具有自主的推理才干
- 模型泛化才干较弱
- 场景泛化才干——因为光照、视角等要素变化，来自新环境的视觉模态输入自身具有不同特性信息，智能体首要对其进行精确的感知和了解，才干继续后续的导航使命
- 指令泛化才干——受到数据采集和标示等要素的限制，练习数据中指令有限，面对新的多样的指令信息怎么学习和了解
- 行为泛化才干——能够了解新指令还不行，精确完结指令对应的动作十分困难
3、本文所研讨问题
首要应战：怎么了解不知道环境的自然言语指令
首要限制：假如一个动作是错误的，那么智能体无法遵从指令或探究不必要的区域，从而导致导航走上不行康复的道路。
4、本文首要奉献
Ⅰ 提出一种新颖有用的依据场景方针谱的探究性分层视觉和言语导航办法Meta-Explore，该办法经过结合探究和运用战略，实现高效、精准的虚拟导航。
Ⅱ 提出了一种新的视觉标明办法——场景方针谱（Spectral-domain Object Spectrum, SOS），用于辅导导航进程。该办法能够有用地捕捉场景中物体之间的关系，并提供有用的语义信息头绪。
Meta-Explore办法结构
总结：凭借SOS视觉表达获得语义上有意义的头绪，运用形式挑选器构建包括探究和运用两个模块在内的分层导航模型
1️⃣形式挑选器
1、初始化PexploreP_{explore}和拓扑图（途径规划中最短途径问题一般都要用到这个Dijskra算法或者是A*算法），先是随机探究更新拓扑图和节点对应物体特征、全景RGB特征以及言语指令。
2、这儿有一句在 时间t 状况下cross-modal embedding是指将视觉信息和言语信息加权求和，生成代表当时状况的躲藏状况的进程。详细来讲，就分红：
榜首部分，预处理完了之后，作者用ResNet-101作为卷积神经网络模型进行特征提取，这儿在Exploitation模块中是运用场景方针谱这个办法把物体信息捕捉到频谱域上的。
第二部分，便是用Transformer网络将导航指令转换成特征向量
第三，便是穿插注意力机制，对视觉特征和言语特征进行加权求和，而且输出一个代表当时状况的躲藏状况，叫做 Hidden State
最终，为了考虑到历史节点的影响，将拜访过的节点信息进行编码融合，赋值给Ht
接着看算法，下面就用到了PexploreP_{explore} 这个值，便是用到了形式挑选器，假如PexploreP_{explore} 大于0.5，那么就探究形式，假如小于0.5就转换成运用形式。最下面这儿的SmodeS_{mode} 其实便是形式挑选器，它来调节PexploreP_{explore} 的大小，进而决定下一步举动的形式。
然后让我们看看论文里关于挑选器的一些图：
2️⃣探究模块——随机探究，更新拓扑图
1、拓扑图构建首要分红2部分，便是要将环境中节点分为两类，已拜访和未拜访，未拜访的意思便是智能体没抵达可是能够看得到。然后对那些未拜访的节点进行边缘连接。
2、自我监督便是运用2层前馈神经网络来得到估计值A，跟实在值B比较，我图上面不该该加绝对值的这块，意思便是假如A=B那就按照最短途径上挑选下一个候选节点，假如A>B那么说明智能体依据猜测跑快了，所以要保守一点举动；假如A<B那么说明智能体依据猜测跑慢了，所以要激进一点举动。
3、最终探究战略，依据算法来看，是依据Softmax函数实现的，
依据后面弥补资料以及相关的资料，我大致认为是这样核算的：
也便是，智能体会将未拜访节点的探究概率经过softmax来生成一个权重的概率散布，随机挑选一个未拜访节点，并将其作为下一步要前往的方针。
（这儿之所以屏蔽了已拜访节点的探究概率核算，便是为了增强智能体的鲁棒性，避免陷入部分最优解的状况）
3️⃣运用模块
最终总结其间的技能难点在于：
1、SOS怎么实现可查找范围扩大？
2、部分方针是依据导航得分确认的，那导航得分是怎么核算的？
3、规划途径到部分方针
有新型的视觉表达办法，SOS场景方针谱，首要技能体现在二维傅里叶变换上。首要便是用SGCN办法来生成物体信息标明，能够将物体信息捕获在频谱域上，而且比RGB图画嵌入等办法愈加易于猜测
部分方针查找：
Step 1 在SOS中，智能体运用SGCN生成的频谱域中的物体信息来构建方针向量，将其与周围一切可调查节点之间的特征向量进行比较，核算它们之间的语义类似度，挑选类似性得分最高的节点确认为方针节点。（语义类似度依据余弦类似度的办法，智能体将该节点特征向量与周围一切调查节点之间的特征向量进行内积核算，并将成果除以各自的模长得到）
导航试验部分
1、VLN数据集=进程驱动数据集+方针驱动数据集
-
R2R数据集 <进程驱动>
榜首个依据实在室内场景的最常用的数据集。下图中, 上半部为智能体沿某条途径运动时的场景图序列, 蓝色箭头标明当时场景下一步的运动方向; 下半部为该途径对应的 3 条指令, 指令中的色彩标示与上半部途径图画序列的方框色彩相对应。
-
SOON数据集<方针驱动>
-
REVERIE数据集<方针驱动>
特色：指令侧重重视对于方针物体的描绘, 而移动进程则十分简略, 意图是评价智能体自主导航并精确识别寻觅方针物体的才干。
2、评价方针（评价智能体导航精确性）
- Navigation Score首要重视途径规划方面的体现，包括了途径长度 TL、成功率 SR、成功率加权逆途径长度 SPL、运用Oracle战略核算的导航使命成功率 OSR。
- Object grounding performanc则首要重视代理人在识别和定位方针物体方面的体现，包括了方针发现成功率 FSR和方针发现成功率加权逆途径长度 FSPL。
3、比较类型和办法的设置
- For each tasks:recurrent, sequential, and topological map
- For specific exploitation methods: homing，jump和local goal search
4、与常见VLN基准测验集比较
在SOON数据集上，Meta-Explore办法相对于其他基线办法并没有显着的优势。尽管Meta-Explore在测验集未见过场景中获得了较好的体现，但在验证集和测验集已见过场景中并没有显着优势。
在REVERIE数据集上，因为该数据集是一个新颖的多模态导航使命，因而没有可比性的基线模型。可是，在试验成果中能够看出，Meta-Explore相对于随机探究战略有所提高，而且能够经过Meta-Explore来适应不同的导航场景。
归纳来看，Meta-Explore办法在R2R数据集上体现较好，在SOON数据集上体现一般，在REVERIE数据集上也有必定的提高。这一定论标明，Meta-Explore办法能够适用于不同类型的导航使命，而且具有必定的泛化才干。
（❗但注意上述成果仅适用于确认的三个数据集，在实际运用中，还需求考虑模型的可扩展性、鲁棒性等要素，并进行愈加全面和深化的评价）
5、与不同类型的部分查找办法比较
该部分经过试验比较了运用不同类型的部分方针查找办法对导航使命功能的影响，并分析了SOS特征在导航使命中的效果。作者运用了R2R数据集和SOON数据集进行评价。其间，R2R数据集是一个依据自然言语描绘的导航使命，SOON数据集则是一个依据视觉图画的导航使命。对于这两个数据集，作者别离运用了Oracle、Random、Greedy和SOS四种不同类型的本地方针查找办法，并比较了它们在成功率和SPL等方针上的体现。 试验成果标明，在R2R数据集上，运用Oracle办法能够获得最好的功能；而在SOON数据集上，运用SOS办法能够获得最好的功能。此外，在两个数据集上都发现，相对于Random和Greedy办法，SOS办法能够显著提高导航使命功能。
在弥补材猜中有个部分方针查找比照图的例子：
6、融化研讨
