使用自监督学习重建动态驾驶场景

这篇文章开始宣布在 NVIDIA 技能博客上。

从单调乏味的高速公路到日常的社区出行，驾驭一般都很安静。因此，在实际世界中搜集的大部分主动驾驭轿车 (AV) 开发练习数据严重倾斜于简单的场景。

这给部署稳健的感知模型带来了应战。AV 有必要经过全面的练习、测验和验证，才干处理杂乱的状况，而这需求涵盖此类状况的很多数据。

模仿为在实际世界中查找和搜集此类数据供给了一种替代方案，而这需求十分耗时和本钱。但是，大规模生成杂乱的动态场景仍然是一个严重妨碍。

在最近宣布的一篇论文中，NVIDIA Research 展现了一种新的根据神经辐射场（NeRF）的办法（称为 EmerNeRF），它怎么运用自监督学习精确生成动态场景。经过自监督进行练习，EmerNeRF 不仅在处理动态方针时优于其他根据 NeRF 的办法，而且在处理静态场景时也体现出色。有关更多概况，请参阅 EmerNeRF：经过自监督对紧迫时空场景进行分化。

在与相似的 NeRF 一同运转 EmerNeRF 时，它将动态场景重建精确率进步 15%，静态场景进步 11%，此外，新颖的视图组成也进步了 12%.

处理根据 NeRF 的办法中的约束

NeRF 可接收一组静态图画，并将其重建为传神的 3D 场景。它们可以经过驱动日志创立高保真模仿，以进行闭环深度神经网络 (DNN) 练习、测验和验证。

但是，当时根据 NeRF 的重建办法难以处理动态方针，而且已证明难以扩展。例如，尽管一些办法可以生成静态和动态场景，但它们需求真值 (GT) 标签才干生成。这意味着，有必要运用主动符号技能或人工标示器精确概述和定义驾驭日志中的每个方针。

其他 NeRF 办法依赖于其他模型来取得有关场景的完好信息，例如光流。

为了处理这些约束，EmerNeRF 运用自监督学习将场景分化为静态、动态和流场。模型从原始数据中学习相关和结构，而不是依赖人类符号的 GT 注释。然后，它一起烘托场景的时刻和空间方面，无需外部模型填补空白，一起进步精确性。

因此，尽管其他模型往往会生成过于平滑的烘托和精度较低的动态方针，但 EmerNeRF 可以重建高保真布景场景和动态方针，一起保留场景的精密细节。

表 1.将 EmerNeRF 与其他根据 NeRF 的动态场景重建办法进行比较的评价成果，这些办法分为场景重建和新视图组成的性能类别

表 2.比较 EmerNeRF 与其他根据 NeRF 的静态场景重建的评价成果

EmerNeRF 办法

运用自监督学习，而非人工标示或外部模型，使 EmerNeRF 可以绕过之前办法遇到的应战。

EmerNeRF 旨在将场景分化为动态元素和静态元素。在分化场景时，EmerNeRF 还可以从动态物体(如轿车和行人)中估量流场，并运用此字段经过跨时刻聚合特征来进一步进步重建质量。其他办法运用外部模型供给此类光流数据，这一般会导致不精确。

经过一起组合静态、动态和流场，EmerNeRF 可以独立表明高度动态的场景，从而进步精确性并支持扩展到通用数据源。

运用根底模型添加语义了解

运用根底模型进行额外监督，EmerNeRF 对场景的语义了解得到了进一步加强。根底模型对物体(例如特定类型的车辆或动物)有广泛的了解。EmerNeRF 利用视觉转换器 (ViT) 模型(例如 DINO 和 DINOv2)将语义特征归入场景重建。

这使得 EmerNeRF 可以更好地猜测场景中的物体，并执行主动符号等下流使命。

但是，根据 Transformer 的根底模型带来了新的应战：语义特征可能会体现出与方位相关的噪声，这可能会显着约束下流使命的性能。

为了处理噪声问题，EmerNeRF 运用方位嵌入分化来恢复无噪点特征图。这解锁了根底模型语义特征的完好、精确表明，如图 5 所示。

评价 EmerNeRF

概况见EmerNeRF：经过自监督对紧迫时空场景进行分化。此外，咱们经过整理一个包含 120 个独特场景的数据集来评价 EmerNeRF 的性能，这些场景被分为 32 个静态场景、32 个动态场景和 56 个不同场景，它们适用于高速和低光照等具有应战性的条件。

然后，评价每个 NeRF 模型根据数据集的不同子集重建场景和组成新视图的能力。

因此，咱们发现 EmerNeRF 在场景重建和新视图组成方面的体现始终如一，而且显着优于其他办法，如表 1 所示。

EmerNeRF 的体现也优于专为静态场景设计的办法，这表明将场景分化为静态和动态元素的自监督式分析可改善静态重建和动态重建。

结束语

只要可以精确再实际际世界，AV 模仿才会有效。跟着场景变得愈加动态和杂乱，对保真度的需求也在添加，实现这一方针的难度也在添加。

与之前的办法比较，EmerNeRF 可以更精确地表明和重建动态场景，无需人工监督或外部模型。这使得可以大规模重建和修改杂乱的驾驭数据，处理主动驾驭练习数据集中的当时不平衡问题。

咱们迫切希望研讨 EmerNeRF 开释的新功能，包含端到端驾驭、主动符号和模仿。

如需了解概况，请拜访 EmerNeRF 项目页面 并阅览论文 EmerNeRF：经过自监督对紧迫时空场景进行分化。

阅览原文