本文已参与「新人创造礼」活动，一同开启创造之路!
点击进入→主动驾驭之心技能沟通群
后台回复【ECCV2022】获取ECCV2022一切主动驾驭方向论文！
1 主动驾驭中的高精地图生成技能
在曩昔几年中，主动驾驭一直是最受欢迎和最具挑战性的话题之一。在完成完全自主的路途上，研讨人员运用了各种传感器，如激光雷达、相机、惯性丈量单元（IMU）和GPS，并开发了用于主动驾驭运用的智能算法，如方针检测、方针切割、障碍防止和途径规划。近年来，高清晰度（HD）地图引起了广泛重视。因为高清地图在定位中的高精度和信息水平，它当即成为主动驾驭的要害组成部分。从百度阿波罗（Baidu Apollo）、英伟达（NVIDIA）等大型安排到个人研讨人员，现已为主动驾驭的不同场景和意图创立了高清地图。有必要回忆高清地图生成的最新办法，论文首要回忆了运用2D和3D地图生成的最新高清地图生成技能，介绍了高清地图及其在主动驾驭中的用途，并给出了高清地图生成技能的详细概述。除此之外，还评论了当时高清地图生成技能的局限性，以推进未来的研讨。
2什么是高精地图？
高清地图包括主动驾驭所需的路途/环境的一切要害静态属性（例如：路途、建筑物、交通灯和路途符号），包括因为遮挡而无法由传感器恰当检测到的方针。近年来，用于主动驾驭的高清地图以其高精度和丰富的几许和语义信息而出名。它与车辆定位功用严密衔接，并不断与不同传感器（包括激光雷达、雷达和摄像机）交互，以构建自主体系的感知模块，如下图所示：
在主动驾驭商场上没有独特的规范高清地图结构。但是，商场上有一些常用的高清地图结构，如导航数据规范（NDS）、动态地图渠道（DMP）、高清实时地图和TomTom。大多数结构共享相似的三层数据结，下表显示了由TomTom和Lanelet（Bertha Drive）界说的三层结构化高清地图。
第一层“路途模型”界说了路途特征，如拓扑、行进方向、高程、坡度/坡道、规矩、路缘/鸿沟和交叉口。它用于导航。第二层，车道模型，界说车道级别特征，如路途类型、线路、路途宽度、停车区域和速度约束。该层用作主动驾驭的感知模块，依据实时交通或环境做出决策。望文生义，最终一层定位模型在高清地图中定位主动车辆。该层包括路途设备，如建筑物、交通信号、标志和路面符号。这些功用有助于主动车辆快速定位，尤其是在具有丰富特征的城市区域。
3高精地图的数据采集
数据源/搜集是生成高清地图的第一步。运用移动地图体系（MMS）进行数据搜集，MMS是一种配备地图传感器的移动车辆，包括GNSS（全球导航卫星体系）、IMU、激光雷达（光探测和测距）、相机和雷达，用于搜集地舆空间数据。
商业化高清地图供给商选用众包办法搜集数据，以构建和保护其高清地图。Level5与Lyft协作，沿加利福尼亚州帕洛阿尔托的固定路途发送了20辆主动驾驭轿车，以搜集由170000个场景组成的数据集，一个包括15242个符号元素的高清语义地图，以及一个该区域高清的鸟瞰图。TomTom经过多源办法搜集数据，包括查询车辆、GPS盯梢、社区输入、政府来历和车辆传感器数据，这儿运用了全球400多辆地图车辆、政府数据、卫星图画和社区输入，不断取得最新的路途信息。经过众包搜集数据能够在很短的时刻内搜集很多最新的路途/交通数据。众包数据还包括不同的环境，包括城市、城镇和农村地区。但是，因为多个移动地图体系的高本钱和数据搜集的时刻耗费，该办法不是单个研讨人员的最佳处理计划。单个研讨人员还运用MMS搜集数据，他们不是搜集世界各地不同类型环境的数据，而是重视规模更小的区域，例如城市，大学校园或住宅区。搜集的数据出于研讨意图，类型也愈加具体。
此外，还有很多开源数据，如卫星图画、KITTI数据集、Level5 Lyft数据集[4]和nuScenes数据集，供研讨人员进行测验和生成高清地图。这些数据集包括2D和3D真实世界交通数据，包括图画、3D点云和IMU/GPS数据，这些数据现已安排和符号，地图数据的搜集办法与好坏如下图所示：
4点云高精地图生成
一旦搜集到初始传感器数据，一般会对其进行交融和排序，以生成初始地图，首要用于精确定位。初始mapping首要运用3D激光传感器生成；但是，它能够与其他传感器交融，如IMU、GPS、路程计和视觉路程计，以便在高清地图中进行更精确的状况估量。INS和GPS传感器供给方位和方位信息，以在厘米精度范围内更新地图方位。这些点云地图现已十分精确，能够帮助车辆在3D空间厘米级进行精确定位。随后，在mapping取得点云配准之后，从PCL映射创立矢量映射。点云配准被称为对齐多个重叠点云以生成详细和精确地图的多进程进程（如下图所示）。
矢量地图包括与车道、人行道、十字路口、路途、十字路口、交通标志和交通灯相关的信息。这一要害特征后来被用于检测交通标志和信号灯、路途规划、大局规划和部分途径规划。毫无疑问，地图生成是高清晰度地图生成的一个组成部分，它能够界说为HD地图的基本几许图形图层。
建图技能
地图生成技能可分为在线地图和离线地图。离线映射数据全部搜集在中心方位，数据运用卫星信息或激光雷达和摄像机存储的数据，然后地图在搜集数据后离线构建。
另一方面，在线地图中地图生成运用轻量级模块进行，除了地图制作类型之外，还能够经过运用传感器或怎么交融传感器对地图技能进行分类。
以下标测技能需求依据激光的传感器，因为它们在长距离下显示出杰出的精度。大多测绘技能目前都运用激光作为首要传感器，用于测绘和完结高清晰度地图。另一方面，有一些办法仅运用视觉传感器来构建点云地图，存在为3D模型生成而开发的点云配准技能，下面是几种常用办法！
1） 依据切割的点云配准
SegMap是一种依据点云中切割特征提取的映射处理计划，该办法经过重构要区别的部分特征来生成点云图。轨迹成果标明，与LOAM（激光测程和测绘）结合运用时，功能比仅运用LOAM结构更高。
2）仅依据激光雷达的点云建图
经过改进现有的点挑选办法和LOAM迭代姿势优化办法，小视场和不规矩采样的激光雷达办法现已完成了卓越的精度和功率，整体建图结构如下图所示：
[19]引进了一种快速环路闭合技能，以修正激光雷达路程丈量和测绘中的长时刻偏移，[20]中的小视场分散式多激光雷达渠道运用扩展卡尔曼滤波器进行鲁棒建图。此外，[21]中还有一种技能，在机器人的不同高度装置激光雷达，以生成点云。
3）路程计交融点云配准
当GPS不可用或断开衔接时，交融路程计十分便利，首要是在室内。迭代最近点（ICP）办法运用6自由度信息来匹配给定点云中的最近几许体。这种办法的首要缺点是，它停留在部分最小值，需求一个完美的起点，导致差错和与实际环境的偏差增加[22]。NDTMap[23]、[24]生成是从点云[25]、[26]转化而来的接连可微概率密度，NDTMap的概率密度包括一组正态分布。它是一个别素网格，其间每个点依据其坐标分配给体素。将点云划分为体素云，然后对兼并的体素进行滤波，以削减地图中的噪声，削减核算量。假如初始猜想中未运用路程计，则从每次NDT更新中得出状况估量，初始猜想来自依据运动模型的速度和加速度更新。当引进路程计时，方位更新依据路程计数据，特别是速度模型和方向更新。
4）GPS交融点云配准
GNSS中的肯定方位作为graph-based建图中的束缚，以共同点云数据与坐标系[12]。因而，点云中的体素运用肯定3D坐标信息进行符号，LIO-SAM中也运用了依据激光雷达的路程计，用于精确的姿势估量和地图构建[13]。
5）INS交融点云配准
在不运用任何传感器的情况下，依据每次NDT更新核算车辆状况和偏航。运用速度和加速度导出依据运动模型的初始猜想。IMU为二次模型供给平移更新和方向更新。Autoware的NDT mapping技能[27]还供给了用于标测的IMU和路程交融。相似地，DLIO办法[28]经过运用松耦合交融和姿势图优化完成精确mapping和高速率状况估量，集成IMU以经过馈送IMU偏置来校正随后的线性加速度和角速度值来增强可靠性。FAST-LIO[10]和FAST-LIO2[11]是用于快速和精确测绘的激光雷达惯性路程计体系。该体系运用紧耦合迭代EKF（扩展卡尔曼滤波器）将IMU与激光雷达特征点交融。FAST-LIO2运用了一种新技能，增量kdTree，它供给了一种增量更新和动态再平衡来维持地图。
6）视觉传感器交融点云配准
R2-LIVE[29]和R3-LIVE[30]算法运用激光、惯性导航体系和视觉传感器的交融来进行精确映射和状况估量。R2-LIVE运用依据卡尔曼滤波器的迭代路程计和因子图优化来承认精确的状况估量。
R3-LIVE是两个独立模块的组合：激光雷达IMU路程计和视觉IMU路程丈量。Global地图完成了激光雷达和IMU的精确几许丈量。与IMU交融的视觉传感器将地图纹理投影到大局地图中。相似的两个子模块LIO和VIO也用于FAST-LIVO[14]中的稳健和精确建图。LVI-SAM运用与R3-LIVE相似的两个子模块进行规划。依据LVI-SAM[31]，视觉惯性体系运用激光雷达惯性核算来辅佐初始化。视觉传感器供给深度信息以进步视觉惯性体系的精度。
下图展现出了运用现有建图算法生成的地图。有多种技能能够交融多个传感器以创立完好地图。视觉路程计（IMU和摄像机）、GPS和激光雷达数据被组合到一个超级节点中，以取得优化地图[32]。
下图展现出了运用不同办法从在线映射取得的轨迹途径，（a）是地图传感器数据的完好途径（安大略科技园区），展现出了来自记录数据的完好路程计数据。（b）和（c）是全轨迹途径的扩大版别。该地上真实途径经过RTK-GPS和IMU数据的交融取得。这些分数标明R3-LIVE遵从地上实况途径，即RTK-GPS路程计。
5高清地图的特征提取办法
为了使ego车辆定位并遵从运动和任务计划，需求进行特征提取，如路途/车道提取、路途符号提取和杆状物体提取。特征提取传统上由人工完结，本钱高、耗时且精度低。近年来，机器学习辅佐的高清地图生成技能现已开发并广泛用于进步特征提取精度和削减人工工作量。机器学习辅佐高清地图生成运用了人在回路（HITL）技能，该技能触及人机交互[33]-[35]。人类进行数据符号，并运用监督学习对符号数据进行练习。具有高精度/置信度分数的成果将保存到高清地图，而具有低精度/置信率分数的成果则将由人类查看并发送回算法进行重新练习。机器学习已广泛用于提取路途/车道网络、路途符号和交通灯。
1）路途网络提取
a）依据二维航空图画的路途提取
路途地图/网络关于主动驾驭体系定位自我车辆和规划路途至关重要。从航空图画中提取路途图也很有吸引力，因为航空照片覆盖了广泛的地图，一般是城市地图，并经过卫星不断更新。但是，从航空图画手动创立路途图既费时又费力。因为人为过错，它也不能确保精确的路途图，因而，需求能够主动化路途图提取进程的办法。二维航空图画的主动路途网络提取可分为三种不同的办法：依据切割的办法、迭代图成长办法和图生成办法。
依据切割的办法从航空图画猜测切割概率图，并经过后处理细化切割猜测和提取图。Mattyus等人提出了一种直接估量路途拓扑并从航空图画中提取路途网络的办法[36]。在他们名为DeepRoadmper的办法中，他们首要运用ResNet的变体[37]将航空图画切割成感兴趣的类别，然后运用softmax激活函数以0.5概率阈值过滤路途类别，并运用发光提取路途中心线[38]。为了缓解路途切割的不接连性问题，他们将不接连路途的端点衔接到特定范围内的其他路途端点。衔接被视为潜在路途，此处运用A*算法[39]挑选最短衔接作为不接连路途，如下图所示：
为了进步依据分段的路途网络提取功能并处理[36]中的路途网络断开问题，[42]提出了方向学习和连通性细化办法。所提出的办法经过猜测路途网络的方向和切割并运用n-堆叠多分支CNN校正切割成果来处理路途网络断开问题。该办法在SpaceNet[43]和DeepGlobe[44]数据集进步行了进一步评价，并与DeepRoadmper和其他最先进的办法[45]-[48]进行了比较，以显示其最先进的成果。
此外，Ghandorh等人经过在依据切割的办法中增加边际检测算法，从卫星图画中细化了切割的路途网络[49]。所提出的办法运用了编码器-解码器架构以及扩展卷积层[50]和注意机制[51]-[54]，使网络能够切割大规模方针并愈加重视重要特征。然后，经过将切割的路途网络馈入边际检测算法，进一步细化这些路途网络，下图为依据切割办法的功能对比！
迭代图增加法
迭代图成长办法经过首要挑选路途网络的几个极点从2D航空图画生成路途网络。然后，逐点生成路途，直到创立整个路途网络。Bastani等人从深度路途图中注意到了同样的约束。当路途切割存在不确定性时，启示式算法体现欠安，这可能是由遮挡和杂乱拓扑结构（如平行路途）引起的[48]。依据CNN的路途切割在遮挡区域增加时体现欠安，遮挡区域从树木、建筑物和阴影中升起。现有办法[36]、[55]没有处理此类问题的固溶体。Bastani等人提出了一种新办法RoadTracer，以处理上述问题，并从航空图画中主动提取路途网络[48]。RoadTracer选用迭代图构建进程，旨在处理遮挡导致的功能欠安。路途追踪器具有由依据CNNs的决策函数引导的搜索算法。搜索算法从路途网络上的已知单个极点开端，并跟着搜索算法的探究不断向路途网络增加极点和边。依据CNN的决策函数决议是否应将极点或边增加到路途网络。这样，经过迭代图成长办法逐点生成路途图，迭代图增加办法如下图可视化所示：
在15张城市地图上对路途盯梢办法进行了评价，并将成果与DeepRoadmper和Bastani等人实施的另一种切割办法进行了比较。与最先进的办法DeepRoadmper比较，RoadTracer能够生成更好的地图网络成果。迭代图构建进程的一个缺点是生成大规模路途网络的功率，因为该进程逐点创立路途图，因而跟着路途网络规模的增加，该进程将变得耗时。
图生成办法
图生成办法直接从航空图画猜测路途网络图，该办法将输入的航空图画编码为向量场，用于神经网络猜测。然后经过解码算法将猜测解码成图。该办法已用于猜测路途网络图，包括线段[56]、线形方针[57]和多边形建筑物[58]。在图形生成办法的基础上，Xu等人将图形生成办法与transformer[59]相结合，提出了一种新的体系，名为csBoundary，用于主动提取路途鸿沟，用于高清地图标注[60]。csBoundary体系首要将4通道空间图画作为输入，它经过特征金字塔网络（FPN）处理图画，以猜测路途鸿沟的要害点图和切割图。从要害点图中提取一组长度为M的极点坐标，将要害点图、切割图和输入空间图画组合起来构成6通道特征张量。关于每个提取的极点 感兴趣区域（ROI）被裁剪并放置在要害点地图的中心。Xu等人还提出了对邻接网（AfANet）的重视[60]，AfA编码器运用ROI核算部分和大局特征向量，这些特征向量将由AfA解码器处理以猜测提取极点的邻接矩阵，以生成路途鸿沟图。一切取得的图形将用于拼接到终究的城市规模路途鸿沟图中。csBoundary的结构如下图所示。
依据切割的办法能够运用CNN在很短的时刻内从航空图画中主动提取大规模路途网络。但是，该办法的功能在很大程度上取决于航空图画的质量。假如路途上存在遮挡，这可能是由阴影或大型构建引起的，切割功能将下降。即使运用深度路途图中辅佐的A*途径规划算法，该办法依然不能确保高功能的路途网络提取，因为最短途径并不总是现实生活中的实际途径。另一方面，迭代图增加办法运用依据CNN的决策函数支撑的搜索算法来进步提取具有遮挡的路途的功能。但是，迭代图增加法提取整个路途网络需求很长时刻，因为该办法逐点构建路途网络。该办法的提取时刻也将跟着路途图的巨细增加而增加。因为该办法以迭代办法提取路途网络，因而因为累积差错，它还存在漂移问题，这使得该办法提取大规模路途网络具有挑战性。用于提取路途网络的图生成办法依然局限于方针的特定形状，因为它们严重依赖于解码算法，这约束了它们的泛化才能。
b）依据3D点云的路途提取
依据3D点云的路途或车道提取已广泛用于生成高清地图的进程中。激光雷达点云具有高精度，一般在毫米级精度，并包括扫描方针的几许信息。运用3D点云的路途提取是运用切割完结的。Ibrahim等人指出，2D路途网络不供给物体相对方位的任何深度线索，并且2D路途网络中的微小基础设备改变也不是最新的[64]。Ibrahim等人没有在航空图画上构建路途网络，而是展现了澳大利亚珀斯中央商务区（CBD）的高清激光雷达地图[64]。在他们的工作中，3D点云数据是经过在SUV顶部放置一个驱赶激光雷达并驾驭SUV经过CBD搜集的。以闭环办法搜集点云数据[64]，以防止累积配准差错引起的漂移问题，如下图所示：
环路检测算法用于提取构成环路的点云，其间仅提取归于特定环路的帧。然后对提取的环路点云进行预处理，包括下采样，切割地上点，并去除自我车辆和邻近的无关点。运用3D正态分布改换（NDT）对预处理的回路点云进行配准和兼并，对兼并后的原始点云进行后处理，包括空间子采样、噪声去除、重复点去除和滑润，以生成终究提取的路途。
Ding等人提出了另一种生成3D地图的办法，为特定场景创立高清地图[67]。他们的提案将特定场景界说为主动驾驭运用的安全和操作环境。本文以大学校园的一部分作为构建三维高清地图的具体场景。Ding等人划分了他们的高清地图架构分为四个不同的层，包括定位层、路途矢量和语义层、动态方针层和实时交通层，见下表：
定位层存储点云和图画，用于定位，路途矢量和语义层存储路途行进方向、路途类型和路途方针，在该层中，运用OpenDRIVE文件格式。望文生义，动态方针层存储关于方针（如行人、障碍物和车辆）的高度动态感知信息。该层以更高的频率更新，以供给来自周围环境的反馈。实时交通层存储实时交通数据，如车速和方位以及交通信号灯状况。运用NDT算法以实际场景的数字3D场景作为参阅来创立3D HD地图。
c）依据传感器交融办法的路途/鸿沟提取
依据2D航空图画和3D点云的路途提取都有局限性。因为照明条件差、路旁边设备形成的遮挡以及各种地势要素，从卫星和航空图画中提取的路途网络一般不精确和不完好。3D点云上的特征提取也面临遮挡和点密度改变问题，这导致路途提取不精确和不完好。在提取路途或路途鸿沟时，运用单一数据源的局限性是显而易见的。因而，研讨人员一直在运用多源数据来提取和完结路途或路途鸿沟。Gu等人[68]选用了激光雷达图画和相机透视图，并构建了一个映射层，将激光雷达图画视图的特征转化为相机透视图画视图。这种办法增强了摄像机透视图中的路途提取功能。Gu等人[69]还提出了一种条件随机森林（CRF）结构，用于交融激光雷达点云和摄像机图画，以提取路途网络的距离和色彩信息。在[70]中，规划了一个全卷积网络（FCN），用于依据路途检测的残差交融战略，兼并从激光雷达摄像机数据中学习的特征图。Li等人[71]选用了一种不同的办法，经过交融GPS轨迹和遥感图画来构建路途图。该办法运用依据搬运学习的神经网络从图画中提取路途特征，并运用U网络提取路途中心线。此外，在[72]中规划了一个严密耦合的感知规划结构，经过运用GPScamera激光雷达传感器交融来检测路途鸿沟。
Ma等人还提出了一种新的深度学习结构，名为BoundaryNet，用于提取路途鸿沟，并运用激光扫描点云和卫星图画添补路途鸿沟数据中因遮挡形成的现有空白[73]。该办法运用依据路缘的提取办法提取路途鸿沟，并选用改进的U-net[74]模型从路途鸿沟点云中去除噪声点云。然后，将依据CNN的路途鸿沟完结模型运用于提取的路途鸿沟，以填充一些空隙。受图画到图画转化办法生成对立性网络（GAN）[75]的启示，规划了一种条件深度卷积生成对立网络（c-DCGAN），以在从卫星图画提取的路途中心线的帮助下，提取更精确和完好的路途鸿沟。
2）路途标线提取
路途符号是高清地图上的基本特征，可为ego车辆供给有关交通方向、转弯车道、可行进和不可行进车道、人行横道等的信息。与路途提取办法相似，也能够运用2D图画或3D点云进行路途符号提取。
a）依据二维图画的路途标线提取
传统上，2D图画上的路途符号提取是经过图画处理和核算机视觉完成的。包括路途符号的图画首要被去噪和增强，以使路途符号清晰和显着，并突出方针和布景区域之间的对比度。然后，运用图画处理和核算机视觉办法提取方针路途符号，如依据边际的检测（如Roberts、Sobel、Prewitt、Log和Canny）、阈值切割（如Otsu法和迭代法）、k均值聚类和区域增加法[83]。传统办法在从路面或混凝土路途提取路途符号方面取得了显著的功能。但是，没有正确辨认不同路途符号的简略提取关于ego车辆理解路途规矩来说不行有效。跟着CNN的引进和快速开展，触及CNN的办法已被广泛开发并用于检测和辨认路途符号。2D图画上的路途符号提取和辨认一般选用两种不同的办法进行。一种是运用由车载摄像机捕获的前视图图画。另一种是从航空图画中提取路途符号。两者的示例如下图所示：
前视图图画因为其本钱效益和便利性而被广泛用于路途符号提取，现已提出了几种办法来检测车道线符号。Zhang等人[84]提出了Ripple 车道线检测网络（RiLLD网络），用于检测一般车道线符号，Ripple GAN用于检测杂乱或闭塞的车道线符号。运用Sobel边际检测滤波器将包括车道线符号的原始图画预处理为梯度图，原始图画和梯度图都被馈入RiLLD网络，以去除冗余搅扰信息并突出车道线符号。提出的Ripple GAN是Wasserstein GAN（WGAN）[86]和RiLLDNet的组合。将增加了高斯白噪声的原始车道线符号图画发送到WGAN，以发生切割车道线符号成果。切割成果与梯度图一同发送到RiLLD网络，以进一步增强车道线符号检测成果。此外，[87]提出了一种具有双卷积门控递归单元（CONVGRU）的时空网络，用于车道线检测。网络不是一次拍摄一张图画，而是将由接连时刻戳的车道线符号组成的多个捕获作为输入。两个convgru都有自己的功用，第一个ConvGRU，也称为前端ConvGlu（FCGRU），坐落编码器阶段，用于学习并过滤掉可能影响模型学习进程的搅扰信息。第二个ConvGRU，也称为中间ConvGRU，包括多个ConvGRU。它坐落编码器和解码器阶段之间，用于完全学习FCGRU发生的接连驱动图画的空间和时刻驱动信息。此外，还提出了其他办法来处理车道线检测和提取问题，如图形嵌入车道检测[90]、依据渐进概率霍夫改换的车道盯梢[91]、SALMNet[92]、依据切割的车道检测[93]和Mask R-CNN实例切割模型[94]。下表汇总了当时车道线检测干流办法及功能：
b）航空图画中的路途标线提取
卫星和航空图画不只可用于路途网络提取，还可用于路途符号提取。Azimi等人[99]提出了航空LaneNet，以直接从航空图画中提取路途符号。所提出的网络包括对称全卷积神经网络（FCNN）。原始航空图画在发送到航空网络之前被切割成多个块。空中LaneNet猜测每个输入块的语义切割，并为每个块生成二值图画，表明哪个像素来自车道符号，哪个像素来自布景。将一切二值图画/块拼接在一同以构建具有与输入图画相同分辨率的终究路途符号图画。该模型还运用离散小波改换（DWT）完成多尺度和全谱域剖析。同样，Kurz等人[100]规划了一种小波增强FCNN，用于切割多视图高分辨率航空图画。imagery2D片段还用于依据最小二乘线拟合创立路途符号的3D重建。
Yu等人还提出了一种称为MarkCapsNet[101]的自注意力引导胶囊网络，用于从航空图画中提取路途符号。所提出的网络结合了胶囊公式和HRNet[102]架构，经过触及三个具有不同分辨率的并行分支，能够在不同尺度上提取特征语义。还规划了依据胶囊的自重视（SA）模块，并将其集成到MarkCapsNet的每个分支中，以进一步进步生成的用于路途符号提取的特征地图的表明质量。此外，Yu等人还为路途符号提取运用创立了一个称为AerialLanes18的大型航空图画数据集，该数据集可作为未来测验路途符号提取不同办法的基准。MarkCapsNet和其他路途符号提取模型[99]、[102]–[105]在两个数据集（UAVMark20和AerialLanes18）进步行了试验和比较。表VIII中的成果标明，MarkCapsNet完成了最先进的功能。与航空图画比较，前视图图画上的路途符号提取办法具有更小的视场，并且检测/处理时刻也比在航空图画上运用现有提取的路途符号更长。但是，因为检测是依据实时摄像机图画的，因而关于路途符号的改变（如磨损和遮挡）是灵活的。比较之下，航空图画上的路途符号提取能够提取更大份额的路途符号，并将提取的路途符号存储在高清地图中，以削减检测时刻。但是，它对由照明条件、遮挡和路标磨损引起的数据缺点十分灵敏。
c）依据三维点云的路途标线提取
3D点云上的路途标线提取一般选用两种不同的办法，自下而上办法和自上而下办法[81]。自底向上办法经过区别路途符号点云和布景点云直接提取路途符号。相反，自上而下的办法运用CNN检测预界说的几许模型，并依据检测重建路途符号。
自底向上办法运用深度学习算法，依据方针检测和切割从原始3D点云中直接提取路途符号。阈值相关办法及其扩展，包括多阈值和结合几许特征的多阈值过滤广泛用于路途符号提取[106]-[109]。[103]、[110]在提取路途符号之前，将3D点云转化为2D地舆参阅强度图画，以显著下降核算杂乱度，但丢掉姿势（方位和方向）或空间信息。为了添补从提取的路途符号中缺失的姿势或空间信息的空白，Ma等人提出了一种依据胶囊的路途符号提取和分类网络[111]。所提出的办法经过过滤掉非地上特征点云（如杆、交通灯和树）来处理数据，以下降核算杂乱度。运用反距离加权（IDW）算法将处理后的3D点云转化为2D地舆参阅强度光栅图画。受[112]中提出的胶囊网络的启示，Ma等人提出了一种依据U形胶囊的网络，该网络不只能够从光栅图画中学习强度方差，还能够学习路途符号的姿势和形状。
自顶向下办法运用现有的方针检测算法来检测和定位路途符号几许模型。它依据检测和定位在3D点云上重建路途符号。Prochazka等人[114]运用生成树运用办法主动将点云中的车道符号提取到多边形地图图层中。所提出的办法在原始点云进步行地上点检测[115]，并运用生成树辨认检测。在检测和辨认之后，将车道符号重建为矢量方式。该办法能够检测车道标线，但不能检测其他类型的路途标线，如路途方向标线和人行横道标线。Mi等人提出了一种运用MLS点云进行路途符号提取和建模的两阶段办法[81]，办法运用YOLOv3[116]算法来检测路途符号，并在每次检测时供给语义标签。
3）杆状物体提取
在高清地图中，杆状方针（如交通灯、交通标志、路灯、树木和电话线杆）对路途环境至关重要。它们能够帮助定位（不同于其他路途设备的形状）和运动规划（交通信号灯供给交通流条件）。杆状物体提取一般经过MLS 3D点云的切割和分类完结。前几年现已开发了各种用于杆状物体提取的办法。Lehtomki等人[117]提出运用MLS 3D点云结合切割、聚类和分类办法检测垂直杆状物体。El Halawany等人[118]选用了依据协方差的程序，对地上激光扫描点云进行杆状物体切割，并找到它们的尺度。Yokoyama等人[119]运用k近邻图运用拉普拉斯滑润，并运用主成分剖析辨认具有不同半径和倾角的杆状物体上的点。Pu等人[120]提出了一个从MLS 3D点云中辨认结构的结构，并依据点云片段的特征（如巨细、形状、方向和拓扑关系）提取了杆状方针。Cabo等人[121]提出了一种经过运用规矩体素化对点云进行空间离散化并剖析和切割水平体素化点云来检测杆状物体的办法。Ordez等人[122]在[121]的基础上增加了一个分类模块，以区别点云中不同类型的极点。Yu等人[123]提出了一种半主动提取路灯杆的办法，将MLS 3D点云切割为路途和非路途表面点，并运用成对3D形状上下文从非路途段提取路灯杆。Zheng等人[124]提出了一种新的依据图割集的切割办法，用于从MLS 3D点云中提取路灯杆，然后选用依据高斯混合模型的办法辨认路灯杆。
Plachetka等人[125]最近提出了一种依据深度神经网络（DNN）的办法，用于辨认（检测和分类）激光雷达点云中的杆状物体。受[126]的启示，提出的DNN体系结构由三个阶段组成：编码器、骨干、分类和回归头。原始3D点云被预处理为单元特征向量，单元特征向量是编码器级的输入。Plachetka等人在[128]之后增加了另一个编码器级，以进步单元特征向量的代表性，而不是[127]中仅有一个编码器。编码器将单元特征向量编码成空间网格，作为骨干网的输入。骨干阶段选用并修改了特征金字塔架构[61]，以包括更多上下文，进步了检测小方针的模型功能[129]。骨干级将来自下游途径的低级特征和来自上游途径的高档特征衔接起来，以进一步增强输入网格的代表性。下游途径运用卷积层，而上游途径运用转置卷积层，输出特征网格成为分类和回归头阶段输入。该架构选用SSD[130]办法来核算最终阶段的猜测。该办法的均匀召回率、精确率和分类精确率分别为0.85、0.85和0.93。检测类别包括保护杆、交通标志杆、交通灯杆、广告牌杆、灯柱和树木，总归，高清地图中的杆状方针因为其特殊形状而成为定位的重要特征。杆状方针提取首要在3D点云进步行，提取的功能还取决于点云的质量。因而，需求进一步研讨怎么进步不完美数据下的类极点方针提取功能。
6高清地图结构
跟着高清地图越来越杂乱，需求提取的环境特征越来越多，有必要运用结构方式的杰出软件，以便在地图中充分存储相关信息，并确保地图的共同视图。本节介绍了三种用于创立高清地图的流行开源结构，包括Lanelet2、OpenDRIVE和Apollo地图。
Lanelet2地图包括三层：物理层、关系层和拓扑层，如下图所示。这三层的特征与此处界说的特征相似。第一个物理层由两个元素组成，点和线串，点是地图的基本元素，它能够将垂直结构表明为单点的杆、车道或一组点的区域。线串被结构为两个或多个点的有序阵列，其间每两点之间运用线性插值。物理层，望文生义，界说了可检测元素，如交通灯、标志、路缘石等第二个关系层由三个元素组成，lanelets、AREA和调控元素。车道界说了不同的路途类型，如惯例车道、人行横道和轨迹。lanelet还与在lanelet内不改变的交通规矩相关联。它由一个左右线字符串界说为两个方向相反的鸿沟。经过将左边框更改为右边框（反之亦然），一对线串中的方向能够交换。区域由一条或多条线串构成，以构成关闭屏障，一般表明静态结构，如建筑物、停车场、游乐场和草地空间。望文生义，监管要素界说了交通规矩，以监管ego车辆。车道和区域能够有一个或多个监管要素，如速度约束和约束。还能够增加动态规矩，例如依据一天时刻的转向约束，作为监管元素。
Lanelet2是一个支撑高清地图的简略而强大的结构。它还常常与Autoware Auto一同运用，为高清地图创立矢量地图。
OpenDRIVE是由主动化和丈量体系规范化协会（ASAM）开发的用于描绘路途网络和创立高清地图的开源结构。它还运用XML文件格式存储地图信息。在ASAM OpenDRIVE地图中，有三个元素/层，参阅线/路途、车道和特征。与Lanelet2地图不同，OpenDRIVE运用点来描绘和结构地图特征，运用几许图元，包括直线、螺旋线、圆弧、三次多项式和描绘路途形状和行进方向的参数三次多项式。这些几许图元称为参阅线。参阅线是每个OpenDRIVE路途网络的要害组成部分，因为一切车道和特征都沿着参阅线构建。第二个元素，车道，衔接到参阅线并表明地图上的可驾驭途径。每条路途至少包括一条宽度大于0的车道。每条路途上的车道数取决于实际交通车道，没有约束。沿路途建筑车道时，需求宽度为0的中心车道作为车道编号的参阅。中心车道依据路途类型界说两边的行进方向，能够是相反方向，也能够是相同方向。因为中心车道和基准线之间没有偏移，因而中心车道与基准线重合。最终一个元素“要素”包括与交通规矩相关的方针，如信号和标志。但是，与Lanelet2不同，ASAM OpenDRIVE不包括动态内容。在[135]中还能够找到由ASAM供给的OpenDRIVE用户指南。
阿波罗地图是由我国领先的主动驾驭渠道百度阿波罗创立的高清地图。阿波罗高清地图也运用OpenDRIVE格式，但是专为阿波罗规划的修改版。阿波罗仅仅运用点，不像OpenDRIVE，运用线、螺旋线和圆弧等几许图元界说路途。与Lanelet2中的点相似，每个点存储纬度和经度值，这些点的列表界说路途鸿沟。在阿波罗高清地图中，一般有五个不同的元素：
- 路途元素包括路途鸿沟、车道类型和车道行进方向等特征；
- 相交元素具有相交鸿沟；
- 交通信号元素包括交通信号灯和标志；
- 逻辑关系元素包括交通规矩；
- 其他要素包括人行横道、路灯和建筑物[133]。
为了构建高清地图，百度阿波罗将生成进程分为五个进程：数据源、数据处理、方针检测、手动验证和地图制作，如下图所示：
阿波罗地图是OpenDRIVE的更高档和更杂乱的版别，阿波罗地图包括开始不在OpenDRIVE中的元素，如无停车区和人行横道。阿波罗地图也需求比OpenDRIVE更多的数据来界说车道。OpenDRIVE只需求指定车道宽度，而Apollo需求点来描绘车道鸿沟。为了在阿波罗中运用OpenDRIVE地图，能够运用此处供给的办法[136]将OpenDRIVE格式转化为阿波罗格式。Lanelet2地图也能够转化为OpenDRIVE地图格式。Carla是一个用于主动驾驭的开源模拟器，它供给了一个用于将OSM映射转化为OpenDRIVE映射的PythonAPI[137]。
7参阅文献
[1] High-Definition Map Generation Technologies for Autonomous Driving
往期回忆
聊一聊依据激光雷达、Camera和跨模态数据的地图定位！
【主动驾驭之心】全栈技能沟通群
主动驾驭之心是首个主动驾驭开发者社区，聚焦方针检测、语义切割、全景切割、实例切割、要害点检测、车道线、方针盯梢、3D感知、多传感器交融、SLAM、高精地图、规划操控、AI模型布置落地等方向；
参加我们： 主动驾驭之心技能沟通群汇总！
主动驾驭之心【知识星球】想要了解更多主动驾驭感知（分类、检测、切割、要害点、车道线、3D感知、多传感器交融、方针盯梢）、主动驾驭定位建图（SLAM、高精地图）、主动驾驭规划操控、范畴技能计划、AI模型布置落地实战、职业动态、岗位发布，欢迎扫描下方二维码，参加主动驾驭之心知识星球（三天内无条件退款），日常分享论文+代码，这儿会聚职业和学术界大佬，前沿技能方向尽在掌握中，等待沟通！
