自动驾驶轨迹预测算法：NeurIPS挑战赛冠军方案-六虎

01 背景

NeurIPS （Conference on Neural Information Processing Systems）是机器学习和计算神经科学相关的学术会议，也是人工智能方向的顶级会议。INTERPRET轨迹预测挑战approve赛（INTERACTION-Dataset-based PREdicTion Challenge）隶属于NeurIPS 2020 Workshop: Competition Track Saturday。该竞赛由UC Berapplekeley MSC Lab主办，旨在建立一个公共数据集来评估自动驾驶领域各类轨迹预测算法的性能。美团无人测试手机是否被监控车配送中心团队获得 NeurIPS 2spring面试题020 INT测试抑郁症的20道题ERPRET轨迹预测挑战赛Generalizability赛道冠军，Regular赛道亚军。

02 赛题简介

INTERPRET竞赛共包含两条赛道：Generalizability Track和Regular Tr安全ack。Generalizabilspringity赛道中，测试集轨人工智能人脸识别聚顶科技在线迹与训练集差异较大（采自不同的场景），且不带有高精地人工智能图；而Regular赛道中测试集轨迹分布与训练集相同（采自相同的场景），同时带有高精地图。数据集采自于美国、中国、德国等多个国家，包含并线/变道的高速与城市道路、带停车/让车标志的环形路、无保护左转路口等场景。此外，场景中的障碍物包含行人、自行车和机动车3种类型。

本次竞赛中，参赛队伍需要根据每个障碍物过去1秒（10帧）的运动轨迹，预测出它在未来3秒（30帧）的轨迹。障碍物的轨迹使用离散采样点集合来表示，采样的频率是10赫兹，即每0.1秒采样一个轨迹点。竞赛允许参赛队伍对于每个障碍物输出50条预测轨迹测试蛙，但只根据最优轨迹（排序第人工智能专业1条）的平均位移误差（Average Displacement Error，ADE）来排名。平均位移误差的计算方式为：

ADE=1NTp∑i=1N∑t=1Tp∣∣spring面试题Yit−Y^it人工智能专业∣∣2ADE=frac{1}{NT_p} sum_{i=1}^{N} sum_{t=1}app安装下载^{T_{p}} midmid Y_i^t – hat{Y}_i^t midmid_2

其中 $N$ 表示障碍安全教育物的数量， $T_p$ 表示预测时刻数， $Y$ 表示真实轨迹， $Y^hat{Y}$ 表示预测轨迹。

03 算法介绍

Part 1 地图数据处理

由于Gener安全教育平台登录入口alispringfieldzability Track和Regular Track数据形式不一安全期计算器致（前者带有高精地图，后者不带高精地图），为保证算法的有效性，我们使用了人工智能人脸识别聚顶科技在线两种形式来更好地表达场景。如下图1：

在Regular Track中，所有测试集都附带高精地图，我们可以测试姓名与缘分通过查询地图的方式得到任意位置附近的车道线（如图1-左所示，场景中道路拓扑非常完整）；而对于Generalizability Track，测人工智能视频在线播放试集没有给出对应的高精地图，无法获取完整的道路结构化信息。对此，我们设计了一种基于地理位置的语义地图来描述非结构人工智能视频在线播放化场景下的可行驶区域。基于地理位置的人工智能专业语义地图依赖于场景中障碍物的历史观测轨迹，具体绘制流程主要分为3个步骤：

将一定大小（e.g., 50米x50米）的实spring框架际场景区域以 $d$ （e.g., 0.2米）的分辨率划分成 $W$ x $H$ 个栅格（ $W$ =250, $H$ =250）；
根据测试网速障碍物的历史轨迹，计算每个轨迹点的方向，放入对应位置的栅格中；
统计所有栅格的运动方向信息，形成方测试纸怎么看是否怀孕向描述子。具体方法是：将360度划分成8个区间，45度一个区间，统计每个区间内的轨迹点个数，然后归一化。

最终，基于地理位置的语义地图的大小测试网速为 $H$ x $W$ x8。

Part 2 预测模型设计

轨迹预测算法设计过程中通常需要考虑一个重要问题：即在预测时如何建模障碍物测试手机是否被监控与周围环境的复杂交安全教育平台互，这里周围环境通常包含多类交安全教育通元素，例如其他交通参与者，路网拓人工智能专业扑，交通信号灯等。现有的预测算法中，对障碍物交互的建模方式也不尽相同，例如较早期基于简单位置关系的交互[1-3]，基于语义地图springfestival手抄报+CNN编码的交互[人工智能ai换脸明星梦4-6]，基于（图）注意力机制的交互[7-11]等。随着对障碍物交互认知的加深以及新技术springboot面试题的迭代，轨迹预测算法的精度也在逐测试室内甲醛步提高。本次竞赛spring是什么意思中文翻译中，我们提出一种基于混合注意力机制的预测算法，以通用的形式解决两个赛道的预测问题人工智能视频在线播放。算法是基于目前主流的图注意力机制，整体设计思路是通过引入混合注意力机制，促使算法更准确地提取障碍物运动特性与车道拓扑特性，同时编码障碍物测试蛙之间、障碍物与车道间的复杂交互。

上图2是算法的整spring面试题体结构，整个模型基于主流的Encoder-springfestival手抄报Decoder结构，包含特征编码网络（Feature Espringboot面试题mbedding Netwospringfestival手抄报rk）和交互&预测网络（Interaction & Prediction Network）。特征编码网络使用Timewise + Agentwise Attention双注意力机制与双通道GRUapp安装下载对障碍物轨迹和地图信息进测试姓名与缘分行高质量人工智能明星av特征强化与时测试姓名与缘分序编码；交互预测网络则使用Agentwise + Conditional Aspringfestival手抄报ttention测试抑郁程度的问卷双注意力机制测试网速建模安全期怎么算智能体间交互行为，并输出多模态预测轨迹及其概率。测试室内甲醛上述两个网络都是基于混合注意力的图网络，其核心是Enc-MAT和人工智能明星avDec-MAT（Mixture Att人工智能电影ention Transformer encoder）模块。Enc-MAT和De人工智能专业c-MAT是现有BERT-like模型（Transformer encoder）的改进结构，下图3对比了传统Transformer encoder、Enc-MAT和Dec-MAT的区测试蛙别。

从图3可以看到，相比于传统Transformer encoder，Enc-MAT和Dec-MAT改进并额外新增加了一个注意力通道，混合注意力机制也由此而来。E安全期是哪几天nc-MAT编码器使用了安全期是月经后几天Timewise和Agentwise混合注意力机制；Dec-MAT编码器则是使用了Agentwise和Conditional（同图3-c中的Distance-base Attention）混合注意力机制。算法使用混合注意力代替原有单注意力机制，目的在于结合测试实际需求springfield来强化障碍物与环境拓扑的特征表达。图2下半部分展示了三种Attentio人工智能明星avn结构，从计算形式上看，spring面试题三种注意力方式的计算公式是一致的：

frac{QK^T}{sqrt{d_k}}right)V

区别在于三种注意力方式中，Attention模块的QKV特征的产生方式有测试你是不是病娇区别：

在Timewise Attention中，QKV计算方式为: $Q=q,ta(e;wq,ta),K=k,ta(e;wk,ta),V=v,ta(e;wv,ta),e∈RNTDQ=phi_{q,ta}(e;w_{q,ta}), K=phi_{k,ta}(e;w_{k,ta}), V=phi_{v,ta}(e;w_{v,ta}), e in mathbb{R}^{N times T times D}$
在Agentwise Attention中，QKV计算方式为: $Q=q人工智能ai换脸明星梦,aa(e;wq,aa),K=k,aa(e;wk,aa),V=v,aa(e;wv,aa),e∈RTNDQ=phi_{q,aa}(e;w_{q,aa}), K=phi_{k,aa}(e;w_spring框架{安全教育平台登录入口k,aa}), V=phi_{v,aa}(e;w_{v,aa}), e in mathbb{R}^{T times N times D}$
在Conditional Attention中人工智能ai女神赵丽颖，QKV计算方式为: $Q=q,ca(c;wq,ca)安全期是月经后几天,K=k,ca(e;wk,ca),V=v,ca(e;wv,ca),e∈RNTD,c∈RNTSQ=phi_{q,ca}(c;w_{q,ca}), K=phi_{k,ca}(e;w_{k,ca}), V=phi_{v,ca}(e;w_{v,ca}), e in mathbb{R}^{N times T times D}, c in mathbb{R}^{N times T times S}$

上述公式中 $e$ 是输入数据（例如轨迹、车道等）的Embedding编码特征，大小为 $N$ x $T$ x $D$ ； $c$ 是测试室内甲醛额外输入包含人工先验的条人工智能专业件信息，下文会做解释，大小为 $N$ x $T$ x $S$ ；
$∗(⋅)phi_*left(cdotright)$ 是编码函数，例如Linear函数， $w_*$ 是对应的编码函数参数。此外，三类Attention模块内部也额外增加了ADD输入的操作。

Part 3 轨迹预测流程

首先appear对符号作一些说明：

假设场景中障碍物的数量为 $N$ ，历史观测时长为 $T$ ，appear所有障碍物的历史观测轨迹为 $P$ 。则 $P$ 大小为 $N$ x $T$ x $6$ ，6维特征包含坐标、速度和类别。预测的时长为 $T_p$ ，预测轨迹为 $Y^hat{Y}$ ，未来真实轨迹为 $Y$ ，在输出一条轨迹的情况下， $Y^hat{Y}$ 和 $Y$ 大小均为 $N$ x $Tp安全期是哪几天T_p$ x $2$ 。

此外，当存在高精地图时，假设场景中车道的数量为 $K$ ，车道的采样点个数为 $L$ ，场景（离散车测试蛙道）可以被表示为 $M$ 。 $M$ 大小为 $K$ x $L$ x $2$ ；当不存在高精地图时，直接使用基于地理位置的语义地图，场景（语义图人工智能就业方向及前景像）同样可以被表示为 $M$ 。 $M$ 大小为 $H 安全$ x $W$ x $8 测试抑郁症的20道题$ 。

编码过程主要包含障碍物历史轨迹安全教育平台登录编码与场景拓扑编码。以障碍物特征编码为例，流程主要分为两步：

Dec-MA测试室内甲醛T编码。给定障碍物观测轨迹 $P$ ，算法首spring面试题先使用Enc-MAT强化每个障碍物的spring特征。Enc-MAT中第一个注意力通道在时间维度对数据进行Timewise Attention操作，目的是对于每个障碍物，根据其他历史时刻的信息，来强化某个时刻的信息；第二个注意力通道在障碍物维度进行Agentwise Attention操安全教育平台登录入口作，目的是对于每个时刻，根据其他障碍物的位置信息，来强化某个障碍物的信息。最终两个通道的特征人工智能明星av拼接得到障碍物轨迹特征 $R_{agent}$ ；
Slow+springcloudFasspringboardt Channel GRU时序编码。特征 $R_{agent}$ 是经过其它时刻（或者障碍物安全期是月经后几天）强化app安装下载过的障碍物信息，然后我们通过Slow Channel GRU和Fast Channel GRU来分别提取障碍测试网速物的精细化运动特征和主体运动特征。Slow Channel是用特征 $Rag测试抑郁程度的问卷entR_{agent}$ 的全部时序信息（ $N$ x $T$ x $2 D$ ），经过一个Sloapprovew GRU进行时序编码得到特征 $H_1$ ；人工智能专业Fast Channel则先对特征 $RagappstoreentR_{agent}$ 在时序上降采样（ $N$ x $T_{down}$ x $2 D$ ），再经过Fas测试蛙t GRU得到特征 $H_2$ 。最终障碍物的时序编码结果 $H_{agent}$ 由 $H_1$ 和 $H_2$ 拼接得到，它记录了障碍物的时序运动特性。

对于道路拓扑的编码也采用相似的方式，但与轨迹编码有两个区别：

特征强application化区别。为了简化计算，我们只使用常规的appearanceTransformer Encoder对场景信息进行Timewise Attention人工智能单通道注意力特征强化，得到特征 $RenvR_{springfestival手抄报env}$ 。高精地图模式下， $R_{env}$ 为三维特人工智能专业征，大小为测试网速 $K$ x $L$ x $D$ ；语义地图模式下， $R_{env}$ 为三维特征，大小为 $1$ x $H W$ x $D$ ；
时序特征编码application区别。基于上述特征 $R_{env}$ ，高精地图模式下，我们使人工智能电影用Fast Channel Bi-GRU直接进行双向道路拓扑特征编码；而语义地图模式下，我们使用Fast X Bi-GRU和appreciateFast Y Bi-GRU对图像横纵两个方向进行时序编码。最测试蛙终得到特springboot面试题征 $H_{env}$ 。

解码过程主要包含高层交互和轨迹预测两个阶段。前测试纸怎么看是否怀孕者采用混合注意力网络Dec-MAT，后者使用基础的MLP实现轨迹与概率的多任务预测。在介绍流程前，我们先阐述两个相对安全期是月经后几天合理的事实：

事实1：障碍物运动方向和场景中车道走向存在关联（运动趋势关联）。
事实2：障碍物运动更依赖与距离它测试纸怎么看是否怀孕更近的邻近车道（相对位置关联）。

基spring于上述两个事实，解码器两个阶段的流程分别可以描述为：

高层交互阶段。障碍物时序特征 $H_{agent}$ 和场景拓扑特征 $H_{env}$ 特征组成一张全局的图测试纸怎么看是否怀孕，这张图可以表示为一个混合矩阵 $H_{mix}$ （高精地图模式下大小为( $N$ + $L$ )x $1$ x $2 D$ ，语义图模式下为( $N$ + $1$ )x $1$ x $2 D$ ）。基于这张混安全教育平台登录合图，我们同样使用双通道混合注意力模块Dec-MAT进行特征强化与编码。其中，测试室内甲醛第一个通道对于特征 $HmixH_{mix安全期是哪几天}$ 的第一维度进行Agentwise Attention操作，目的是根据每个障碍物各自的测试手机是否被监控时序人工智能ai换脸明星梦运动特征来做全局交互，这基于上述事实1；第二个spring是什么意思中文翻译通道对于特征 $H_{mix}$ ，引入位置信息 $c 安全期$ 作为条件进行Conditional Attention操作，目spring框架的是根据障碍物之间的相对位置关系来做全局交互，这基于上述事实2。条件特征 $c$ 是障碍物和车道的绝对位置安全教育平台登录坐标，因此Conditional Attention也称为Distance-based Attention。最终两apple个通道的编码特征以及输入 $H_{mix}$ 特征相加，过滤掉道路信息后得到障碍物特征 $G_{agent}$ （大人工智能概念股小为 $N$ x $2 D$ ）;
轨迹预测阶段。 $G测试你的自卑程度agentG_{agent}$ 通过Baspring框架ckbone以后，经过两个ML人工智能P head分别输出预测轨迹 $Y^hat{Y}$ 和轨迹概安全教育平台登录率 $P r$ 。

最终在Gener测试你是不是病娇alizability赛道上，我们以ADE 0.5339米获得冠军；ReSpringgular赛道上，我们以ADE 0.1912米获得亚军。

04 总结

障碍物轨迹预测对无人车安全springfield行驶具有重要的意义，它也是学界与工人工智能电影业界公认有很大人工智能挑战性的课题。我们希望通过努测试抑郁程度的问卷力做出更好的解决方案人工智能概念股，持续提升自动驾驶系统对障碍物的预测能力，为美团实际业务及出行领域提供更多的技术支持。

05 参考文献

[1测试抑郁症的20道题] Alahi A, Goel K, Ramanathan V, et al. Social lstm: Human trajectory prediction in crowde测试你是不是病娇d spaces[C]//Proceedings of th测试e IEEE Conference on Computer Vision and Pattern Recogniti安全教育on人工智能视频在线播放. 2016: 961-971.
[2] Gupta A, Johnson J, Fei-Fei L,spring是什么意思 et al. Social gan: S测试你的自卑程度ocially acceptable traje安全教育平台登录ctories with generative adver人工智能软件开发聚顶科技在线sarial networks[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2018: 2测试蛙2测试纸怎么看是否怀孕55-2264.
[3] Zhu Y, Qian D, Ren D, et al. StarNet: Pedestrian trajectory predictio测试你的自卑程度n using deep neural network in star topology[C]//Proceedings of the IEEE/RSJ International Conference on Intelligent Robots and Systems.spring框架 2019spring面试题: 8075-8080.
[4] Chai Y, SAPPapp B, Bansal M, et al. Multipath: Multiplapprovee probabilis安全期计算器tic anchor trajectory hypotheses for behavior prediction[J]. arXiv preprint arXiv:1910.05449, 2019.
[5] Chang M F, Lamb测试你的自卑程度ert J, Sangkloy P, et al. Argoverse人工智能视频在线播放: 3d tracking and forecasting with rich maps[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2019: 8748-8757.
[6] Liang J, Jiang L, Niebles J C, et al. Peeking into the future: Predicting future安全教育平台登录 person activities and loca人工智能人脸识别聚顶科技在线tions in videos[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2019: 5725-5734.
[7] Mohamed A, Qian K, Elhoseiny M, et al. Social测试你是不是病娇-STGCNN: A Social Spatio-Temporal Graph Convolutional Neural Network fo安全期是哪几天r Human Trajectory Predicspringtion[C]//Proceedings of the IEEE/CVF Conference on CompAPPuter Vision and Pattern Recognition. 2020: 14424-14432.
[8] Liang M, Yang B, Hu R, et al. Learning laspringboot面试题nSpringe graph representations for motion forecasting[C]//Eurapp安装下载opean Conference on Computer Vision. Springer, Cha测试你是不是病娇m, 2020: 541-556.
[9] Huang Y, Bi H K, Li人工智能ai换脸明星梦 Z, et al. STGAT: Modeling spatial-temporal in安全教育平台登录入口teractions for human trajectory prediction[C]//Proceedings of the IEEE Interappleidnational Conference on Com测试抑郁症的20道题puter Vision. 2019: 6272-6281.
[10] Gao J, Sun C,安全期计算器 Zhao H, et al. VectorNet: Enc测试抑郁症的20道题odspringfielding HD maps and agent dynamics from vectorized rep测试纸怎么看是否怀孕resentation[J]. arXiv preprint arXiv:2005.04259, 2020.
[11] Zhao H, Gao J, Lan T, et al. Tnt: Target-driven tspringfestival手抄报rajectory prediction[J]. arXivappear preprint arXiv:2008.08294, 2020.

06 作者简介

炎亮、傅壮、德恒、冬淳，均为测试网速美团无人车配送中心算法工程师。

| 想阅读更多技术文章，请关注美团技术团队（meituantech）官方微信公众号。

| 在公众号菜单栏回复【2019年货】、【2018年货】、【2017年货】、【算法】等关键词，可查看美团技术团队历年技术文章合集。

自动驾驶轨迹预测算法：NeurIPS挑战赛冠军方案

01 背景

02 赛题简介