文章详情

短信预约-IT技能 免费直播动态提醒

请输入下面的图形验证码

提交验证

短信预约提醒成功

端到端自动驾驶下的轨迹预测,未来走向如何?最新综述一览前沿!

2024-11-30 09:15

关注

论文链接:https://arxiv.org/abs/2307.07527

人为失误对导致人员伤亡、车辆损坏和安全问题的道路碰撞的重大影响约占94%(误差为±2.2%),因此需要探索替代方法。自动驾驶汽车(AVs)已经成为一种很有前途的解决方案,它用先进的计算机辅助决策系统取代了人类驾驶员。然而为了让AV有效地在道路上行驶,它们必须具备预测附近交通参与者未来行为的能力,类似于人类驾驶员的预测驾驶能力。建立在现有文献的基础上,对于推进该领域并全面了解自动驾驶背景下的轨迹预测方法至关重要。为了满足这一需求,我们进行了一项全面的综述,重点关注AV的轨迹预测方法,特别强调机器学习技术,包括基于深度学习和强化学习的方法。我们已经广泛研究了200多项与AVs背景下的轨迹预测相关的研究。本文首先介绍了预测车辆轨迹的一般问题,并概述了贯穿始终的关键概念和术语。在简要概述了传统方法之后,本文对几种基于深度学习的技术进行了全面评估。对每种方法进行了简要总结,并对其优缺点进行了详细分析。讨论进一步扩展到基于强化学习的方法。本文还研究了轨迹预测任务中常用的各种数据集和评估指标。为了鼓励进行公正客观的讨论,我们比较了两种主要的学习过程,考虑到具体的功能特征。通过识别现有文献中的挑战并概述潜在的研究方向,这篇综述对AV轨迹预测领域的知识进步做出了重大贡献。其主要目标是简化当前的研究工作,并提供未来的视角,最终有利于该领域的未来发展。

动机

轨道预测已经获得了巨大的发展,一些学者也在这一领域进行研究。表I总结了相关的调查现状,以及不同的分类方法和贡献。

运动预测包括根据所需的抽象水平预测物体的行为、动作或轨迹。“行为”一词包括一般动作及其执行方式,如“跟随道路并保持安全距离”。另一方面,“机动”是指物体可以在不需要详细说明的情况下执行的离散动作,如“右转”,通过描述对象在离散时间步长上的位置来提供最详细的预测类型。先前的调查主要强调自动驾驶汽车领域的运动预测和行为预测。此外,其他综述混合了车辆和行人的轨迹预测。关于自动驾驶轨迹预测机器学习方法的全面而专门的综述仍然相对未被探索。此外,近年来轨迹预测领域的一些进步,包括基于计算机视觉的方法、强化学习等,在现有的调查中没有得到解决,这些调查也需要探索。因此,在这一领域存在着进一步探索和研究的巨大潜力。

趋势

近年来,自动驾驶在汽车行业越来越受欢迎。包括特斯拉、通用汽车和宝马在内的知名汽车制造商进行了大量投资,并专注于自动驾驶汽车的轨迹预测和相关技术,以开发AD技术。与AD相关的关键词的全球搜索趋势,如轨迹预测、驾驶辅助、行为预测、轨迹规划和避障,如图1和图2所示。在图1中,相关关键词的比较显示了在同一时间段内的变化。这表明,驾驶辅助和避障在全球范围内产生了类似程度的兴奋。然而,在AD领域,最近在轨迹预测、轨迹规划和行为预测等关键词方面取得了进展。值得注意的是,轨迹预测专注于自动驾驶中更具体的领域。在图2中,描述了全球范围内与关键字相关的平均搜索次数。值得注意的是,与轨迹预测、轨迹规划和行为预测等其他术语相比,驾驶辅助和避障关键词的搜索次数更高。轨迹预测目前正在AD领域发展,这表明人们对该领域的兴趣和发展越来越大。

主要贡献

总结来说,本文的主要贡献如下:

轨迹预测方法中的应用技术

自动驾驶中的轨迹预测方法可以大致分为以下几类:

传统方法

传统的轨迹预测方法是指在自动驾驶(AD)中通常用于预测道路使用者未来轨迹的传统方法。这些方法通常依赖于成熟的数学和统计技术,根据历史数据和预定义的模型进行预测。一些常用的常规方法有:

用于轨迹预测的常规方法通常在计算上高效并且相对容易实现。然而,它们在处理具有复杂交互和不确定性的复杂场景方面可能存在局限性。因此,人们对探索更先进的基于机器学习的方法越来越感兴趣,如深度学习和强化学习,以提高轨迹预测的准确性和稳健性。

基于深度学习的方法

近年来,基于深度学习的方法在自动驾驶汽车(AV)的轨迹预测方面受到了极大的关注。这些方法利用人工神经网络的力量,从大量数据中学习复杂的模式和关系。以下是一些常见的基于深度学习的轨迹预测方法:

与传统方法相比,基于深度学习的方法在捕捉复杂模式、处理不同场景和生成更准确的轨迹预测方面的性能有所提高。然而,它们需要大量标记的训练数据和用于训练和推理的计算资源。此外,学习模型的可解释性可能是一个挑战,因此验证预测并了解模型在现实世界场景中的局限性非常重要。

基于强化学习的方法

强化学习(RL)方法已被探索用于自动驾驶(AD)中的轨迹预测,为学习预测未来轨迹的最优策略提供了一种独特的方法。虽然RL传统上与决策和控制相关,但它也可以用于轨迹预测。以下是一些用于轨迹预测的RL方法:

通过将RL方法应用于轨迹预测,模型可以从数据和与环境的交互中学习,从而对未来轨迹做出准确的预测。然而,重要的是要考虑RL算法的复杂性和训练数据的可用性之间的权衡,以及在现实世界环境中对各种驾驶场景和不确定性进行泛化的挑战。

传统轨迹预测方法

本节将预测方法分为三大类,即基于物理的模型、采样方法和概率模型,表II简要概述了轨迹预测的传统方法及其局限性和优势。在图6中,描述了几种传统方法及其在解决自动驾驶汽车(AV)轨迹预测任务中的作用。对论文的分析表明,在本次调查中,56%的论文关注概率方法,35%的论文关注抽样方法,其余9%的论文致力于抽样方法。

基于物理的方法

第一类建议的基于物理的预测模型使用经典力学的运动方程作为目标物体未来运动建模的基础。可以使用动力学或运动学模型来描述物理行为。动力学模型考虑了引起运动的轮胎横向和纵向力,但通常选择基本动力学模型来平衡预测精度和计算工作量。相比之下,运动学模型由于其简单的形式而更常用,并且卡尔曼滤波(KF)技术可以处理车辆当前条件下的干扰,如不确定性或噪声。例如,张等人提出了一种基于车-车通信和KF的方法,使宿主车辆能够预测远程车辆的轨迹并避开障碍物。

基于采样的方法

这些技术包括对交通参与者的未来状态进行采样。这些方法不是预测单个轨迹,而是生成可能的车辆状态分布,这使它们对噪声和不确定性更具鲁棒性。采样主要有两种类型:生成多个轨迹段或粒子状态。在他们的研究中,Houenou等人将基于机动的方法与假设恒定偏航率和加速度(CYRA)的基于模型的方法相结合,开发了一种轨迹预测方法。他们确定了机动,并从通过最小化成本函数生成的集合中选择了最佳轨迹。

概率模型

轨迹预测中的概率框架是指使用概率论来建模和估计物体或实体(如车辆、行人或其他移动物体)未来轨迹的可能性。它涉及表示预测过程中的不确定性和可变性,并为预测轨迹提供概率分布或置信度度量。在概率框架中,轨迹预测通常被公式化为条件概率问题,其中目标是在给定观察到的过去轨迹、传感器测量和其他相关信息的情况下估计未来轨迹的概率分布。这包括结合概率模型、统计技术和机器学习算法来捕捉数据中的不确定性和相关性。

总结

基于深度学习的预测方法

传统的预测技术仅在基本预测场景和短期预测任务中有效。基于深度学习的轨迹预测模型由于能够考虑有助于准确预测的各种因素而广受欢迎。这些模型考虑了物理因素,如车辆的位置、速度、加速度、尺寸和形状。他们还考虑了与道路相关的因素,如交通标志、红绿灯、道路几何形状和道路障碍物。此外,还考虑了与交互相关的因素,包括车辆之间的距离、相对速度和通信系统的存在。图7提供了这些方法的总体概述。以下部分概述了用于自动驾驶汽车(AV)轨迹预测的最流行的基于深度学习的方法。

序列建模

基于深度学习的轨迹预测方法通常涉及使用序列网络从历史轨迹中提取特征,并可以作为输出层。这些网络通常包括递归神经网络(RNN)、时序卷积神经网络(TCN)、注意力机制(AM)和变换器。图8提供了在轨迹预测的顺序建模中使用不同算法的研究论文分布的百分比视觉表示。可以观察到,与RNN、AM和Transformers等其他算法相比,TCN在AV轨迹预测任务中不太常用。

时序卷积网络

时序卷积网络(TCN)是一种流行的深度神经网络架构,用于轨迹预测任务。在轨迹预测任务中,TCN根据历史轨迹数据进行训练,并用于预测车辆或行人的未来轨迹。

总之,TCN为轨迹预测任务中的时间依赖性建模提供了一种强大的方法。它们擅长捕捉短期和长期动态,执行高效的并行计算,并具有可解释的感受野。然而,空间关系和长期记忆可能需要额外的考虑。表IV概述了基于TCN的轨迹预测方法,包括预测范围(以秒为单位)、预测的轨迹数量以及用于训练和测试的评估指标。该表还强调了每项研究的优势和劣势。

注意力机制

注意力机制(AM)是一种认知模型,通过使用有限的注意力资源从大量数据中有效提取高价值信息,来近似人类的思维过程。它经常用于深度学习任务,,自注意力是一种流行的基于输入序列识别权重和新上下文向量的方法。最近的一些研究已经将注意力机制用于轨迹预测和意图估计。

总之,轨迹预测中的注意力机制提高了模型关注相关信息、处理可变长度序列、提供可解释性以及增强对噪声的鲁棒性的能力。然而,它也存在与计算开销、模型复杂性、注意力偏差和数据依赖性相关的潜在缺点。表五全面总结了基于注意力的轨迹预测方法。它包括重要信息,如预测范围(以秒为单位)、预测轨迹的数量以及用于训练和测试的评估指标。此外,该表还提供了对每项研究的优势和劣势的见解。

Transformer

Transformer是一种利用注意力机制概念的神经网络设计,已被用于各种项目。总之,transformer通过捕捉复杂的依赖关系和交互作用,展示了其在轨迹预测方面的潜力。它们提供了可扩展性、迁移学习功能以及处理多个代理的能力。然而,它们需要大量的计算资源,并且可能在可解释性和数据效率方面存在挑战。表VI总结了基于Transformer的轨迹预测方法,介绍了关键细节,如预测范围(以秒为单位)、预测的轨迹数量以及用于训练和测试的评估指标。此外,该表强调了每项研究的优势和劣势。

基于视觉建模

有两种类型的预测方法,它们在制定预测的方式上有所不同。第一种是鸟瞰图(BEV)方法,它使用一种算法来处理自上而下的类似地图的视图中的数据。第二种是自车相机预测,它涉及通过自车载体的视角来观察世界。然而,由于各种因素,自车相机方法通常比BEV方法更具挑战性。首先,BEV方法提供了更宽的视野和更准确的预测,而自车相机方法的视野更窄,预测范围有限。此外,自车摄像机方法比BEV方法更容易出现障碍。尽管存在这些困难,但自车摄像头方法仍然比纯电动汽车方法更有益,因为大多数车辆都无法使用摄像头来定位道路上的目标代理和纯电动汽车。因此,预测系统应该能够从自车载体的角度看待世界,如图9所示。各种基于视觉的技术及其对解决自动驾驶汽车轨迹预测任务的贡献如图10所示。在AVs研究论文中,每种技术对轨迹预测的贡献大致相等。本节重点介绍了卷积神经网络(CNNs)和图神经网络(GNN)在解决该领域中的应用。

CNN

卷积神经网络已成功应用于各种计算机视觉任务,包括轨迹预测。尽管细胞神经网络主要是为图像数据设计的,但通过将轨迹序列视为结构化网格状输入,它们可以适用于轨迹预测。

然而,大多数使用CNN框架的技术都采用鸟瞰图(BEV)作为输入,显示自上而下的交通状况视图。BEV图像可以使用多个数据源创建,包括激光雷达点云、占用网格(OG)和高精地图(HD地图)。最近的一些研究利用CNN从复杂的BEV表示中提取特征。

总之,CNN在捕捉空间模式和识别轨迹数据中的空间关系方面具有优势。它们在参数共享方面是高效的,并且可以处理更大的数据集。然而,他们可能会在建模时间依赖性和处理可变长度序列方面遇到困难。表VII概述了基于CNN的轨迹预测方法,包括以秒为单位测量的预测范围和预测的轨迹数量。该表还概述了用于训练和测试的评估指标,并强调了每项研究的优势和劣势。以下各节将介绍基于GNN预测车辆轨迹的方法。

GNN

当考虑将交互相关因素考虑在内的预测技术时,环境的每个元素都可以被视为图中的一个节点。然而,许多现实世界的应用程序从非欧几里得空间生成数据,而分析欧几里得空间数据的传统基于深度学习的方法在这种情况下表现不佳。每个场景都可以表示为具有可变大小无序节点的不规则图,并且由于附近节点数量的变化,一些关键操作(如卷积)不直接适用于图。然而,图中的每个节点都通过边连接到其他节点,这可以用来确定各种对象的相互依赖性。图神经网络(GNN)非常适合基于交互相关元素的车辆轨迹预测挑战。方法如图11所示。

CNN和GNN的结合

一些研究人员提出了使用RNN和CNN的组合来处理轨迹预测的时间和空间信息的模型。表XI总结了基于CNN的轨迹预测方法,强调了预测的轨迹数量和以秒为单位测量的预测范围。该表还强调了每项研究的优势和劣势,包括用于训练和测试的评估指标。

生成式模型

由于结果的潜在多样性,预测多模态轨迹带来了挑战和不确定性。为了解决这个问题,一些研究人员转向生成模型来创建能够捕捉潜在多样性的多模态轨迹。然而,为了使多模态轨迹预测模型有效,其输出分布必须满足一定的要求,包括多样性、社会可接受性和可控性。仅使用一个基本事实来实现最优分布可能很困难,并且可能导致不那么多样化和不可接受的预测。为了克服这一挑战,已经提出了生成对抗性网络(GANs)和变分自动编码器(VAE)作为解决方案。图12说明了两个生成模型在协助自动驾驶汽车(AV)完成轨迹预测任务方面的研究论文的参与情况(以百分比表示)。这两个模型对预测过程的贡献大致相等,显示了它们在生成准确轨迹预测方面的共同责任。

基于强化学习的方法

RL技术用于估计潜在成本函数或直接识别用于轨迹预测的最优策略。在任何一种方法中,都假设被观察的代理总是试图通过利用基于特定成本函数的最优策略来达到其目标。图15说明了RL方法在AV中的应用。在MDP的框架内,基于RL的方法可以分为反向强化学习(IRL)方法、模仿学习(IL)方法和深度IRL方法,如下所述。图14说明了RL的不同变体的研究文章的分布,以百分比表示,以及它们在解决AV中的轨迹预测任务中的参与情况。

Inverse Reinforcement Learning

逆强化学习(IRL)背后的主要思想是学习解释观察到的主体行为的奖励函数。IRL的目的不是直接模仿观察到的轨迹,而是了解驱动这些轨迹的潜在动机或目标。通过推断奖励函数,该算法可以推广到观测到的轨迹之外,并对未来的轨迹进行预测。总之,虽然IRL有潜力提供更深入的见解和更灵活的轨迹预测,但在实际应用中应仔细考虑对专家演示的要求以及与质量和计算复杂性相关的挑战。

Deep Inverse Reinforcement Learning

深度逆强化学习(Deep IRL)是逆强化学习(IRL)的扩展,在企业的深度神经网络(DNN)中,从专家演示中学习奖励函数。

总之,Deep IRL通过利用深度神经网络提供了更强大和自适应的轨迹预测模型的潜力。然而,为了在自动驾驶轨迹预测中成功应用,需要仔细解决与数据需求、计算复杂性、可解释性和过拟合相关的挑战。

模仿学习

反向强化学习(IRL)算法的一个缺点是,它们难以在奖励很少或没有直接奖励函数的情况下进行训练。为了解决这个问题,有人建议将模仿学习(IL)作为一种解决方案。IL旨在根据专家的观察快速确定政策,而不需要成本函数。总之,IL和GAIL是很有前途的方法,可以在奖励有限或没有直接奖励函数的情况下解决训练RL算法的挑战。他们在建模人类驾驶行为和生成真实预测方面的成功为他们在其他现实世界场景中的应用开辟了可能性。表XIV总结了基于强化学习的轨迹预测方法,并强调了每项研究的优势和劣势。

数据集

数据集汇总如下表:

评价指标汇总如下表:

讨论

在本节中,通过对代表性模型的比较,对所提出的模型进行了公平的评估。所选择的标准包括与轨迹预测任务有关的不同因素,以及在该领域使用模型的总体先决条件。尽管如此,该比较揭示了普遍的模式,并提供了对特定特征和使用场景的理解。应比较基于深度学习的模型和基于强化学习的方法。比较结果汇总在表XVII中。

基于深度学习的模型已经证明了它们在很长一段时间内产生准确预测的能力,因为它们可以进行长达8秒的长期预测。然而,这些模型通常由神经网络组成,因此被视为黑匣子模型,这降低了它们的可解释性,并可能在验证和批准方面带来挑战。尽管如此,这些模型具有整体性的优势,因为它们可以将来自多个来源的各种特征(包括对象交互和语义数据)集成到神经网络中。然而,为了获得良好的预测性能,仔细选择有效的特征是至关重要的。空间特征和相应表示的使用使得能够考虑主体之间的交互,这使得交互意识成为可能。基于深度学习的模型能够以不同的抽象级别描述复杂的过程,并能够将轨迹作为预测结果输出。然而,这些模型需要反映特定应用领域的有效训练数据,以实现全面和稳健的预测。因此,这些模型高度依赖于数据。此外,这些模型的自适应性仅限于模型训练数据范围内的场景。由于其整体方法,基于深度学习的模型通常与高计算成本有关,而高计算成本受所用神经网络大小的强烈影响。然而,在当前的技术状态下,基于深度学习的模型提供了最高的预测精度。

基于强化学习的方法也能够进行长期预测。然而,可解释性的程度因所使用的具体方法而异。间接模型生成一个映射到状态动作元组的成本函数,该函数可用于解释策略的提议输出。尽管如此,解释成本函数是如何从专家的论证中确定的还是很有挑战性的。输出政策的直接模型并没有从演示中明确推导出成本函数,这使得它们不太容易解释。这些模型可以直接将多个对象之间的交互视为输入特征。此外,可以使用广泛的特征,包括来自道路地图的语义信息,作为输入,使这些模型具有整体性。

基于强化学习的模型能够通过利用底层策略来描述复杂的策略。然而,模型的输出通常由离散的操作组成,因为策略包括对象可以执行的状态-动作元组。尽管可以从后续模块中导出显式轨迹,但这些模型在很大程度上依赖于不同的数据,包括演示,用于训练。提取全面的成本函数或稳健策略尤其具有挑战性,因为它强烈依赖于专家的行为观察,因此很难进行正确的训练。基于强化学习的模型旨在推理物体的运动,使其能够很好地适应未知场景。然而,与基于深度学习的模型类似,基于强化学习方法的整体模型具有较高的计算成本。此外,学习鲁棒策略的复杂性会对预测准确性产生负面影响。

挑战和未来趋势

挑战

未来方向

原文链接:https://mp.weixin.qq.com/s/wX8Xtga6ZR-PVn2S-ETlTA

来源:自动驾驶之心内容投诉

免责声明:

① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的,并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据,供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。

② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341

软考中级精品资料免费领

  • 历年真题答案解析
  • 备考技巧名师总结
  • 高频考点精准押题
  • 2024年上半年信息系统项目管理师第二批次真题及答案解析(完整版)

    难度     813人已做
    查看
  • 【考后总结】2024年5月26日信息系统项目管理师第2批次考情分析

    难度     354人已做
    查看
  • 【考后总结】2024年5月25日信息系统项目管理师第1批次考情分析

    难度     318人已做
    查看
  • 2024年上半年软考高项第一、二批次真题考点汇总(完整版)

    难度     435人已做
    查看
  • 2024年上半年系统架构设计师考试综合知识真题

    难度     224人已做
    查看

相关文章

发现更多好内容

猜你喜欢

AI推送时光机
位置:首页-资讯-后端开发
咦!没有更多了?去看看其它编程学习网 内容吧
首页课程
资料下载
问答资讯