自主驾驶中安全路径规划是由于静态场景元素和不确定的周围代理的相互作用，这是一个复杂的任务。虽然所有静态场景元素都是信息来源，但对自助车辆可用的信息有不对称的重要性。我们展示了一个具有新颖功能的数据集，签署了Parience，定义为指示符号是否明显地对自助式车辆的目标有关交通规则的目标。在裁剪标志上使用卷积网络，通过道路类型，图像坐标和计划机动的实验增强，我们预测了76％的准确性，使用76％的符号蓬勃发展，并使用与标志图像的车辆机动信息找到最佳改进。

对行人行为的预测对于完全自主车辆安全有效地在繁忙的城市街道上驾驶至关重要。未来的自治车需要适应混合条件，不仅具有技术还是社会能力。随着更多算法和数据集已经开发出预测行人行为，这些努力缺乏基准标签和估计行人的时间动态意图变化的能力，提供了对交互场景的解释，以及具有社会智能的支持算法。本文提出并分享另一个代表数据集，称为Iupui-CSRC行人位于意图（PSI）数据，除了综合计算机视觉标签之外，具有两种创新标签。第一部小说标签是在自助式车辆前面交叉的行人的动态意图变化，从24个司机中实现了不同的背景。第二个是在估计行人意图并在交互期间预测其行为时对驾驶员推理过程的基于文本的解释。这些创新标签可以启用几个计算机视觉任务，包括行人意图/行为预测，车辆行人互动分割和用于可解释算法的视频到语言映射。发布的数据集可以从根本上从根本上改善行人行为预测模型的发展，并开发社会智能自治车，以有效地与行人进行互动。 DataSet已被不同的任务进行评估，并已释放到公众访问。

考虑到安全至关重要自动化系统中情境意识的功能，对驾驶场景的风险及其解释性的感知对于自主和合作驾驶特别重要。为了实现这一目标，本文提出了在驾驶场景中的共同风险定位的新研究方向及其作为自然语言描述的风险解释。由于缺乏标准基准，我们收集了一个大规模数据集，戏剧性（带有字幕模块的驾驶风险评估机制），该数据集由17,785个在日本东京收集的互动驾驶场景组成。我们的戏剧数据集适用于带有相关重要对象的驾驶风险的视频和对象级别的问题，以实现视觉字幕的目标，作为一种自由形式的语言描述，利用封闭式和开放式响应用于多层次问题，可以用来使用这些响应，可用于在驾驶场景中评估一系列视觉字幕功能。我们将这些数据提供给社区以进行进一步研究。使用戏剧，我们探索了在互动驾驶场景中的联合风险定位和字幕的多个方面。特别是，我们基准了各种多任务预测架构，并提供了关节风险定位和风险字幕的详细分析。数据集可在https://usa.honda-ri.com/drama上获得

在由车辆安装的仪表板摄像机捕获的视频中检测危险交通代理（仪表板）对于促进在复杂环境中的安全导航至关重要。与事故相关的视频只是驾驶视频大数据的一小部分，并且瞬态前的事故流程具有高度动态和复杂性。此外，风险和非危险交通代理的外观可能相似。这些使驾驶视频中的风险对象本地化特别具有挑战性。为此，本文提出了一个注意力引导的多式功能融合网络（AM-NET），以将仪表板视频的危险交通代理本地化。两个封闭式复发单元（GRU）网络使用对象边界框和从连续视频帧中提取的光流功能来捕获时空提示，以区分危险交通代理。加上GRUS的注意力模块学会了与事故相关的交通代理。融合了两个功能流，AM-NET预测了视频中交通代理的风险评分。在支持这项研究的过程中，本文还引入了一个名为“风险对象本地化”（ROL）的基准数据集。该数据集包含带有事故，对象和场景级属性的空间，时间和分类注释。拟议的AM-NET在ROL数据集上实现了85.73％的AUC的有希望的性能。同时，AM-NET在DOTA数据集上优于视频异常检测的当前最新视频异常检测。一项彻底的消融研究进一步揭示了AM-NET通过评估其不同组成部分的贡献的优点。

Figure 1: We introduce datasets for 3D tracking and motion forecasting with rich maps for autonomous driving. Our 3D tracking dataset contains sequences of LiDAR measurements, 360 • RGB video, front-facing stereo (middle-right), and 6-dof localization. All sequences are aligned with maps containing lane center lines (magenta), driveable region (orange), and ground height. Sequences are annotated with 3D cuboid tracks (green). A wider map view is shown in the bottom-right.

In this work, we tackle two vital tasks in automated driving systems, i.e., driver intent prediction and risk object identification from egocentric images. Mainly, we investigate the question: what would be good road scene-level representations for these two tasks? We contend that a scene-level representation must capture higher-level semantic and geometric representations of traffic scenes around ego-vehicle while performing actions to their destinations. To this end, we introduce the representation of semantic regions, which are areas where ego-vehicles visit while taking an afforded action (e.g., left-turn at 4-way intersections). We propose to learn scene-level representations via a novel semantic region prediction task and an automatic semantic region labeling algorithm. Extensive evaluations are conducted on the HDD and nuScenes datasets, and the learned representations lead to state-of-the-art performance for driver intention prediction and risk object identification.

预期周围车辆的车道变化意图对于自动驾驶系统中的有效且安全的驾驶决策至关重要。以前的作品通常采用物理变量，例如驾驶速度，加速度等进行车道变更分类。但是，物理变量不包含语义信息。尽管3D CNN正在迅速开发，但使用动作识别模型和泳道更改识别的外观特征的方法数量很低，并且它们都需要其他信息来预处理数据。在这项工作中，我们提出了一个端到端框架，包括使用相机收集的视频数据，包括两种用于车道变更识别的动作识别方法。我们的方法仅使用预防数据集的RGB视频数据来实现最佳的车道变更分类结果。类激活图表明，动作识别模型可以有效提取车道变更运动。本文还提出了一种更好地提取运动线索的方法。

Computer vision applications in intelligent transportation systems (ITS) and autonomous driving (AD) have gravitated towards deep neural network architectures in recent years. While performance seems to be improving on benchmark datasets, many real-world challenges are yet to be adequately considered in research. This paper conducted an extensive literature review on the applications of computer vision in ITS and AD, and discusses challenges related to data, models, and complex urban environments. The data challenges are associated with the collection and labeling of training data and its relevance to real world conditions, bias inherent in datasets, the high volume of data needed to be processed, and privacy concerns. Deep learning (DL) models are commonly too complex for real-time processing on embedded hardware, lack explainability and generalizability, and are hard to test in real-world settings. Complex urban traffic environments have irregular lighting and occlusions, and surveillance cameras can be mounted at a variety of angles, gather dirt, shake in the wind, while the traffic conditions are highly heterogeneous, with violation of rules and complex interactions in crowded scenarios. Some representative applications that suffer from these problems are traffic flow estimation, congestion detection, autonomous driving perception, vehicle interaction, and edge computing for practical deployment. The possible ways of dealing with the challenges are also explored while prioritizing practical deployment.

在本文中，我们提出了一个系统，以培训不仅从自我车辆收集的经验，而且还观察到的所有车辆的经验。该系统使用其他代理的行为来创建更多样化的驾驶场景，而无需收集其他数据。从其他车辆学习的主要困难是没有传感器信息。我们使用一组监督任务来学习一个中间表示，这是对控制车辆的观点不变的。这不仅在训练时间提供了更丰富的信号，而且还可以在推断过程中进行更复杂的推理。了解所有车辆驾驶如何有助于预测测试时的行为，并避免碰撞。我们在闭环驾驶模拟中评估该系统。我们的系统的表现优于公共卡拉排行榜上的所有先前方法，较大的利润率将驾驶得分提高了25，路线完成率提高了24分。我们的方法赢得了2021年的卡拉自动驾驶挑战。代码和数据可在https://github.com/dotchen/lav上获得。

自主系统（AS）越来越多地提出或在安全关键（SC）应用中使用，例如公路车辆。许多这样的系统利用复杂的传感器套件和处理来提供场景理解，从而使“决策”（例如路径计划）提供了信息。传感器处理通常利用机器学习（ML），并且必须在具有挑战性的环境中工作，此外，ML算法具有已知的局限性，例如，对象分类中错误的负面因素或假阳性的可能性。为常规SC系统开发的完善的安全分析方法与AS使用的AS，ML或传感系统没有很好的匹配。本文提出了适应良好的安全分析方法的适应，以解决AS的传感系统的细节，包括解决环境效应和ML的潜在故障模式，并为选择特定的指南或提示集提供了理由。安全分析。它继续展示了如何使用分析结果来告知AS系统的设计和验证，并通过对移动机器人进行部分分析来说明新方法。本文中的插图主要基于光学传感，但是本文讨论了该方法对其他感应方式的适用性及其在更广泛的安全过程中的作用，以解决AS的整体功能

这项调查回顾了对基于视觉的自动驾驶系统进行行为克隆训练的解释性方法。解释性的概念具有多个方面，并且需要解释性的驾驶强度是一种安全至关重要的应用。从几个研究领域收集贡献，即计算机视觉，深度学习，自动驾驶，可解释的AI（X-AI），这项调查可以解决几点。首先，它讨论了从自动驾驶系统中获得更多可解释性和解释性的定义，上下文和动机，以及该应用程序特定的挑战。其次，以事后方式为黑盒自动驾驶系统提供解释的方法是全面组织和详细的。第三，详细介绍和讨论了旨在通过设计构建更容易解释的自动驾驶系统的方法。最后，确定并检查了剩余的开放挑战和潜在的未来研究方向。

由于安全问题，自动驾驶汽车的大规模部署已不断延迟。一方面，全面的场景理解是必不可少的，缺乏这种理解会导致易受罕见但复杂的交通状况，例如突然出现未知物体。但是，从全球环境中的推理需要访问多种类型的传感器以及多模式传感器信号的足够融合，这很难实现。另一方面，学习模型中缺乏可解释性也会因无法验证的故障原因阻碍安全性。在本文中，我们提出了一个安全增强的自主驾驶框架，称为可解释的传感器融合变压器（Interfuser），以完全处理和融合来自多模式多视图传感器的信息，以实现全面的场景理解和对抗性事件检测。此外，我们的框架是从我们的框架中生成的中间解释功能，该功能提供了更多的语义，并被利用以更好地约束操作以在安全集内。我们在Carla基准测试中进行了广泛的实验，我们的模型优于先前的方法，在公共卡拉排行榜上排名第一。

Datasets drive vision progress, yet existing driving datasets are impoverished in terms of visual content and supported tasks to study multitask learning for autonomous driving. Researchers are usually constrained to study a small set of problems on one dataset, while real-world computer vision applications require performing tasks of various complexities. We construct BDD100K 1 , the largest driving video dataset with 100K videos and 10 tasks to evaluate the exciting progress of image recognition algorithms on autonomous driving. The dataset possesses geographic, environmental, and weather diversity, which is useful for training models that are less likely to be surprised by new conditions. Based on this diverse dataset, we build a benchmark for heterogeneous multitask learning and study how to solve the tasks together. Our experiments show that special training strategies are needed for existing models to perform such heterogeneous tasks. BDD100K opens the door for future studies in this important venue.

近年来，道路安全引起了智能运输系统领域的研究人员和从业者的重大关注。作为最常见的道路用户群体之一，行人由于其不可预测的行为和运动而导致令人震惊，因为车辆行人互动的微妙误解可以很容易地导致风险的情况或碰撞。现有方法使用预定义的基于碰撞的模型或人类标签方法来估计行人的风险。这些方法通常受到他们的概括能力差，缺乏对自我车辆和行人之间的相互作用的限制。这项工作通过提出行人风险级预测系统来解决所列问题。该系统由三个模块组成。首先，收集车辆角度的行人数据。由于数据包含关于自我车辆和行人的运动的信息，因此可以简化以交互感知方式预测时空特征的预测。使用长短短期存储器模型，行人轨迹预测模块预测后续五个框架中的时空特征。随着预测的轨迹遵循某些交互和风险模式，采用混合聚类和分类方法来探讨时空特征中的风险模式，并使用学习模式训练风险等级分类器。在预测行人的时空特征并识别相应的风险水平时，确定自我车辆和行人之间的风险模式。实验结果验证了PRLP系统的能力，以预测行人的风险程度，从而支持智能车辆的碰撞风险评估，并为车辆和行人提供安全警告。

行人意图预测问题是估计目标行人是否会过马路。最先进的方法在很大程度上依赖于使用自我车辆的前置摄像头收集的视觉信息来预测行人的意图。因此，当视觉信息不准确时，例如，当行人和自我车辆之间的距离远处或照明条件不够好时，现有方法的性能会显着降低。在本文中，我们根据与行人的智能手表（或智能手机）收集的运动传感器数据的集成，设计，实施和评估第一个行人意图预测模型。提出了一种新型的机器学习体系结构，以有效地合并运动传感器数据，以加强视觉信息，以显着改善视觉信息可能不可靠的不利情况的性能。我们还进行了大规模的数据收集，并介绍了与时间同步运动传感器数据集成的第一个行人意图预测数据集。该数据集由总共128个视频剪辑组成，这些视频片段具有不同的距离和不同级别的照明条件。我们使用广泛使用的JAAD和我们自己的数据集训练了模型，并将性能与最先进的模型进行了比较。结果表明，我们的模型优于最新方法，特别是当行人的距离远（超过70m）并且照明条件不足时。

城市十字路口的驾驶行为非常复杂。因此，对于自治车辆来说至关重要，以全面了解具有挑战性的城市交通场景，以便导航交叉点和防止事故。在本文中，我们介绍了基于立体声的视觉和3D数字地图的空间和3D数字地图，并在城市交叉路口中分析了交通状况。立体视觉用于检测，分类和跟踪障碍物，而3D数字地图用于改善自我定位并在道路布局信息方面提供上下文。提出了一种概率，呈现这些几何，语义，动态和上下文提示的概率方法。我们定性地和定量评估我们在东京市峡谷中收集的实际交通数据的提出的技术，以证明该系统在提供对交通环境的全面认识方面的效果。

The last decade witnessed increasingly rapid progress in self-driving vehicle technology, mainly backed up by advances in the area of deep learning and artificial intelligence. The objective of this paper is to survey the current state-of-the-art on deep learning technologies used in autonomous driving. We start by presenting AI-based self-driving architectures, convolutional and recurrent neural networks, as well as the deep reinforcement learning paradigm. These methodologies form a base for the surveyed driving scene perception, path planning, behavior arbitration and motion control algorithms. We investigate both the modular perception-planning-action pipeline, where each module is built using deep learning methods, as well as End2End systems, which directly map sensory information to steering commands. Additionally, we tackle current challenges encountered in designing AI architectures for autonomous driving, such as their safety, training data sources and computational hardware. The comparison presented in this survey helps to gain insight into the strengths and limitations of deep learning and AI approaches for autonomous driving and assist with design choices. 1

随着智能车辆和先进驾驶员援助系统（ADAS）的快速发展，新趋势是人类驾驶员的混合水平将参与运输系统。因此，在这种情况下，司机的必要视觉指导对于防止潜在风险至关重要。为了推进视觉指导系统的发展，我们介绍了一种新的视觉云数据融合方法，从云中集成相机图像和数字双胞胎信息，帮助智能车辆做出更好的决策。绘制目标车辆边界框并在物体检测器的帮助下（在EGO车辆上运行）和位置信息（从云接收）匹配。使用深度图像作为附加特征源获得最佳匹配结果，从工会阈值下面的0.7交叉口下的精度为79.2％。进行了对车道改变预测的案例研究，以表明所提出的数据融合方法的有效性。在案例研究中，提出了一种多层的Perceptron算法，用修改的车道改变预测方法提出。从Unity游戏发动机获得的人型仿真结果表明，在安全性，舒适度和环境可持续性方面，拟议的模型可以显着提高高速公路驾驶性能。

自动化驾驶系统（广告）开辟了汽车行业的新领域，为未来的运输提供了更高的效率和舒适体验的新可能性。然而，在恶劣天气条件下的自主驾驶已经存在，使自动车辆（AVS）长时间保持自主车辆（AVS）或更高的自主权。本文评估了天气在分析和统计方式中为广告传感器带来的影响和挑战，并对恶劣天气条件进行了解决方案。彻底报道了关于对每种天气的感知增强的最先进技术。外部辅助解决方案如V2X技术，当前可用的数据集，模拟器和天气腔室的实验设施中的天气条件覆盖范围明显。通过指出各种主要天气问题，自主驾驶场目前正在面临，近年来审查硬件和计算机科学解决方案，这项调查概述了在不利的天气驾驶条件方面的障碍和方向的障碍和方向。

We introduce Argoverse 2 (AV2) - a collection of three datasets for perception and forecasting research in the self-driving domain. The annotated Sensor Dataset contains 1,000 sequences of multimodal data, encompassing high-resolution imagery from seven ring cameras, and two stereo cameras in addition to lidar point clouds, and 6-DOF map-aligned pose. Sequences contain 3D cuboid annotations for 26 object categories, all of which are sufficiently-sampled to support training and evaluation of 3D perception models. The Lidar Dataset contains 20,000 sequences of unlabeled lidar point clouds and map-aligned pose. This dataset is the largest ever collection of lidar sensor data and supports self-supervised learning and the emerging task of point cloud forecasting. Finally, the Motion Forecasting Dataset contains 250,000 scenarios mined for interesting and challenging interactions between the autonomous vehicle and other actors in each local scene. Models are tasked with the prediction of future motion for "scored actors" in each scenario and are provided with track histories that capture object location, heading, velocity, and category. In all three datasets, each scenario contains its own HD Map with 3D lane and crosswalk geometry - sourced from data captured in six distinct cities. We believe these datasets will support new and existing machine learning research problems in ways that existing datasets do not. All datasets are released under the CC BY-NC-SA 4.0 license.