本文为可以提取车辆间交互的自治车辆提供特定于自主车辆的驾驶员风险识别框架。在驾驶员认知方式下对城市驾驶场景进行了这种提取，以提高风险场景的识别准确性。首先，将群集分析应用于驱动程序的操作数据，以学习不同驱动程序风险场景的主观评估，并为每个场景生成相应的风险标签。其次，采用图形表示模型（GRM）统一和构建动态车辆，车间交互和静态交通标记的实际驾驶场景中的特征。驾驶员特定的风险标签提供了实践，以捕获不同司机的风险评估标准。此外，图形模型表示驾驶场景的多个功能。因此，所提出的框架可以了解不同驱动程序的驾驶场景的风险评估模式，并建立特定于驱动程序的风险标识符。最后，通过使用由多个驱动程序收集的现实世界城市驾驶数据集进行的实验评估所提出的框架的性能。结果表明，建议的框架可以准确地识别实际驾驶环境中的风险及其水平。

近年来，道路安全引起了智能运输系统领域的研究人员和从业者的重大关注。作为最常见的道路用户群体之一，行人由于其不可预测的行为和运动而导致令人震惊，因为车辆行人互动的微妙误解可以很容易地导致风险的情况或碰撞。现有方法使用预定义的基于碰撞的模型或人类标签方法来估计行人的风险。这些方法通常受到他们的概括能力差，缺乏对自我车辆和行人之间的相互作用的限制。这项工作通过提出行人风险级预测系统来解决所列问题。该系统由三个模块组成。首先，收集车辆角度的行人数据。由于数据包含关于自我车辆和行人的运动的信息，因此可以简化以交互感知方式预测时空特征的预测。使用长短短期存储器模型，行人轨迹预测模块预测后续五个框架中的时空特征。随着预测的轨迹遵循某些交互和风险模式，采用混合聚类和分类方法来探讨时空特征中的风险模式，并使用学习模式训练风险等级分类器。在预测行人的时空特征并识别相应的风险水平时，确定自我车辆和行人之间的风险模式。实验结果验证了PRLP系统的能力，以预测行人的风险程度，从而支持智能车辆的碰撞风险评估，并为车辆和行人提供安全警告。

对于流量场景的分类，可以以统一的方式描述场景的描述模型，无关，无关。本文描述了一种以语义方式描述交通场景的模型。描述模型允许独立于道路几何和道路拓扑描述交通场景。这里，流量参与者将投影到道路网络上并表示为图中的节点。根据两个交通参与者之间关于道路拓扑的相对位置，在相应节点之间创建语义分类边。为了具体化，边缘属性通过两次交通参与者之间的相对距离和速度而言，关于车道的过程。描述的一个重要方面是它可以容易地转换为机器可读格式。当前描述侧重于交通场景的动态对象，并考虑交通参与者，例如行人或车辆。

Multi-modal fusion is a basic task of autonomous driving system perception, which has attracted many scholars' interest in recent years. The current multi-modal fusion methods mainly focus on camera data and LiDAR data, but pay little attention to the kinematic information provided by the bottom sensors of the vehicle, such as acceleration, vehicle speed, angle of rotation. These information are not affected by complex external scenes, so it is more robust and reliable. In this paper, we introduce the existing application fields of vehicle bottom information and the research progress of related methods, as well as the multi-modal fusion methods based on bottom information. We also introduced the relevant information of the vehicle bottom information data set in detail to facilitate the research as soon as possible. In addition, new future ideas of multi-modal fusion technology for autonomous driving tasks are proposed to promote the further utilization of vehicle bottom information.

自动化驾驶系统（广告）开辟了汽车行业的新领域，为未来的运输提供了更高的效率和舒适体验的新可能性。然而，在恶劣天气条件下的自主驾驶已经存在，使自动车辆（AVS）长时间保持自主车辆（AVS）或更高的自主权。本文评估了天气在分析和统计方式中为广告传感器带来的影响和挑战，并对恶劣天气条件进行了解决方案。彻底报道了关于对每种天气的感知增强的最先进技术。外部辅助解决方案如V2X技术，当前可用的数据集，模拟器和天气腔室的实验设施中的天气条件覆盖范围明显。通过指出各种主要天气问题，自主驾驶场目前正在面临，近年来审查硬件和计算机科学解决方案，这项调查概述了在不利的天气驾驶条件方面的障碍和方向的障碍和方向。

Proper functioning of connected and automated vehicles (CAVs) is crucial for the safety and efficiency of future intelligent transport systems. Meanwhile, transitioning to fully autonomous driving requires a long period of mixed autonomy traffic, including both CAVs and human-driven vehicles. Thus, collaboration decision-making for CAVs is essential to generate appropriate driving behaviors to enhance the safety and efficiency of mixed autonomy traffic. In recent years, deep reinforcement learning (DRL) has been widely used in solving decision-making problems. However, the existing DRL-based methods have been mainly focused on solving the decision-making of a single CAV. Using the existing DRL-based methods in mixed autonomy traffic cannot accurately represent the mutual effects of vehicles and model dynamic traffic environments. To address these shortcomings, this article proposes a graph reinforcement learning (GRL) approach for multi-agent decision-making of CAVs in mixed autonomy traffic. First, a generic and modular GRL framework is designed. Then, a systematic review of DRL and GRL methods is presented, focusing on the problems addressed in recent research. Moreover, a comparative study on different GRL methods is further proposed based on the designed framework to verify the effectiveness of GRL methods. Results show that the GRL methods can well optimize the performance of multi-agent decision-making for CAVs in mixed autonomy traffic compared to the DRL methods. Finally, challenges and future research directions are summarized. This study can provide a valuable research reference for solving the multi-agent decision-making problems of CAVs in mixed autonomy traffic and can promote the implementation of GRL-based methods into intelligent transportation systems. The source code of our work can be found at https://github.com/Jacklinkk/Graph_CAVs.

通常根据历史崩溃数据来实践道路的风险评估。有时缺少有关驾驶员行为和实时交通情况的信息。在本文中，安全的路线映射（SRM）模型是一种开发道路动态风险热图的方法，可扩展在做出预测时考虑驾驶员行为。 Android应用程序旨在收集驱动程序的信息并将其上传到服务器。在服务器上，面部识别提取了驱动程序的数据，例如面部地标，凝视方向和情绪。检测到驾驶员的嗜睡和分心，并评估驾驶性能。同时，动态的流量信息由路边摄像头捕获并上传到同一服务器。采用基于纵向扫描的动脉交通视频分析来识别视频中的车辆以建立速度和轨迹概况。基于这些数据，引入了LightGBM模型，以预测接下来一两秒钟的驾驶员的冲突指数。然后，使用模糊逻辑模型合并了多个数据源，包括历史崩溃计数和预测的交通冲突指标，以计算道路细分的风险评分。使用从实际的交通交叉点和驾驶模拟平台收集的数据来说明所提出的SRM模型。预测结果表明该模型是准确的，并且增加的驱动程序行为功能将改善模型的性能。最后，为可视化目的而生成风险热图。当局可以使用动态热图来指定安全的走廊，并调度执法部门以及驱动程序，以预警和行程计划。

应用强化学习来自动驾驶需要某些挑战，这主要是由于大规模的交通流动，这种挑战是动态变化的。为了应对此类挑战，有必要快速确定对周围车辆不断变化的意图的响应策略。因此，我们提出了一种新的政策优化方法，用于使用基于图的互动感知约束来安全驾驶。在此框架中，运动预测和控制模块是同时训练的，同时共享包含社会环境的潜在表示。此外，为了反映社交互动，我们以图形形式表达了代理的运动并过滤特征。这有助于保留相邻节点的时空位置。此外，我们创建反馈循环以有效地组合这两个模块。结果，这种方法鼓励博学的控制器免受动态风险的侵害，并在各种情况下使运动预测强大。在实验中，我们与城市驾驶模拟器Carla建立了一个包括各种情况的导航场景。该实验表明，与基线相比，导航策略和运动预测的两侧的最新性能。

研究表明，自治车辆（AVS）在由人类驱动因素组成的交通环境中保守，不适应当地条件和社会文化规范。众所周知，如果存在理解人类驱动程序的行为，则可以设计社会意识的AVS。我们提出了一种利用机器学习来预测人类驱动程序的行为的方法。这类似于人类如何隐含地解释道路上司机的行为，只能观察其车辆的轨迹。我们使用图形理论工具从轨迹和机器学习中提取驾驶员行为特征，以在流量和驾驶员行为中获得车辆的提取轨迹之间的计算映射。与此域中的现有方法相比，我们证明我们的方法是强大的，一般的，并且可扩展到广泛的应用程序，如自主导航。我们评估我们在美国，印度，中国和新加坡捕获的现实世界交通数据集以及模拟中的方法。

在过去几年中，自动驾驶一直是最受欢迎，最具挑战性的主题之一。在实现完全自治的道路上，研究人员使用了各种传感器，例如LIDAR，相机，惯性测量单元（IMU）和GPS，并开发了用于自动驾驶应用程序的智能算法，例如对象检测，对象段，障碍，避免障碍物，避免障碍物和障碍物，以及路径计划。近年来，高清（HD）地图引起了很多关注。由于本地化中高清图的精度和信息水平很高，因此它立即成为自动驾驶的关键组成部分之一。从Baidu Apollo，Nvidia和TomTom等大型组织到个别研究人员，研究人员创建了用于自主驾驶的不同场景和用途的高清地图。有必要查看高清图生成的最新方法。本文回顾了最新的高清图生成技术，这些技术利用了2D和3D地图生成。这篇评论介绍了高清图的概念及其在自主驾驶中的有用性，并详细概述了高清地图生成技术。我们还将讨论当前高清图生成技术的局限性，以激发未来的研究。

最近，已经证明了与图形学习技术结合使用的道路场景图表示，在包括动作分类，风险评估和碰撞预测的任务中优于最先进的深度学习技术。为了使Road场景图形表示的应用探索，我们介绍了RoadScene2VEC：一个开源工具，用于提取和嵌入公路场景图。 RoadScene2VEC的目标是通过提供用于生成场景图的工具，为生成时空场景图嵌入的工具以及用于可视化和分析场景图的工具来实现Road场景图的应用程序和能力基于方法。 RoadScene2VEC的功能包括（i）来自Carla Simulator的视频剪辑或数据的自定义场景图，（ii）多种可配置的时空图嵌入模型和基于基于基于CNN的模型，（iii）内置功能使用图形和序列嵌入用于风险评估和碰撞预测应用，（iv）用于评估转移学习的工具，以及（v）用于可视化场景图的实用程序，并分析图形学习模型的解释性。我们展示了道路展示的效用，用于这些用例，具有实验结果和基于CNN的模型的实验结果和定性评估。 Rodscene2vec可在https://github.com/aicps/roadscene2vec提供。

高速公路飞行员辅助已成为先进驾驶员辅助系统的前线。对安全和用户验收的提高要求正在呼吁在此类系统的开发过程中进行个性化。通过对横向对驾驶员的偏好进行了启发的启发，提出了一种个性化的公路导频辅助算法，其包括基于智能驱动器模型（IDM）的速度控制模型和考虑领先的车辆横向的新车道保持模型。移动。进行了模拟驾驶实验，以分析自由驾驶和行驶场景中的驾驶员凝视和泳道保持行为。驱动程序集中成两个驾驶样式组，指的是其受前方车辆影响的驾驶行为，然后优化每个特定主题驱动程序的个性化参数。通过基于移动基础模拟器的驾驶员实验验证了所提出的算法。结果表明，与未个性化算法相比，个性化公路试点算法可以显着降低心理工作量，并提高用户接受辅助功能。

在自动车辆（AVS）中，预警系统依赖于碰撞预测，以确保乘员安全。然而，使用深度卷积网络的最先进的方法在建模冲突中失败或者太昂贵/慢，使它们不太适合在AV边缘硬件上部署。为了解决这些限制，我们提出了SG2VEC，一种使用图形神经网络（GNN）和长短期内存（LSTM）层的时空场景图嵌入方法，以通过视觉场景感知来预测未来的碰撞。我们展示SG2VEC预测碰撞8.11％，比综合数据集的最新方法提前39.07％，在挑战现实世界碰撞数据集中更准确地进行29.47％。我们还表明，SG2VEC在将知识从合成数据集转移到现实世界驾驶数据集时更好。最后，我们证明SG2VEC更快地执行推论9.3X，较小的型号为88.0％，功率少32.4％，而且能量少于行业标准的NVIDIA驱动PX 2平台，制作它更适合在边缘实施。

由于精确定位传感器，人工智能（AI）的安全功能，自动驾驶系统，连接的车辆，高通量计算和边缘计算服务器的技术进步，驾驶安全分析最近经历了前所未有的改进。特别是，深度学习（DL）方法授权音量视频处理，从路边单元（RSU）捕获的大型视频中提取与安全相关的功能。安全指标是调查崩溃和几乎冲突事件的常用措施。但是，这些指标提供了对整个网络级流量管理的有限见解。另一方面，一些安全评估工作致力于处理崩溃报告，并确定与道路几何形状，交通量和天气状况相关的崩溃的空间和时间模式。这种方法仅依靠崩溃报告，而忽略了交通视频的丰富信息，这些信息可以帮助确定违规行为在崩溃中的作用。为了弥合这两个观点，我们定义了一组新的网络级安全指标（NSM），以通过处理RSU摄像机拍摄的图像来评估交通流的总体安全性。我们的分析表明，NSM显示出与崩溃率的显着统计关联。这种方法与简单地概括单个崩溃分析的结果不同，因为所有车辆都有助于计算NSM，而不仅仅是碰撞事件所涉及的NSM。该视角将交通流量视为一个复杂的动态系统，其中某些节点的动作可以通过网络传播并影响其他节点的崩溃风险。我们还提供了附录A中的代孕安全指标（SSM）的全面审查。

现有的智能驾驶技术通常在平衡平稳驾驶和快速避免障碍物时存在问题，尤其是当车辆处于非结构环境中，并且在紧急情况下容易发生不稳定。因此，这项研究提出了一种自主障碍控制策略，该策略可以根据注意力驾驶的想法有效地基于注意力长期记忆（注意LSTM）深度学习模型来确保车辆稳定性。首先，我们设计了自动障碍避免控制规则，以确保无人车辆的安全。其次，我们改善了自动障碍避免控制策略，并结合了特殊车辆的稳定性分析。第三，我们通过实验构建了深度学习障碍物控制，该系统的平均相对误差为15％。最后，该控制策略的稳定性和准确性得到了数值和实验验证。这项研究中提出的方法可以确保无人车辆可以在平稳行驶时成功避免障碍。

这项工作提出了一种新的方法，可以使用有效的鸟类视图表示和卷积神经网络在高速公路场景中预测车辆轨迹。使用基本的视觉表示，很容易将车辆位置，运动历史，道路配置和车辆相互作用轻松包含在预测模型中。 U-NET模型已被选为预测内核，以使用图像到图像回归方法生成场景的未来视觉表示。已经实施了一种方法来从生成的图形表示中提取车辆位置以实现子像素分辨率。该方法已通过预防数据集（一个板载传感器数据集）进行了培训和评估。已经评估了不同的网络配置和场景表示。这项研究发现，使用线性终端层和车辆的高斯表示，具有6个深度水平的U-NET是最佳性能配置。发现使用车道标记不会改善预测性能。平均预测误差为0.47和0.38米，对于纵向和横向坐标的最终预测误差分别为0.76和0.53米，预测轨迹长度为2.0秒。与基线方法相比，预测误差低至50％。

Motion prediction systems aim to capture the future behavior of traffic scenarios enabling autonomous vehicles to perform safe and efficient planning. The evolution of these scenarios is highly uncertain and depends on the interactions of agents with static and dynamic objects in the scene. GNN-based approaches have recently gained attention as they are well suited to naturally model these interactions. However, one of the main challenges that remains unexplored is how to address the complexity and opacity of these models in order to deal with the transparency requirements for autonomous driving systems, which includes aspects such as interpretability and explainability. In this work, we aim to improve the explainability of motion prediction systems by using different approaches. First, we propose a new Explainable Heterogeneous Graph-based Policy (XHGP) model based on an heterograph representation of the traffic scene and lane-graph traversals, which learns interaction behaviors using object-level and type-level attention. This learned attention provides information about the most important agents and interactions in the scene. Second, we explore this same idea with the explanations provided by GNNExplainer. Third, we apply counterfactual reasoning to provide explanations of selected individual scenarios by exploring the sensitivity of the trained model to changes made to the input data, i.e., masking some elements of the scene, modifying trajectories, and adding or removing dynamic agents. The explainability analysis provided in this paper is a first step towards more transparent and reliable motion prediction systems, important from the perspective of the user, developers and regulatory agencies. The code to reproduce this work is publicly available at https://github.com/sancarlim/Explainable-MP/tree/v1.1.

速度控制预测是驾驶员行为分析中一个具有挑战性的问题，旨在预测驾驶员在控制车速（例如制动或加速度）中的未来行动。在本文中，我们尝试仅使用以自我为中心的视频数据来应对这一挑战，与使用第三人称视图数据或额外的车辆传感器数据（例如GPS或两者）的文献中的大多数作品相比。为此，我们提出了一个基于新型的图形卷积网络（GCN）网络，即Egospeed-net。我们的动机是，随着时间的推移，对象的位置变化可以为我们提供非常有用的线索，以预测未来的速度变化。我们首先使用完全连接的图形图将每个类的对象之间的空间关系建模，并在其上应用GCN进行特征提取。然后，我们利用一个长期的短期内存网络将每个类别的此类特征随着时间的流逝融合到矢量中，加入此类矢量并使用多层perceptron分类器预测速度控制动作。我们在本田研究所驾驶数据集上进行了广泛的实验，并证明了Egospeed-NET的出色性能。

两栖地面汽车将飞行和驾驶模式融合在一起，以实现更灵活的空中行动能力，并且最近受到了越来越多的关注。通过分析现有的两栖车辆，我们强调了在复杂的三维城市运输系统中有效使用两栖车辆的自动驾驶功能。我们审查并总结了现有两栖车辆设计中智能飞行驾驶的关键促成技术，确定主要的技术障碍，并提出潜在的解决方案，以实现未来的研究和创新。本文旨在作为研究和开发智能两栖车辆的指南，以实现未来的城市运输。

Visual perception plays an important role in autonomous driving. One of the primary tasks is object detection and identification. Since the vision sensor is rich in color and texture information, it can quickly and accurately identify various road information. The commonly used technique is based on extracting and calculating various features of the image. The recent development of deep learning-based method has better reliability and processing speed and has a greater advantage in recognizing complex elements. For depth estimation, vision sensor is also used for ranging due to their small size and low cost. Monocular camera uses image data from a single viewpoint as input to estimate object depth. In contrast, stereo vision is based on parallax and matching feature points of different views, and the application of deep learning also further improves the accuracy. In addition, Simultaneous Location and Mapping (SLAM) can establish a model of the road environment, thus helping the vehicle perceive the surrounding environment and complete the tasks. In this paper, we introduce and compare various methods of object detection and identification, then explain the development of depth estimation and compare various methods based on monocular, stereo, and RDBG sensors, next review and compare various methods of SLAM, and finally summarize the current problems and present the future development trends of vision technologies.