通常根据历史崩溃数据来实践道路的风险评估。有时缺少有关驾驶员行为和实时交通情况的信息。在本文中，安全的路线映射（SRM）模型是一种开发道路动态风险热图的方法，可扩展在做出预测时考虑驾驶员行为。 Android应用程序旨在收集驱动程序的信息并将其上传到服务器。在服务器上，面部识别提取了驱动程序的数据，例如面部地标，凝视方向和情绪。检测到驾驶员的嗜睡和分心，并评估驾驶性能。同时，动态的流量信息由路边摄像头捕获并上传到同一服务器。采用基于纵向扫描的动脉交通视频分析来识别视频中的车辆以建立速度和轨迹概况。基于这些数据，引入了LightGBM模型，以预测接下来一两秒钟的驾驶员的冲突指数。然后，使用模糊逻辑模型合并了多个数据源，包括历史崩溃计数和预测的交通冲突指标，以计算道路细分的风险评分。使用从实际的交通交叉点和驾驶模拟平台收集的数据来说明所提出的SRM模型。预测结果表明该模型是准确的，并且增加的驱动程序行为功能将改善模型的性能。最后，为可视化目的而生成风险热图。当局可以使用动态热图来指定安全的走廊，并调度执法部门以及驱动程序，以预警和行程计划。

由于精确定位传感器，人工智能（AI）的安全功能，自动驾驶系统，连接的车辆，高通量计算和边缘计算服务器的技术进步，驾驶安全分析最近经历了前所未有的改进。特别是，深度学习（DL）方法授权音量视频处理，从路边单元（RSU）捕获的大型视频中提取与安全相关的功能。安全指标是调查崩溃和几乎冲突事件的常用措施。但是，这些指标提供了对整个网络级流量管理的有限见解。另一方面，一些安全评估工作致力于处理崩溃报告，并确定与道路几何形状，交通量和天气状况相关的崩溃的空间和时间模式。这种方法仅依靠崩溃报告，而忽略了交通视频的丰富信息，这些信息可以帮助确定违规行为在崩溃中的作用。为了弥合这两个观点，我们定义了一组新的网络级安全指标（NSM），以通过处理RSU摄像机拍摄的图像来评估交通流的总体安全性。我们的分析表明，NSM显示出与崩溃率的显着统计关联。这种方法与简单地概括单个崩溃分析的结果不同，因为所有车辆都有助于计算NSM，而不仅仅是碰撞事件所涉及的NSM。该视角将交通流量视为一个复杂的动态系统，其中某些节点的动作可以通过网络传播并影响其他节点的崩溃风险。我们还提供了附录A中的代孕安全指标（SSM）的全面审查。

本文为可以提取车辆间交互的自治车辆提供特定于自主车辆的驾驶员风险识别框架。在驾驶员认知方式下对城市驾驶场景进行了这种提取，以提高风险场景的识别准确性。首先，将群集分析应用于驱动程序的操作数据，以学习不同驱动程序风险场景的主观评估，并为每个场景生成相应的风险标签。其次，采用图形表示模型（GRM）统一和构建动态车辆，车间交互和静态交通标记的实际驾驶场景中的特征。驾驶员特定的风险标签提供了实践，以捕获不同司机的风险评估标准。此外，图形模型表示驾驶场景的多个功能。因此，所提出的框架可以了解不同驱动程序的驾驶场景的风险评估模式，并建立特定于驱动程序的风险标识符。最后，通过使用由多个驱动程序收集的现实世界城市驾驶数据集进行的实验评估所提出的框架的性能。结果表明，建议的框架可以准确地识别实际驾驶环境中的风险及其水平。

Multi-modal fusion is a basic task of autonomous driving system perception, which has attracted many scholars' interest in recent years. The current multi-modal fusion methods mainly focus on camera data and LiDAR data, but pay little attention to the kinematic information provided by the bottom sensors of the vehicle, such as acceleration, vehicle speed, angle of rotation. These information are not affected by complex external scenes, so it is more robust and reliable. In this paper, we introduce the existing application fields of vehicle bottom information and the research progress of related methods, as well as the multi-modal fusion methods based on bottom information. We also introduced the relevant information of the vehicle bottom information data set in detail to facilitate the research as soon as possible. In addition, new future ideas of multi-modal fusion technology for autonomous driving tasks are proposed to promote the further utilization of vehicle bottom information.

自动化驾驶系统（广告）开辟了汽车行业的新领域，为未来的运输提供了更高的效率和舒适体验的新可能性。然而，在恶劣天气条件下的自主驾驶已经存在，使自动车辆（AVS）长时间保持自主车辆（AVS）或更高的自主权。本文评估了天气在分析和统计方式中为广告传感器带来的影响和挑战，并对恶劣天气条件进行了解决方案。彻底报道了关于对每种天气的感知增强的最先进技术。外部辅助解决方案如V2X技术，当前可用的数据集，模拟器和天气腔室的实验设施中的天气条件覆盖范围明显。通过指出各种主要天气问题，自主驾驶场目前正在面临，近年来审查硬件和计算机科学解决方案，这项调查概述了在不利的天气驾驶条件方面的障碍和方向的障碍和方向。

近年来，道路安全引起了智能运输系统领域的研究人员和从业者的重大关注。作为最常见的道路用户群体之一，行人由于其不可预测的行为和运动而导致令人震惊，因为车辆行人互动的微妙误解可以很容易地导致风险的情况或碰撞。现有方法使用预定义的基于碰撞的模型或人类标签方法来估计行人的风险。这些方法通常受到他们的概括能力差，缺乏对自我车辆和行人之间的相互作用的限制。这项工作通过提出行人风险级预测系统来解决所列问题。该系统由三个模块组成。首先，收集车辆角度的行人数据。由于数据包含关于自我车辆和行人的运动的信息，因此可以简化以交互感知方式预测时空特征的预测。使用长短短期存储器模型，行人轨迹预测模块预测后续五个框架中的时空特征。随着预测的轨迹遵循某些交互和风险模式，采用混合聚类和分类方法来探讨时空特征中的风险模式，并使用学习模式训练风险等级分类器。在预测行人的时空特征并识别相应的风险水平时，确定自我车辆和行人之间的风险模式。实验结果验证了PRLP系统的能力，以预测行人的风险程度，从而支持智能车辆的碰撞风险评估，并为车辆和行人提供安全警告。

为连接和自动化车辆（CAVS）开发安全性和效率应用需要大量的测试和评估。在关键和危险情况下对这些系统运行的需求使他们的评估负担非常昂贵，可能危险且耗时。作为替代方案，研究人员试图使用仿真平台研究和评估其算法和设计。建模驾驶员或人类操作员在骑士或其他与他们相互作用的车辆中的行为是此类模拟的主要挑战之一。虽然为人类行为开发完美的模型是一项具有挑战性的任务和一个开放的问题，但我们展示了用于驾驶员行为的模拟器中当前模型的显着增强。在本文中，我们为混合运输系统提供了一个模拟平台，其中包括人类驱动和自动化车辆。此外，我们分解了人类驾驶任务，并提供了模拟大规模交通情况的模块化方法，从而可以彻底研究自动化和主动的安全系统。通过互连模块的这种表示形式提供了一个可以调节的人解剖系统，以代表不同类别的驱动程序。此外，我们分析了一个大型驾驶数据集以提取表达参数，以最好地描述不同的驾驶特性。最后，我们在模拟器中重新创建了类似密集的交通情况，并对各种人类特异性和系统特异性因素进行了彻底的分析，研究了它们对交通网络性能和安全性的影响。

Computer vision applications in intelligent transportation systems (ITS) and autonomous driving (AD) have gravitated towards deep neural network architectures in recent years. While performance seems to be improving on benchmark datasets, many real-world challenges are yet to be adequately considered in research. This paper conducted an extensive literature review on the applications of computer vision in ITS and AD, and discusses challenges related to data, models, and complex urban environments. The data challenges are associated with the collection and labeling of training data and its relevance to real world conditions, bias inherent in datasets, the high volume of data needed to be processed, and privacy concerns. Deep learning (DL) models are commonly too complex for real-time processing on embedded hardware, lack explainability and generalizability, and are hard to test in real-world settings. Complex urban traffic environments have irregular lighting and occlusions, and surveillance cameras can be mounted at a variety of angles, gather dirt, shake in the wind, while the traffic conditions are highly heterogeneous, with violation of rules and complex interactions in crowded scenarios. Some representative applications that suffer from these problems are traffic flow estimation, congestion detection, autonomous driving perception, vehicle interaction, and edge computing for practical deployment. The possible ways of dealing with the challenges are also explored while prioritizing practical deployment.

Recently, e-scooter-involved crashes have increased significantly but little information is available about the behaviors of on-road e-scooter riders. Most existing e-scooter crash research was based on retrospectively descriptive media reports, emergency room patient records, and crash reports. This paper presents a naturalistic driving study with a focus on e-scooter and vehicle encounters. The goal is to quantitatively measure the behaviors of e-scooter riders in different encounters to help facilitate crash scenario modeling, baseline behavior modeling, and the potential future development of in-vehicle mitigation algorithms. The data was collected using an instrumented vehicle and an e-scooter rider wearable system, respectively. A three-step data analysis process is developed. First, semi-automatic data labeling extracts e-scooter rider images and non-rider human images in similar environments to train an e-scooter-rider classifier. Then, a multi-step scene reconstruction pipeline generates vehicle and e-scooter trajectories in all encounters. The final step is to model e-scooter rider behaviors and e-scooter-vehicle encounter scenarios. A total of 500 vehicle to e-scooter interactions are analyzed. The variables pertaining to the same are also discussed in this paper.

计算机视觉在智能运输系统（ITS）和交通监视中发挥了重要作用。除了快速增长的自动化车辆和拥挤的城市外，通过实施深层神经网络的实施，可以使用视频监视基础架构进行自动和高级交通管理系统（ATM）。在这项研究中，我们为实时交通监控提供了一个实用的平台，包括3D车辆/行人检测，速度检测，轨迹估算，拥塞检测以及监视车辆和行人的相互作用，都使用单个CCTV交通摄像头。我们适应了定制的Yolov5深神经网络模型，用于车辆/行人检测和增强的排序跟踪算法。还开发了基于混合卫星的基于混合卫星的逆透视图（SG-IPM）方法，用于摄像机自动校准，从而导致准确的3D对象检测和可视化。我们还根据短期和长期的时间视频数据流开发了层次结构的交通建模解决方案，以了解脆弱道路使用者的交通流量，瓶颈和危险景点。关于现实世界情景和与最先进的比较的几项实验是使用各种交通监控数据集进行的，包括从高速公路，交叉路口和城市地区收集的MIO-TCD，UA-DETRAC和GRAM-RTM，在不同的照明和城市地区天气状况。

由于行人涉及的撞车事故的数量增加，行人安全已成为各种研究的重要研究主题。为了主动评估行人安全，替代安全措施（SSM）已被广泛用于基于交通冲突的研究中，因为它们不需要历史崩溃作为输入。但是，大多数现有的SSM是根据道路使用者保持恒定速度和方向的假设而开发的。基于此假设的风险估计较不稳定，更可能被夸大，并且无法捕获驾驶员的回避操作。考虑到现有SSM之间的局限性，本研究提出了一个概率框架，用于估计十字路口处行人车的风险。提出的框架通过使用高斯过程回归预测轨迹，并通过随机森林模型来解释不同可能的驱动器操纵，从而放大了恒定速度的限制。在十字路口收集的现实世界激光雷达数据用于评估所提出的框架的性能。新开发的框架能够识别所有行人车的冲突。与收集时间相比，提议的框架提供了更稳定的风险估计，并捕获了汽车的回避操作。此外，提议的框架不需要昂贵的计算资源，这使其成为交叉点实时主动行人安全解决方案的理想选择。

Drowsiness on the road is a widespread problem with fatal consequences; thus, a multitude of systems and techniques have been proposed. Among existing methods, Ghoddoosian et al. utilized temporal blinking patterns to detect early signs of drowsiness, but their algorithm was tested only on a powerful desktop computer, which is not practical to apply in a moving vehicle setting. In this paper, we propose an efficient platform to run Ghoddosian's algorithm, detail the performance tests we ran to determine this platform, and explain our threshold optimization logic. After considering the Jetson Nano and Beelink (Mini PC), we concluded that the Mini PC is the most efficient and practical to run our embedded system in a vehicle. To determine this, we ran communication speed tests and evaluated total processing times for inference operations. Based on our experiments, the average total processing time to run the drowsiness detection model was 94.27 ms for Jetson Nano and 22.73 ms for the Beelink (Mini PC). Considering the portability and power efficiency of each device, along with the processing time results, the Beelink (Mini PC) was determined to be most suitable. Also, we propose a threshold optimization algorithm, which determines whether the driver is drowsy or alert based on the trade-off between the sensitivity and specificity of the drowsiness detection model. Our study will serve as a crucial next step for drowsiness detection research and its application in vehicles. Through our experiment, we have determinend a favorable platform that can run drowsiness detection algorithms in real-time and can be used as a foundation to further advance drowsiness detection research. In doing so, we have bridged the gap between an existing embedded system and its actual implementation in vehicles to bring drowsiness technology a step closer to prevalent real-life implementation.

在灯号路口闯红灯是一个成长的道路安全问题全球，导致先进的智能交通技术和对策的快速发展。然而，现有的研究还没有总结并提出改进安全技术，这些基于创新的效果。本文代表的闯红灯行为的预测方法和技术为基础的对策进行全面审查。具体来说，本研究的重点是提供有关文献的两个流进行全面审查靶向闯红灯，并在灯号控制路口停时走的行为（1）研究专注于模拟和预测闯红灯和停止-and-go相关驾驶员的行为，（2）侧重于不同的技术为基础的措施，其打击这种不安全行为的有效性研究。这项研究提供了系统的指导，以帮助研究人员和利益相关者了解如何最好地识别闯红灯和停止和去相关的驾驶行为，并随后采取对策，以制止这种危险行为，提高相关的安全。

随着智能车辆和先进驾驶员援助系统（ADAS）的快速发展，新趋势是人类驾驶员的混合水平将参与运输系统。因此，在这种情况下，司机的必要视觉指导对于防止潜在风险至关重要。为了推进视觉指导系统的发展，我们介绍了一种新的视觉云数据融合方法，从云中集成相机图像和数字双胞胎信息，帮助智能车辆做出更好的决策。绘制目标车辆边界框并在物体检测器的帮助下（在EGO车辆上运行）和位置信息（从云接收）匹配。使用深度图像作为附加特征源获得最佳匹配结果，从工会阈值下面的0.7交叉口下的精度为79.2％。进行了对车道改变预测的案例研究，以表明所提出的数据融合方法的有效性。在案例研究中，提出了一种多层的Perceptron算法，用修改的车道改变预测方法提出。从Unity游戏发动机获得的人型仿真结果表明，在安全性，舒适度和环境可持续性方面，拟议的模型可以显着提高高速公路驾驶性能。

The last decade witnessed increasingly rapid progress in self-driving vehicle technology, mainly backed up by advances in the area of deep learning and artificial intelligence. The objective of this paper is to survey the current state-of-the-art on deep learning technologies used in autonomous driving. We start by presenting AI-based self-driving architectures, convolutional and recurrent neural networks, as well as the deep reinforcement learning paradigm. These methodologies form a base for the surveyed driving scene perception, path planning, behavior arbitration and motion control algorithms. We investigate both the modular perception-planning-action pipeline, where each module is built using deep learning methods, as well as End2End systems, which directly map sensory information to steering commands. Additionally, we tackle current challenges encountered in designing AI architectures for autonomous driving, such as their safety, training data sources and computational hardware. The comparison presented in this survey helps to gain insight into the strengths and limitations of deep learning and AI approaches for autonomous driving and assist with design choices. 1

用于流量操作和控制的现有数据收集方法通常依赖于基于基础架构的环路探测器或探测器车辆轨迹。连接和自动化的车辆（CAVS）不仅可以报告有关自己的数据，而且可以提供所有检测到的周围车辆的状态。从多个CAVS以及基础设施传感器（例如Lidar）的感知数据集成，即使在非常低的渗透率下也可以提供更丰富的信息。本文旨在开发合作数据收集系统，该系统集成了来自基础架构和CAVS的LiDar Point Cloud数据，以为各种运输应用创建合作感知环境。最新的3D检测模型用于在合并点云中检测车辆。我们在与Carla和Sumo的共模拟平台中测试了具有最大压力自适应信号控制模型的提出的合作感知环境。结果表明，CAV和基础设施传感器的渗透率非常低，足以实现可比性的性能，而连接车辆（CV）的渗透率为30％或更高。我们还显示了不同CAV渗透率下的等效CV渗透率（E-CVPR），以证明合作感知环境的数据收集效率。

检测，预测和减轻交通拥堵是针对改善运输网络的服务水平的目标。随着对更高分辨率的更大数据集的访问，深度学习对这种任务的相关性正在增加。近年来几篇综合调查论文总结了运输领域的深度学习应用。然而，运输网络的系统动态在非拥挤状态和拥塞状态之间变化大大变化 - 从而需要清楚地了解对拥堵预测特异性特异性的挑战。在这项调查中，我们在与检测，预测和缓解拥堵相关的任务中，介绍了深度学习应用的当前状态。重复和非经常性充血是单独讨论的。我们的调查导致我们揭示了当前研究状态的固有挑战和差距。最后，我们向未来的研究方向提出了一些建议，因为所确定的挑战的答案。

在驾驶的背景下进行警觉性监控可改善安全性并挽救生命。基于计算机视觉的警报监视是一个活跃的研究领域。但是，存在警觉性监控的算法和数据集主要针对年轻人（18-50岁）。我们提出了一个针对老年人进行车辆警报监控的系统。通过设计研究，我们确定了适合在5级车辆中独立旅行的老年人的变量和参数。我们实施了一个原型旅行者监测系统，并评估了十个老年人（70岁及以上）的警报检测算法。我们以适合初学者或从业者的详细级别报告系统设计和实施。我们的研究表明，数据集的开发是开发针对老年人的警觉性监测系统的首要挑战。这项研究是迄今为止研究不足的人群中的第一项研究，并通过参与方法对未来的算法开发和系统设计具有影响。

以安全为导向的研究思想和应用的开发需要精细的车辆轨迹数据，这些数据不仅具有很高的精度，而且还捕获了大量关键安全事件。本文介绍了Citysim数据集，该数据集的设计核心目的是促进基于安全的研究和应用。 Citysim的车辆轨迹从在12个不同位置录制的1140分钟的无人机视频中提取。它涵盖了各种道路几何形状，包括高速公路基本段，编织段，高速公路合并/偏离段，信号交叉点，停止对照的交叉点以及没有符号/信号控制的交叉点。通过五步操作生成CitySim轨迹，以确保轨迹精度。此外，数据集提供了车辆旋转的边界框信息，该信息被证明可以改善安全评估。与其他基于视频的轨迹数据集相比，CitySim数据集的严重性更高，包括切入，合并和分歧事件，其严重性更高。此外，CitySim通过提供相关资产（如记录位置的3D基本地图和信号时间）来促进对数字双胞胎应用的研究。这些功能为安全研究和应用程序提供了更全面的条件，例如自动驾驶汽车安全和基于位置的安全分析。该数据集可在https://github.com/ozheng1993/ucf-sst-citysim-dataset上在线获得。

自动驾驶在过去十年中取得了重大的研究和发展中的重要里程碑。在道路上的自动车辆部署时，对该领域的兴趣越来越令人兴趣，承诺更安全，更生态的运输系统。随着计算强大的人工智能（AI）技术的兴起，自动车辆可以用高精度感测它们的环境，进行安全的实时决策，并在没有人类干预的情况下更可靠地运行。然而，在现有技术中，人类智能决策通常不可能理解，这种缺陷阻碍了这种技术在社会上可接受。因此，除了制造安全的实时决策之外，自治车辆的AI系统还需要解释如何构建这些决策，以便在许多司法管辖区兼容监管。我们的研究在开发可解释的人工智能（XAI）的自治车辆方法上阐明了全面的光芒。特别是，我们做出以下贡献。首先，我们在最先进的自主车辆行业的解释方面彻底概述了目前的差距。然后，我们显示了该领域的解释和解释接收器的分类。第三，我们为端到端自主驾驶系统的架构提出了一个框架，并证明了Xai在调试和调节这些系统中的作用。最后，作为未来的研究方向，我们提供了XAI自主驾驶方法的实地指南，可以提高运营安全性和透明度，以实现监管机构，制造商和所有参与利益相关者的公共批准。