Accurate speed estimation of road vehicles is important for several reasons. One is speed limit enforcement, which represents a crucial tool in decreasing traffic accidents and fatalities. Compared with other research areas and domains, the number of available datasets for vehicle speed estimation is still very limited. We present a dataset of on-road audio-video recordings of single vehicles passing by a camera at known speeds, maintained stable by the on-board cruise control. The dataset contains thirteen vehicles, selected to be as diverse as possible in terms of manufacturer, production year, engine type, power and transmission, resulting in a total of $ 400 $ annotated audio-video recordings. The dataset is fully available and intended as a public benchmark to facilitate research in audio-video vehicle speed estimation. In addition to the dataset, we propose a cross-validation strategy which can be used in a machine learning model for vehicle speed estimation. Two approaches to training-validation split of the dataset are proposed.

与其他技术（例如电感回路，雷达或激光器）相比，使用摄像头进行车速测量的成本效益要高得多。但是，由于相机的固有局限性提供准确的范围估计值，因此准确的速度测量仍然是一个挑战。此外，基于经典的视觉方法对相机和道路之间的外部校准非常敏感。在这种情况下，使用数据驱动的方法是一种有趣的选择。但是，数据收集需要一个复杂且昂贵的设置，以在与高精度速度传感器同步的相机中录制视频，以生成地面真相速度值。最近已经证明，使用驾驶模拟器（例如Carla）可以用作生成大型合成数据集的强大替代方案，以实现对单个摄像机的车辆速度估算的应用。在本文中，我们在不同的虚拟位置和不同的外部参数中使用多个摄像机研究相同的问题。我们解决了复杂的3D-CNN体系结构是否能够使用单个模型隐式学习视图速度的问题，或者特定于视图的模型是否更合适。结果非常有前途，因为它们表明具有来自多个视图的数据报告的单个模型比摄像机特异性模型更好地准确性，从而铺平了迈向视图的车辆速度测量系统。

多媒体异常数据集在自动监视中发挥着至关重要的作用。它们具有广泛的应用程序，从异常对象/情况检测到检测危及生命事件的检测。该字段正在接收大量的1.5多年的巨大研究兴趣，因此，已经创建了越来越多地专用于异常动作和对象检测的数据集。点击这些公共异常数据集使研究人员能够生成和比较具有相同输入数据的各种异常检测框架。本文介绍了各种视频，音频以及基于异常检测的应用的综合调查。该调查旨在解决基于异常检测的多媒体公共数据集缺乏全面的比较和分析。此外，它可以帮助研究人员选择最佳可用数据集，用于标记框架。此外，我们讨论了现有数据集和未来方向洞察中开发多峰异常检测数据集的差距。

智能运输系统（ITS）对可持续和绿色城市生活的发展至关重要。它是数据驱动的，并通过从气管到智能相机的传感器大量来启用。这项工作探索了基于基于光纤的分布式声传感器（DAS）的新型数据源，以进行交通分析。检测车辆的类型和估计车辆的占用是其主要关注点。第一个是由于需要跟踪，控制和预测交通流的动机。第二个目标是对高占用车辆车道的调节，以减少排放和拥堵。这些任务通常是通过检查车辆或使用新兴计算机视觉技术来执行的。前者不可扩展或有效，而后者对乘客的隐私有侵入性。为此，我们提出了一种深度学习技术，以分析DAS信号，以通过连续感应和不暴露个人信息来应对这一挑战。我们提出了一种处理DAS信号的深度学习方法，并基于在受控条件下收集的DAS数据来实现92％的车辆分类准确性和92-97％的占用检测。

越来越多的交通部门的问题是事故，交通流量不良和污染。智能运输系统使用外部基础架构（其）可以解决这些问题。据我们所知，不存在对现有解决方案的系统审查。为了填补这一知识缺口，本文概述了现有的使用外部基础架构。此外，本文发现目前没有充分的回答的研究问题。出于这个原因，我们对文件进行了文献综述，它自2009年以来介绍了其解决方案。我们根据他的技术水平分类结果并分析了它们的性质。因此，我们使其有所可比性，并突出了过去的发展以及目前的趋势。根据提及的方法，我们分析了346多篇论文，其中包括40个试验床项目。总之，目前其可以实时提供有关交通情况下的个体的高准确信息。然而，在其使用现代传感器，即插即用机制以及高度数据的分散方式中，进一步研究其应重点关注对流量的更可靠的流量感知。通过解决这些主题，智能运输系统的开发处于校正方向，以实现全面推出。

Multi-modal fusion is a basic task of autonomous driving system perception, which has attracted many scholars' interest in recent years. The current multi-modal fusion methods mainly focus on camera data and LiDAR data, but pay little attention to the kinematic information provided by the bottom sensors of the vehicle, such as acceleration, vehicle speed, angle of rotation. These information are not affected by complex external scenes, so it is more robust and reliable. In this paper, we introduce the existing application fields of vehicle bottom information and the research progress of related methods, as well as the multi-modal fusion methods based on bottom information. We also introduced the relevant information of the vehicle bottom information data set in detail to facilitate the research as soon as possible. In addition, new future ideas of multi-modal fusion technology for autonomous driving tasks are proposed to promote the further utilization of vehicle bottom information.

自主车辆的环境感知受其物理传感器范围和算法性能的限制，以及通过降低其对正在进行的交通状况的理解的闭塞。这不仅构成了对安全和限制驾驶速度的重大威胁，而且它也可能导致不方便的动作。智能基础设施系统可以帮助缓解这些问题。智能基础设施系统可以通过在当前交通情况的数字模型的形式提供关于其周围环境的额外详细信息，填补了车辆的感知中的差距并扩展了其视野。数字双胞胎。然而，这种系统的详细描述和工作原型表明其可行性稀缺。在本文中，我们提出了一种硬件和软件架构，可实现这样一个可靠的智能基础架构系统。我们在现实世界中实施了该系统，并展示了它能够创建一个准确的延伸高速公路延伸的数字双胞胎，从而提高了自主车辆超越其车载传感器的极限的感知。此外，我们通过使用空中图像和地球观测方法来评估数字双胞胎的准确性和可靠性，用于产生地面真理数据。

自动化驾驶系统（广告）开辟了汽车行业的新领域，为未来的运输提供了更高的效率和舒适体验的新可能性。然而，在恶劣天气条件下的自主驾驶已经存在，使自动车辆（AVS）长时间保持自主车辆（AVS）或更高的自主权。本文评估了天气在分析和统计方式中为广告传感器带来的影响和挑战，并对恶劣天气条件进行了解决方案。彻底报道了关于对每种天气的感知增强的最先进技术。外部辅助解决方案如V2X技术，当前可用的数据集，模拟器和天气腔室的实验设施中的天气条件覆盖范围明显。通过指出各种主要天气问题，自主驾驶场目前正在面临，近年来审查硬件和计算机科学解决方案，这项调查概述了在不利的天气驾驶条件方面的障碍和方向的障碍和方向。

Traffic surveillance is an important issue in Intelligent Transportation Systems(ITS). In this paper, we propose a novel surveillance system to detect and track vehicles using ubiquitously deployed magnetic sensors. That is, multiple magnetic sensors, mounted roadside and along lane boundary lines, are used to track various vehicles. Real-time vehicle detection data are reported from magnetic sensors, collected into data center via base stations, and processed to depict vehicle trajectories including vehicle position, timestamp, speed and type. We first define a vehicle trajectory tracking problem. We then propose a graph-based data association algorithm to track each detected vehicle, and design a related online algorithm framework respectively. We finally validate the performance via both experimental simulation and real-world road test. The experimental results demonstrate that the proposed solution provides a cost-effective solution to capture the driving status of vehicles and on that basis form various traffic safety and efficiency applications.

计算机视觉在智能运输系统（ITS）和交通监视中发挥了重要作用。除了快速增长的自动化车辆和拥挤的城市外，通过实施深层神经网络的实施，可以使用视频监视基础架构进行自动和高级交通管理系统（ATM）。在这项研究中，我们为实时交通监控提供了一个实用的平台，包括3D车辆/行人检测，速度检测，轨迹估算，拥塞检测以及监视车辆和行人的相互作用，都使用单个CCTV交通摄像头。我们适应了定制的Yolov5深神经网络模型，用于车辆/行人检测和增强的排序跟踪算法。还开发了基于混合卫星的基于混合卫星的逆透视图（SG-IPM）方法，用于摄像机自动校准，从而导致准确的3D对象检测和可视化。我们还根据短期和长期的时间视频数据流开发了层次结构的交通建模解决方案，以了解脆弱道路使用者的交通流量，瓶颈和危险景点。关于现实世界情景和与最先进的比较的几项实验是使用各种交通监控数据集进行的，包括从高速公路，交叉路口和城市地区收集的MIO-TCD，UA-DETRAC和GRAM-RTM，在不同的照明和城市地区天气状况。

两栖地面汽车将飞行和驾驶模式融合在一起，以实现更灵活的空中行动能力，并且最近受到了越来越多的关注。通过分析现有的两栖车辆，我们强调了在复杂的三维城市运输系统中有效使用两栖车辆的自动驾驶功能。我们审查并总结了现有两栖车辆设计中智能飞行驾驶的关键促成技术，确定主要的技术障碍，并提出潜在的解决方案，以实现未来的研究和创新。本文旨在作为研究和开发智能两栖车辆的指南，以实现未来的城市运输。

Many aerial robotic applications require the ability to land on moving platforms, such as delivery trucks and marine research boats. We present a method to autonomously land an Unmanned Aerial Vehicle on a moving vehicle. A visual servoing controller approaches the ground vehicle using velocity commands calculated directly in image space. The control laws generate velocity commands in all three dimensions, eliminating the need for a separate height controller. The method has shown the ability to approach and land on the moving deck in simulation, indoor and outdoor environments, and compared to the other available methods, it has provided the fastest landing approach. Unlike many existing methods for landing on fast-moving platforms, this method does not rely on additional external setups, such as RTK, motion capture system, ground station, offboard processing, or communication with the vehicle, and it requires only the minimal set of hardware and localization sensors. The videos and source codes are also provided.

With big data becoming increasingly available, IoT hardware becoming widely adopted, and AI capabilities becoming more powerful, organizations are continuously investing in sensing. Data coming from sensor networks are currently combined with sensor fusion and AI algorithms to drive innovation in fields such as self-driving cars. Data from these sensors can be utilized in numerous use cases, including alerts in safety systems of urban settings, for events such as gun shots and explosions. Moreover, diverse types of sensors, such as sound sensors, can be utilized in low-light conditions or at locations where a camera is not available. This paper investigates the potential of the utilization of sound-sensor data in an urban context. Technically, we propose a novel approach of classifying sound data using the Wigner-Ville distribution and Convolutional Neural Networks. In this paper, we report on the performance of the approach on open-source datasets. The concept and work presented is based on my doctoral thesis, which was performed as part of the Engineering Doctorate program in Data Science at the University of Eindhoven, in collaboration with the Dutch National Police. Additional work on real-world datasets was performed during the thesis, which are not presented here due to confidentiality.

The last decade witnessed increasingly rapid progress in self-driving vehicle technology, mainly backed up by advances in the area of deep learning and artificial intelligence. The objective of this paper is to survey the current state-of-the-art on deep learning technologies used in autonomous driving. We start by presenting AI-based self-driving architectures, convolutional and recurrent neural networks, as well as the deep reinforcement learning paradigm. These methodologies form a base for the surveyed driving scene perception, path planning, behavior arbitration and motion control algorithms. We investigate both the modular perception-planning-action pipeline, where each module is built using deep learning methods, as well as End2End systems, which directly map sensory information to steering commands. Additionally, we tackle current challenges encountered in designing AI architectures for autonomous driving, such as their safety, training data sources and computational hardware. The comparison presented in this survey helps to gain insight into the strengths and limitations of deep learning and AI approaches for autonomous driving and assist with design choices. 1

自动检测飞行无人机是一个关键问题，其存在（特别是未经授权）可以造成风险的情况或损害安全性。在这里，我们设计和评估了多传感器无人机检测系统。结合常见的摄像机和麦克风传感器，我们探索了热红外摄像机的使用，指出是一种可行且有希望的解决方案，在相关文献中几乎没有解决。我们的解决方案还集成了鱼眼相机，以监视天空的更大部分，并将其他摄像机转向感兴趣的对象。传感溶液与ADS-B接收器，GPS接收器和雷达模块相辅相成，尽管由于其有限的检测范围，后者未包含在我们的最终部署中。即使此处使用的摄像机的分辨率较低，热摄像机也被证明是与摄像机一样好的可行解决方案。我们作品的另外两个新颖性是创建一个新的公共数据集的多传感器注释数据，该数据与现有的类别相比扩大了类的数量，以及对探测器性能的研究作为传感器到传感器的函数的研究目标距离。还探索了传感器融合，表明可以以这种方式使系统更强大，从而减轻对单个传感器的虚假检测

由于计算机视觉的最新进展，流量视频数据已成为限制交通拥堵状况的关键因素。这项工作为使用颜色编码方案提供了一种独特的技术，用于在深度卷积神经网络中训练流量数据之前。首先，将视频数据转换为图像数据集。然后，使用您只看一次算法进行车辆检测。已经采用了颜色编码的方案将图像数据集转换为二进制图像数据集。这些二进制图像被馈送到深度卷积神经网络中。使用UCSD数据集，我们获得了98.2％的分类精度。

近年来，使用小型和远程控制的无人驾驶飞行器（无人机）或无人机的无人驾驶。这与滥用剧集平行，对人或设施的安全有明显的威胁。结果，UAV的检测也被出现为研究主题。关于无人机检测的大多数研究未能指定采集设备，无人机类型，检测范围或数据集的类型。尽管它与其他目标取得了成功，但缺乏采用热红外摄像机的适当的无人机检测研究也是一个问题。此外，我们还没有找到任何以前的研究，以作为与目标距离的函数来解决检测任务。传感器融合也被称为开放式研究问题，尽管在这方面的研究也很稀缺。为了抵消所提到的问题并允许与普通公共基准的基本研究，我们有助于带注释的多传感器数据库，用于无人机检测，包括红外和可见视频和音频文件。该数据库包括三种不同的无人机，不同的尺寸和其他飞行物体可以被错误地检测为无人机，例如鸟类，飞机或直升机。除了使用几种不同的传感器之外，类的数量高于先前的研究。为了允许研究作为传感器到目标距离的函数，根据行业标准检测，识别和识别（DRI）要求，将数据集分为三类（关闭，中，遥远），识别和识别（DRI）要求，建立在Johnson标准上。鉴于无人机必须在视觉范围内飞行，由于法规，无人机的最大传感器到目标距离为200米，并且在白天进行采集。该数据已在瑞典的三个机场获得：Halmstad Airport（IATA规范：HAD / ICAO代码：ESMT），哥德堡市机场（GSE / ESGP）和MALM \“o机场（MMX / ESMS）。

交叉路口是自动驾驶任务最具挑战性的场景之一。由于复杂性和随机性，在相交处的基本应用（例如行为建模，运动预测，安全验证等）在很大程度上取决于数据驱动的技术。因此，交叉点中对流量参与者（TPS）的轨迹数据集的需求很大。目前，城市地区的大多数交叉路口都配备了交通信号灯。但是，尚无用于信号交叉点的大规模，高质量，公开可用的轨迹数据集。因此，在本文中，在中国天津选择了典型的两相信号交叉点。此外，管道旨在构建信号交叉数据集（SIND），其中包含7个小时的记录，其中包括13,000多种TPS，具有7种类型。然后，记录了信德的交通违规行为。此外，也将信德与其他类似作品进行比较。 SIND的特征可以概括如下：1）信德提供了更全面的信息，包括交通信号灯状态，运动参数，高清（HD）地图等。2）TPS的类别是多种多样和特征的，其中比例是脆弱的道路使用者（VRU）最高为62.6％3）显示了多次交通信号灯违反非电动车辆的行为。我们认为，Sind将是对现有数据集的有效补充，可以促进有关自动驾驶的相关研究。该数据集可通过以下方式在线获得：https：//github.com/sotif-avlab/sind

自动交通事故检测已吸引机器视觉社区，因为它对自动智能运输系统（ITS）的发展产生了影响和对交通安全的重要性。然而，大多数关于有效分析和交通事故预测的研究都使用了覆盖范围有限的小规模数据集，从而限制了其效果和适用性。交通事故中现有的数据集是小规模，不是来自监视摄像机，而不是开源的，或者不是为高速公路场景建造的。由于在高速公路上发生事故，因此往往会造成严重损坏，并且太快了，无法赶上现场。针对从监视摄像机收集的高速公路交通事故的开源数据集非常需要和实际上。为了帮助视觉社区解决这些缺点，我们努力收集涵盖丰富场景的真实交通事故的视频数据。在通过各个维度进行集成和注释后，在这项工作中提出了一个名为TAD的大规模交通事故数据集。在这项工作中，使用公共主流视觉算法或框架进行了有关图像分类，对象检测和视频分类任务的各种实验，以证明不同方法的性能。拟议的数据集以及实验结果将作为改善计算机视觉研究的新基准提出，尤其是在其中。

Modeling perception sensors is key for simulation based testing of automated driving functions. Beyond weather conditions themselves, sensors are also subjected to object dependent environmental influences like tire spray caused by vehicles moving on wet pavement. In this work, a novel modeling approach for spray in lidar data is introduced. The model conforms to the Open Simulation Interface (OSI) standard and is based on the formation of detection clusters within a spray plume. The detections are rendered with a simple custom ray casting algorithm without the need of a fluid dynamics simulation or physics engine. The model is subsequently used to generate training data for object detection algorithms. It is shown that the model helps to improve detection in real-world spray scenarios significantly. Furthermore, a systematic real-world data set is recorded and published for analysis, model calibration and validation of spray effects in active perception sensors. Experiments are conducted on a test track by driving over artificially watered pavement with varying vehicle speeds, vehicle types and levels of pavement wetness. All models and data of this work are available open source.