Perception algorithms in autonomous driving systems confront great challenges in long-tail traffic scenarios, where the problems of Safety of the Intended Functionality (SOTIF) could be triggered by the algorithm performance insufficiencies and dynamic operational environment. However, such scenarios are not systematically included in current open-source datasets, and this paper fills the gap accordingly. Based on the analysis and enumeration of trigger conditions, a high-quality diverse dataset is released, including various long-tail traffic scenarios collected from multiple resources. Considering the development of probabilistic object detection (POD), this dataset marks trigger sources that may cause perception SOTIF problems in the scenarios as key objects. In addition, an evaluation protocol is suggested to verify the effectiveness of POD algorithms in identifying the key objects via uncertainty. The dataset never stops expanding, and the first batch of open-source data includes 1126 frames with an average of 2.27 key objects and 2.47 normal objects in each frame. To demonstrate how to use this dataset for SOTIF research, this paper further quantifies the perception SOTIF entropy to confirm whether a scenario is unknown and unsafe for a perception system. The experimental results show that the quantified entropy can effectively and efficiently reflect the failure of the perception algorithm.

Autonomous driving confronts great challenges in complex traffic scenarios, where the risk of Safety of the Intended Functionality (SOTIF) can be triggered by the dynamic operational environment and system insufficiencies. The SOTIF risk is reflected not only intuitively in the collision risk with objects outside the autonomous vehicles (AVs), but also inherently in the performance limitation risk of the implemented algorithms themselves. How to minimize the SOTIF risk for autonomous driving is currently a critical, difficult, and unresolved issue. Therefore, this paper proposes the "Self-Surveillance and Self-Adaption System" as a systematic approach to online minimize the SOTIF risk, which aims to provide a systematic solution for monitoring, quantification, and mitigation of inherent and external risks. The core of this system is the risk monitoring of the implemented artificial intelligence algorithms within the AV. As a demonstration of the Self-Surveillance and Self-Adaption System, the risk monitoring of the perception algorithm, i.e., YOLOv5 is highlighted. Moreover, the inherent perception algorithm risk and external collision risk are jointly quantified via SOTIF entropy, which is then propagated downstream to the decision-making module and mitigated. Finally, several challenging scenarios are demonstrated, and the Hardware-in-the-Loop experiments are conducted to verify the efficiency and effectiveness of the system. The results demonstrate that the Self-Surveillance and Self-Adaption System enables dependable online monitoring, quantification, and mitigation of SOTIF risk in real-time critical traffic environments.

自动交通事故检测已吸引机器视觉社区，因为它对自动智能运输系统（ITS）的发展产生了影响和对交通安全的重要性。然而，大多数关于有效分析和交通事故预测的研究都使用了覆盖范围有限的小规模数据集，从而限制了其效果和适用性。交通事故中现有的数据集是小规模，不是来自监视摄像机，而不是开源的，或者不是为高速公路场景建造的。由于在高速公路上发生事故，因此往往会造成严重损坏，并且太快了，无法赶上现场。针对从监视摄像机收集的高速公路交通事故的开源数据集非常需要和实际上。为了帮助视觉社区解决这些缺点，我们努力收集涵盖丰富场景的真实交通事故的视频数据。在通过各个维度进行集成和注释后，在这项工作中提出了一个名为TAD的大规模交通事故数据集。在这项工作中，使用公共主流视觉算法或框架进行了有关图像分类，对象检测和视频分类任务的各种实验，以证明不同方法的性能。拟议的数据集以及实验结果将作为改善计算机视觉研究的新基准提出，尤其是在其中。

The last decade witnessed increasingly rapid progress in self-driving vehicle technology, mainly backed up by advances in the area of deep learning and artificial intelligence. The objective of this paper is to survey the current state-of-the-art on deep learning technologies used in autonomous driving. We start by presenting AI-based self-driving architectures, convolutional and recurrent neural networks, as well as the deep reinforcement learning paradigm. These methodologies form a base for the surveyed driving scene perception, path planning, behavior arbitration and motion control algorithms. We investigate both the modular perception-planning-action pipeline, where each module is built using deep learning methods, as well as End2End systems, which directly map sensory information to steering commands. Additionally, we tackle current challenges encountered in designing AI architectures for autonomous driving, such as their safety, training data sources and computational hardware. The comparison presented in this survey helps to gain insight into the strengths and limitations of deep learning and AI approaches for autonomous driving and assist with design choices. 1

自动化驾驶系统（广告）开辟了汽车行业的新领域，为未来的运输提供了更高的效率和舒适体验的新可能性。然而，在恶劣天气条件下的自主驾驶已经存在，使自动车辆（AVS）长时间保持自主车辆（AVS）或更高的自主权。本文评估了天气在分析和统计方式中为广告传感器带来的影响和挑战，并对恶劣天气条件进行了解决方案。彻底报道了关于对每种天气的感知增强的最先进技术。外部辅助解决方案如V2X技术，当前可用的数据集，模拟器和天气腔室的实验设施中的天气条件覆盖范围明显。通过指出各种主要天气问题，自主驾驶场目前正在面临，近年来审查硬件和计算机科学解决方案，这项调查概述了在不利的天气驾驶条件方面的障碍和方向的障碍和方向。

Multi-modal fusion is a basic task of autonomous driving system perception, which has attracted many scholars' interest in recent years. The current multi-modal fusion methods mainly focus on camera data and LiDAR data, but pay little attention to the kinematic information provided by the bottom sensors of the vehicle, such as acceleration, vehicle speed, angle of rotation. These information are not affected by complex external scenes, so it is more robust and reliable. In this paper, we introduce the existing application fields of vehicle bottom information and the research progress of related methods, as well as the multi-modal fusion methods based on bottom information. We also introduced the relevant information of the vehicle bottom information data set in detail to facilitate the research as soon as possible. In addition, new future ideas of multi-modal fusion technology for autonomous driving tasks are proposed to promote the further utilization of vehicle bottom information.

Computer vision applications in intelligent transportation systems (ITS) and autonomous driving (AD) have gravitated towards deep neural network architectures in recent years. While performance seems to be improving on benchmark datasets, many real-world challenges are yet to be adequately considered in research. This paper conducted an extensive literature review on the applications of computer vision in ITS and AD, and discusses challenges related to data, models, and complex urban environments. The data challenges are associated with the collection and labeling of training data and its relevance to real world conditions, bias inherent in datasets, the high volume of data needed to be processed, and privacy concerns. Deep learning (DL) models are commonly too complex for real-time processing on embedded hardware, lack explainability and generalizability, and are hard to test in real-world settings. Complex urban traffic environments have irregular lighting and occlusions, and surveillance cameras can be mounted at a variety of angles, gather dirt, shake in the wind, while the traffic conditions are highly heterogeneous, with violation of rules and complex interactions in crowded scenarios. Some representative applications that suffer from these problems are traffic flow estimation, congestion detection, autonomous driving perception, vehicle interaction, and edge computing for practical deployment. The possible ways of dealing with the challenges are also explored while prioritizing practical deployment.

实时机器学习检测算法通常在自动驾驶汽车技术中发现，并依赖优质数据集。这些算法在日常条件以及强烈的阳光下都能正常工作。报告表明，眩光是撞车事故最突出的两个最突出的原因之一。但是，现有的数据集，例如LISA和德国交通标志识别基准，根本不反映Sun Glare的存在。本文介绍了眩光交通标志数据集：在阳光下重大视觉干扰下，具有基于美国的交通标志的图像集合。眩光包含2,157张带有阳光眩光的交通标志图像，从33个美国道路录像带中拉出。它为广泛使用的Lisa流量标志数据集提供了必不可少的丰富。我们的实验研究表明，尽管几种最先进的基线方法在没有太阳眩光的情况下对交通符号数据集进行了训练和测试，但在对眩光进行测试时，它们遭受了极大的痛苦（例如，9％至21％的平均图范围为9％至21％。 ，它明显低于LISA数据集上的性能）。我们还注意到，当对Sun Glare中的交通标志图像进行培训时，当前的架构具有更好的检测准确性（例如，主流算法平均42％的平均地图增益）。

在自主驾驶系统中，感知 - 来自环境的特征和物体的识别 - 至关重要。在自主赛车中，高速和小幅度的距离需要快速准确的检测系统。在比赛期间，天气可能会突然变化，导致感知的显着降解，导致操作效果无效。为了改善恶劣天气的检测，基于深度学习的模型通常需要在这种条件下捕获的广泛数据集 - 这是一种繁琐，费力和昂贵的过程。然而，最新的Conscangan架构的发展允许在多种天气条件下合成高度现实的场景。为此，我们介绍了一种在自主赛车中使用合成的不利条件数据集（使用Cyclegan产生）来提高五个最先进的探测器的性能，平均为42.7和4.4地图百分比点分别存在夜间条件和液滴。此外，我们对五个对象探测器进行了比较分析 - 识别探测器的最佳配对和在挑战条件下自主赛车中使用的培训数据。

关键应用程序中机器学习（ML）组件的集成引入了软件认证和验证的新挑战。正在开发新的安全标准和技术准则，以支持基于ML的系统的安全性，例如ISO 21448 SOTIF用于汽车域名，并保证机器学习用于自主系统（AMLAS）框架。 SOTIF和AMLA提供了高级指导，但对于每个特定情况，必须将细节凿出来。我们启动了一个研究项目，目的是证明开放汽车系统中ML组件的完整安全案例。本文报告说，Smikk的安全保证合作是由行业级别的行业合作的，这是一个基于ML的行人自动紧急制动示威者，在行业级模拟器中运行。我们演示了AMLA在伪装上的应用，以在简约的操作设计域中，即，我们为其基于ML的集成组件共享一个完整的安全案例。最后，我们报告了经验教训，并在开源许可下为研究界重新使用的开源许可提供了傻笑和安全案例。

估计神经网络的不确定性在安全关键环境中起着基本作用。在对自主驾驶的感知中，测量不确定性意味着向下游任务提供额外的校准信息，例如路径规划，可以将其用于安全导航。在这项工作中，我们提出了一种用于对象检测的新型采样的不确定性估计方法。我们称之为特定网络，它是第一个为每个输出信号提供单独的不确定性：Objectness，类，位置和大小。为实现这一点，我们提出了一种不确定性感知的热图，并利用检测器提供的相邻边界框在推理时间。我们分别评估了不同不确定性估计的检测性能和质量，也具有具有挑战性的域名样本：BDD100K和肾上腺素训练在基蒂培训。此外，我们提出了一种新的指标来评估位置和大小的不确定性。当转移到看不见的数据集时，某些基本上概括了比以前的方法和集合更好，同时是实时和提供高质量和全面的不确定性估计。

计算机图形技术的最新进展可以使汽车驾驶环境更现实。它们使自动驾驶汽车模拟器（例如DeepGTA-V和Carla（学习采取行动））能够生成大量的合成数据，这些数据可以补充现有的现实世界数据集中，以培训自动驾驶汽车感知。此外，由于自动驾驶汽车模拟器可以完全控制环境，因此它们可以产生危险的驾驶场景，而现实世界中数据集缺乏恶劣天气和事故情况。在本文中，我们将证明将从现实世界收集的数据与模拟世界中生成的数据相结合的有效性，以训练对象检测和本地化任务的感知系统。我们还将提出一个多层次的深度学习感知框架，旨在效仿人类的学习经验，其中在某个领域中学习了一系列从简单到更困难的任务。自动驾驶汽车感知器可以从易于驱动的方案中学习，以通过模拟软件定制的更具挑战性的方案。

Datasets drive vision progress, yet existing driving datasets are impoverished in terms of visual content and supported tasks to study multitask learning for autonomous driving. Researchers are usually constrained to study a small set of problems on one dataset, while real-world computer vision applications require performing tasks of various complexities. We construct BDD100K 1 , the largest driving video dataset with 100K videos and 10 tasks to evaluate the exciting progress of image recognition algorithms on autonomous driving. The dataset possesses geographic, environmental, and weather diversity, which is useful for training models that are less likely to be surprised by new conditions. Based on this diverse dataset, we build a benchmark for heterogeneous multitask learning and study how to solve the tasks together. Our experiments show that special training strategies are needed for existing models to perform such heterogeneous tasks. BDD100K opens the door for future studies in this important venue.

部署到开放世界中，对象探测器容易出现开放式错误，训练数据集中不存在的对象类的假阳性检测。我们提出了GMM-DET，一种用于从对象探测器中提取认知不确定性的实时方法，以识别和拒绝开放式错误。 GMM-DID列达探测器以产生与特定于类高斯混合模型建模的结构化的Logit空间。在测试时间时，通过所有高斯混合模型下的低对数概率识别开放式错误。我们测试了两个常见的探测器架构，更快的R-CNN和RETINANET，跨越了三种不同的数据集，跨越机器人和计算机视觉。我们的结果表明，GMM-DET始终如一地优于识别和拒绝开放式检测的现有不确定性技术，特别是在安全关键应用程序所需的低差错率操作点。 GMM-DET保持对象检测性能，并仅引入最小的计算开销。我们还介绍一种用于将现有对象检测数据集转换为特定的开放式数据集的方法，以评估对象检测中的开放式性能。

自动驾驶技术的加速开发对获得大量高质量数据的需求更大。标签，现实世界数据代表性是培训深度学习网络的燃料，对于改善自动驾驶感知算法至关重要。在本文中，我们介绍了PANDASET，由完整的高精度自动车辆传感器套件生产的第一个数据集，具有无需成本商业许可证。使用一个360 {\ DEG}机械纺丝利达，一个前置，远程LIDAR和6个摄像机收集数据集。DataSet包含100多个场景，每个场景为8秒，为目标分类提供28种类型的标签和37种类型的语义分割标签。我们提供仅限LIDAR 3D对象检测的基线，LIDAR-Camera Fusion 3D对象检测和LIDAR点云分割。有关Pandaset和开发套件的更多详细信息，请参阅https://scale.com/open-datasets/pandaset。

检测稀有物体（例如，交通锥，交通桶和交通警告三角形）是提高自动驾驶安全性的重要感知任务。对此类模型的培训通常需要大量的注释数据，这些数据既昂贵又耗时。为了解决上述问题，新兴的方法是应用数据扩展以自动生成无成本的培训样本。在这项工作中，我们提出了一项有关简单复制数据增强的系统研究，以实现自动驾驶中罕见的对象检测。具体而言，引入了本地自适应实例级图像转换，以生成从源域到目标域的逼真的稀有对象掩模。此外，流量场景上下文被用来指导稀有物体的口罩的放置。为此，我们的数据增强通过利用本地和全球一致性来生成具有高质量和现实特征的培训数据。此外，我们构建了一个新的数据集，稀有对象数据集（ROD），组成10K培训图像，4K验证图像和相应的标签，这些标签具有不同的自动驾驶方案。 ROD上的实验表明，我们的方法在稀有物体检测方面取得了有希望的结果。我们还提出了一项详尽的研究，以说明基于局部自适应和全球限制因素的副本数据增强的有效性，以实现稀有对象检测。数据，开发套件和ROD的更多信息可在线获得：\ url {https://nullmax-vision.github.io}。

背景信息：在过去几年中，机器学习（ML）一直是许多创新的核心。然而，包括在所谓的“安全关键”系统中，例如汽车或航空的系统已经被证明是非常具有挑战性的，因为ML的范式转变为ML带来完全改变传统认证方法。目的：本文旨在阐明与ML为基础的安全关键系统认证有关的挑战，以及文献中提出的解决方案，以解决它们，回答问题的问题如何证明基于机器学习的安全关键系统？'方法：我们开展2015年至2020年至2020年之间发布的研究论文的系统文献综述（SLR），涵盖了与ML系统认证有关的主题。总共确定了217篇论文涵盖了主题，被认为是ML认证的主要支柱：鲁棒性，不确定性，解释性，验证，安全强化学习和直接认证。我们分析了每个子场的主要趋势和问题，并提取了提取的论文的总结。结果：单反结果突出了社区对该主题的热情，以及在数据集和模型类型方面缺乏多样性。它还强调需要进一步发展学术界和行业之间的联系，以加深域名研究。最后，它还说明了必须在上面提到的主要支柱之间建立连接的必要性，这些主要柱主要主要研究。结论：我们强调了目前部署的努力，以实现ML基于ML的软件系统，并讨论了一些未来的研究方向。

自动驾驶正在快速推进，级别2个功能正在成为标准功能。最重要的休假之一是在苛刻的天气和低光条件下获得强大的视觉感知，其中精度降解严重。在这些场景期间，具有天气分类模型将降低视觉感知信心至关重要。因此，我们已经为天气（雾，雨，雪）分类和光线（明亮，适度，低）分类建造了新的数据集。此外，我们提供街道类型（沥青，草和鹅卵石）分类，导致9个标签。每个图像都有三个标签，对应天气，光线水平和街道类型。我们录制了利用RCCC（RED / CLEAR）格式的工业前置摄像头的数据，分辨率为1024 \ times1084 $。我们收集了15k视频序列和采样的60K图像。我们实现了一个主动学习框架，以减少数据集的冗余，并找到用于训练模型的最佳帧集。我们将60K图像进一步蒸馏到1.1K图像，这将在隐私匿名化之后公开分享。没有公共数据集的天气和光线分类，专注于自动驾驶到我们的知识。用于天气分类的基线ResET18网络实现了最先进的导致两种非汽车天气分类公共数据集，但在我们提出的数据集中明显降低了准确性，证明它不是饱和的，需要进一步研究。

2019年冠状病毒疾病（Covid-19）继续自爆发以来对世界产生巨大挑战。为了对抗这种疾病，开发了一系列人工智能（AI）技术，并应用于现实世界的情景，如安全监测，疾病诊断，感染风险评估，Covid-19 CT扫描的病变细分等。 Coronavirus流行病迫使人们佩戴面膜来抵消病毒的传播，这也带来了监控戴着面具的大群人群的困难。在本文中，我们主要关注蒙面面部检测和相关数据集的AI技术。从蒙面面部检测数据集的描述开始，我们调查了最近的进步。详细描述并详细讨论了十三可用数据集。然后，该方法大致分为两类：传统方法和基于神经网络的方法。常规方法通常通过用手工制作的特征升高算法来训练，该算法占少比例。基于神经网络的方法根据处理阶段的数量进一步归类为三个部分。详细描述了代表性算法，与一些简要描述的一些典型技术耦合。最后，我们总结了最近的基准测试结果，讨论了关于数据集和方法的局限性，并扩大了未来的研究方向。据我们所知，这是关于蒙面面部检测方法和数据集的第一次调查。希望我们的调查可以提供一些帮助对抗流行病的帮助。

Recent advances in artificial intelligence (AI) have significantly intensified research in the geoscience and remote sensing (RS) field. AI algorithms, especially deep learning-based ones, have been developed and applied widely to RS data analysis. The successful application of AI covers almost all aspects of Earth observation (EO) missions, from low-level vision tasks like super-resolution, denoising, and inpainting, to high-level vision tasks like scene classification, object detection, and semantic segmentation. While AI techniques enable researchers to observe and understand the Earth more accurately, the vulnerability and uncertainty of AI models deserve further attention, considering that many geoscience and RS tasks are highly safety-critical. This paper reviews the current development of AI security in the geoscience and RS field, covering the following five important aspects: adversarial attack, backdoor attack, federated learning, uncertainty, and explainability. Moreover, the potential opportunities and trends are discussed to provide insights for future research. To the best of the authors' knowledge, this paper is the first attempt to provide a systematic review of AI security-related research in the geoscience and RS community. Available code and datasets are also listed in the paper to move this vibrant field of research forward.