安全保证是自动驾驶（AD）系统发展和社会接受（AD）系统的核心问题。感知是广告的关键方面，严重依赖机器学习（ML）。尽管基于ML的组件的安全性有已知的挑战，但最近已经提出针对解决这些组件的单位安全案例的建议。不幸的是，AD安全案例在系统级别上表示安全要求，这些努力缺少将安全性要求与单位级别的组件性能要求整合在一起所需的关键链接参数。在本文中，我们提出了感知的集成安全案例（ISCAP），这是针对专门针对感知组件量身定制的这种链接安全参数的通用模板。该模板采用演绎且形式上的方法来定义级别之间强大的可追溯性。我们通过详细的案例研究证明了ISCAP的适用性，并讨论了其作为支持感知成分增量发展的工具的使用。

关键应用程序中机器学习（ML）组件的集成引入了软件认证和验证的新挑战。正在开发新的安全标准和技术准则，以支持基于ML的系统的安全性，例如ISO 21448 SOTIF用于汽车域名，并保证机器学习用于自主系统（AMLAS）框架。 SOTIF和AMLA提供了高级指导，但对于每个特定情况，必须将细节凿出来。我们启动了一个研究项目，目的是证明开放汽车系统中ML组件的完整安全案例。本文报告说，Smikk的安全保证合作是由行业级别的行业合作的，这是一个基于ML的行人自动紧急制动示威者，在行业级模拟器中运行。我们演示了AMLA在伪装上的应用，以在简约的操作设计域中，即，我们为其基于ML的集成组件共享一个完整的安全案例。最后，我们报告了经验教训，并在开源许可下为研究界重新使用的开源许可提供了傻笑和安全案例。

自主系统（AS）越来越多地提出或在安全关键（SC）应用中使用，例如公路车辆。许多这样的系统利用复杂的传感器套件和处理来提供场景理解，从而使“决策”（例如路径计划）提供了信息。传感器处理通常利用机器学习（ML），并且必须在具有挑战性的环境中工作，此外，ML算法具有已知的局限性，例如，对象分类中错误的负面因素或假阳性的可能性。为常规SC系统开发的完善的安全分析方法与AS使用的AS，ML或传感系统没有很好的匹配。本文提出了适应良好的安全分析方法的适应，以解决AS的传感系统的细节，包括解决环境效应和ML的潜在故障模式，并为选择特定的指南或提示集提供了理由。安全分析。它继续展示了如何使用分析结果来告知AS系统的设计和验证，并通过对移动机器人进行部分分析来说明新方法。本文中的插图主要基于光学传感，但是本文讨论了该方法对其他感应方式的适用性及其在更广泛的安全过程中的作用，以解决AS的整体功能

在公共道路上大规模的自动车辆部署有可能大大改变当今社会的运输方式。尽管这种追求是在几十年前开始的，但仍有公开挑战可靠地确保此类车辆在开放环境中安全运行。尽管功能安全性是一个完善的概念，但测量车辆行为安全的问题仍然需要研究。客观和计算分析交通冲突的一种方法是开发和利用所谓的关键指标。在与自动驾驶有关的各种应用中，当代方法利用了关键指标的潜力，例如用于评估动态风险或过滤大型数据集以构建方案目录。作为系统地选择适当的批判性指标的先决条件，我们在自动驾驶的背景下广泛回顾了批判性指标，其属性及其应用的现状。基于这篇综述，我们提出了一种适合性分析，作为一种有条不紊的工具，可以由从业者使用。然后，可以利用提出的方法和最新审查的状态来选择涵盖应用程序要求的合理的测量工具，如分析的示例性执行所证明。最终，高效，有效且可靠的衡量自动化车辆安全性能是证明其可信赖性的关键要求。

自动化驾驶系统（广告）开辟了汽车行业的新领域，为未来的运输提供了更高的效率和舒适体验的新可能性。然而，在恶劣天气条件下的自主驾驶已经存在，使自动车辆（AVS）长时间保持自主车辆（AVS）或更高的自主权。本文评估了天气在分析和统计方式中为广告传感器带来的影响和挑战，并对恶劣天气条件进行了解决方案。彻底报道了关于对每种天气的感知增强的最先进技术。外部辅助解决方案如V2X技术，当前可用的数据集，模拟器和天气腔室的实验设施中的天气条件覆盖范围明显。通过指出各种主要天气问题，自主驾驶场目前正在面临，近年来审查硬件和计算机科学解决方案，这项调查概述了在不利的天气驾驶条件方面的障碍和方向的障碍和方向。

为了实现安全的自动驾驶汽车（AV）操作，至关重要的是，AV的障碍检测模块可以可靠地检测出构成安全威胁的障碍物（即是安全至关重要的）。因此，希望对感知系统的评估指标捕获对象的安全性 - 临界性。不幸的是，现有的感知评估指标倾向于对物体做出强烈的假设，而忽略了代理之间的动态相互作用，因此不能准确地捕获现实中的安全风险。为了解决这些缺点，我们通过考虑自我车辆和现场障碍之间的闭环动态相互作用来引入互动障碍感知障碍检测评估度量指标。通过从最佳控制理论借用现有理论，即汉密尔顿 - 雅各比的可达性，我们提出了一种可构造``安全区域''的计算障碍方法：一个国家空间中的一个区域，该区域定义了安全 - 关键障碍为了定义安全目的的位置指标。我们提出的安全区已在数学上完成，并且可以轻松计算以反映各种安全要求。使用Nuscenes检测挑战排行榜的现成检测算法，我们证明我们的方法是计算轻量级，并且可以更好地捕获与基线方法更好地捕获关键的安全感知错误。

嵌入在自主系统中的机器学习（ML）组件的增加使用 - 所谓的启用学习的系统（LES） - 导致压力需要确保其功能安全性。至于传统的功能安全，在工业和学术界的新兴共识是为此目的使用保证案例。通常，保证案例支持可靠性的支持权，支持安全性，并且可以被视为组织争论和从安全分析和可靠性建模活动产生的证据的结构化方式。虽然这些保证活动传统上由基于协商一致的标准，但由于ML模型的特点和设计，在安全关键应用中，LES构成了新的挑战。在本文中，我们首先向LES提出了一种强调定量方面的总体保证框架，例如，打破系统级安全目标与可靠性指标中所述的组件级要求和支持索赔。然后，我们向ML分类器介绍一种新的模型 - 不可能可靠性评估模型（RAM），该分类器利用操作简档和鲁棒性验证证据。我们讨论了模型假设以及评估我们RAM揭示的ML可靠性的固有挑战，并提出了实用的解决方案。还基于RAM开发了较低ML组件级的概率安全争论。最后，为了评估和展示我们的方法，我们不仅对合成/基准数据集进行实验，还展示了我们对模拟中自动水下车辆的综合案例研究的方法。

本文提出了一个基于因果关系模型的框架，可以在该模型上建立有效的安全保证案例。在此过程中，我们基于确定的安全工程原则以及对ML结构保证论证的先前工作。本文定义了四类安全案例证据和结构化分析方法，可以在其中有效合并这些证据。在适当的情况下，使用这些贡献的抽象形式来说明他们评估的因果关系，它们对证据的安全论点和理想特性的贡献。基于提议的框架，重新评估了该领域的进展，并提出了一系列未来的研究方向，以在该领域中取得切实的进步。

保证案件旨在为其最高主张的真理提供合理的信心，这通常涉及安全或保障。那么一个自然的问题是，案件提供了“多少”信心？我们认为，置信度不能简化为单个属性或测量。取而代之的是，我们建议它应该基于以三种不同观点的属性为基础：正面，消极和残留疑问。积极的观点考虑了该案件的证据和总体论点结合起来的程度，以表明其主张的信念是正当的。我们为理由设置了一个高标准，要求它是不可行的。对此的主要积极度量是健全性，它将论点解释为逻辑证明。对证据的信心可以概率地表达，我们使用确认措施来确保证据的“权重”跨越了一定的阈值。此外，可以通过使用概率逻辑的参数步骤从证据中汇总概率，以产生我们所谓的索赔概率估值。负面观点记录了对案件的怀疑和挑战，通常表示为叛逆者及其探索和解决。保证开发商必须防止确认偏见，并应在制定案件时大力探索潜在的叛逆者，并应记录下来及其解决方案，以避免返工并帮助审阅者。残留疑问：世界不确定，因此并非所有潜在的叛逆者都可以解决。我们探索风险，可能认为它们是可以接受或不可避免的。但是，至关重要的是，这些判断是有意识的判断，并且在保证案例中记录下来。本报告详细介绍了这些观点，并指示了我们的保证2.0的原型工具集如何协助他们的评估。

基于仿真的自主车辆（AVS）测试已成为道路测试的必要补充，以确保安全。因此，实质性研究专注于寻找模拟中的失败情景。但是，仍然存在一个基本问题：是在实际情况下模拟中识别的AV失败情景，即它们在真实系统上可重复？由于模拟和实际传感器数据之间的差异引起的SIM-to-实际间隙，模拟中识别的故障场景可以是合成传感器数据的虚假工件或持续存在具有实际传感器数据的实际故障。验证模拟故障方案的方法是在真实数据的语料库中识别场景的情况，并检查故障是否持续存在于实际数据上。为此，我们提出了一个正式的定义，它对标记的数据项匹配抽象场景的方法，以使用风景概率编程语言编码为场景程序。使用此定义，我们开发了一个查询算法，给定场景程序和标记的数据集，找到符合场景的数据子集。实验表明，我们的算法在各种现实的交通方案上是准确和高效的，并缩放到合理数量的代理商。

我们的运输世界正在迅速转变，自治水平不断提高。但是，为了获得全自动车辆的许可以供广泛的公众使用，有必要确保整个系统的安全性，这仍然是一个挑战。这尤其适用于基于AI的感知系统，这些系统必须处理各种环境条件和道路使用者，与此同时，应强调地检测所有相关的对象（即不应发生检测失误）。然而，有限的培训和验证数据可以证明无故障操作几乎无法实现，因为感知系统可能会暴露于公共道路上的新事物或未知的物体或条件。因此，需要针对基于AI的感知系统的新安全方法。因此，我们在本文中提出了一种新型的层次监视方法，能够从主要感知系统验证对象列表，可以可靠地检测检测失误，同时具有非常低的错误警报率。

我们调查在机器学习功能安全的论点中实现了足够严格的问题。通过考虑基于DNN的2D边界箱检测算法的已知弱点，我们通过将其与安全目标相关联锐化不精确的行人定位的度量。锐化导致在标准非最大抑制后引入保守的后处理器作为反措施。然后，我们提出了一个半正式的保证案，以争论后处理器的有效性，这进一步翻译成正式证明论证健全的义务。应用定理证明不仅发现引入缺失的索赔和数学概念的需要，而且还揭示了在半形式论证中使用的Dempster-Shafer规则的限制。

This paper describes Waymo's Collision Avoidance Testing (CAT) methodology: a scenario-based testing method that evaluates the safety of the Waymo Driver Automated Driving Systems' (ADS) intended functionality in conflict situations initiated by other road users that require urgent evasive maneuvers. Because SAE Level 4 ADS are responsible for the dynamic driving task (DDT), when engaged, without immediate human intervention, evaluating a Level 4 ADS using scenario-based testing is difficult due to the potentially infinite number of operational scenarios in which hazardous situations may unfold. To that end, in this paper we first describe the safety test objectives for the CAT methodology, including the collision and serious injury metrics and the reference behavior model representing a non-impaired eyes on conflict human driver used to form an acceptance criterion. Afterward, we introduce the process for identifying potentially hazardous situations from a combination of human data, ADS testing data, and expert knowledge about the product design and associated Operational Design Domain (ODD). The test allocation and execution strategy is presented next, which exclusively utilize simulations constructed from sensor data collected on a test track, real-world driving, or from simulated sensor data. The paper concludes with the presentation of results from applying CAT to the fully autonomous ride-hailing service that Waymo operates in San Francisco, California and Phoenix, Arizona. The iterative nature of scenario identification, combined with over ten years of experience of on-road testing, results in a scenario database that converges to a representative set of responder role scenarios for a given ODD. Using Waymo's virtual test platform, which is calibrated to data collected as part of many years of ADS development, the CAT methodology provides a robust and scalable safety evaluation.

尽管使用深神经网络（DNN）的基于人工智能的感知（AIP）接近人类水平的表现，但其众所周知的局限性是对自主应用所需的安全保证的障碍。这些包括对对抗性输入的脆弱性，无法处理新的输入和无解释性。在解决这些局限性方面的研究中，在本文中，我们认为需要一种根本不同的方法来解决它们。受到人类认知的双重过程模型的启发，其中1型思维是快速且无意识的，而2型思维则缓慢并且基于有意识的推理，我们为安全AIP提出了双重过程体系结构。我们回顾了有关人类如何解决最简单的非平凡感知问题，图像分类的研究，并为此任务绘制相应的AIP体系结构。我们认为，这种体系结构可以提供一种系统的方法来解决使用DNNS的AIP局限性，并可以保证人类水平的绩效及以后的方法。最后，我们讨论了现有工作可能已经解决了哪些架构的组成部分以及未来的工作。

保证案件提出了一个明确且可辩护的论点，并得到证据支持，即系统将按照特定情况下的意图运行。通常，保证案例提出了一个论点，即系统在其预期的上下文中将是安全的。值得信赖的AI研究社区中的一项新兴建议是扩展和应用这种方法，以保证使用AI系统或自治系统（AI/AS）在特定情况下将是可接受的道德。在本文中，我们进一步提出了这一建议。我们通过为AI/AS提供基于原则的道德保证（PBEA）论点模式来做到这一点。 PBEA参数模式为推理给定AI/AS的整体道德可接受性提供了一个框架，它可能是特定道德保证案例的早期原型模板。构成PBEA论证模式基础的四个核心道德原则是：正义；福利；非遗憾；并尊重个人自主权。在整个过程中，我们将参数模式的阶段连接到AI/作为应用程序的示例。这有助于显示其最初的合理性。

The last decade witnessed increasingly rapid progress in self-driving vehicle technology, mainly backed up by advances in the area of deep learning and artificial intelligence. The objective of this paper is to survey the current state-of-the-art on deep learning technologies used in autonomous driving. We start by presenting AI-based self-driving architectures, convolutional and recurrent neural networks, as well as the deep reinforcement learning paradigm. These methodologies form a base for the surveyed driving scene perception, path planning, behavior arbitration and motion control algorithms. We investigate both the modular perception-planning-action pipeline, where each module is built using deep learning methods, as well as End2End systems, which directly map sensory information to steering commands. Additionally, we tackle current challenges encountered in designing AI architectures for autonomous driving, such as their safety, training data sources and computational hardware. The comparison presented in this survey helps to gain insight into the strengths and limitations of deep learning and AI approaches for autonomous driving and assist with design choices. 1

自动化驾驶系统（ADSS）近年来迅速进展。为确保这些系统的安全性和可靠性，在未来的群心部署之前正在进行广泛的测试。测试道路上的系统是最接近真实世界和理想的方法，但它非常昂贵。此外，使用此类现实世界测试覆盖稀有角案件是不可行的。因此，一种流行的替代方案是在一些设计精心设计的具有挑战性场景中评估广告的性能，A.k.a.基于场景的测试。高保真模拟器已广泛用于此设置中，以最大限度地提高测试的灵活性和便利性 - 如果发生的情况。虽然已经提出了许多作品，但为测试特定系统提供了各种框架/方法，但这些作品之间的比较和连接仍然缺失。为了弥合这一差距，在这项工作中，我们在高保真仿真中提供了基于场景的测试的通用制定，并对现有工作进行了文献综述。我们进一步比较了它们并呈现开放挑战以及潜在的未来研究方向。

知识表示和推理有悠久的历史，即研究如何通过机器对知识进行形式化，解释和语义分析。在自动化车辆领域，最近的进步表明，能够将相关知识形式化和利用相关知识作为处理交通界固有且复杂的环境的关键推动者。本文证明了本体论是a）对自动车辆环境中与关键相关的因素进行建模和形式化的强大工具。为此，我们利用著名的6层模型来创建环境环境的形式表示。在此表示形式中，本体论将域知识模型为逻辑公理，从而促进交通场景和场景中的关键因素的存在。为了执行自动分析，将联合描述逻辑和规则推理器与A-Priori谓词增强结合使用。我们详细介绍了模块化方法，提出了公开可用的实施，并通过大规模的无人机数据集评估了该方法的城市交通情况。

自动化车辆（AV）在很大程度上取决于强大的感知系统。评估视觉系统的当前方法主要关注逐帧性能。当在AV中使用时，这种评估方法似乎不足以评估感知子系统的性能。在本文中，我们提出了一种逻辑（称为时空感知逻辑（STPL）），该逻辑同时使用了空间和时间方式。STPL可以使用空间和时间关系来实现对感知数据的推理。STPL的一个主要优点是，即使在某些情况下没有地面真相数据，它也可以促进感知系统实时性能的基本理智检查。我们确定了STPL的片段，该片段是在多项式时间内有效地监视离线的。最后，我们提供了一系列针对AV感知系统的规格，以突出显示可以通过STPL通过离线监控来表达和分析的要求类型。

Autonomous driving confronts great challenges in complex traffic scenarios, where the risk of Safety of the Intended Functionality (SOTIF) can be triggered by the dynamic operational environment and system insufficiencies. The SOTIF risk is reflected not only intuitively in the collision risk with objects outside the autonomous vehicles (AVs), but also inherently in the performance limitation risk of the implemented algorithms themselves. How to minimize the SOTIF risk for autonomous driving is currently a critical, difficult, and unresolved issue. Therefore, this paper proposes the "Self-Surveillance and Self-Adaption System" as a systematic approach to online minimize the SOTIF risk, which aims to provide a systematic solution for monitoring, quantification, and mitigation of inherent and external risks. The core of this system is the risk monitoring of the implemented artificial intelligence algorithms within the AV. As a demonstration of the Self-Surveillance and Self-Adaption System, the risk monitoring of the perception algorithm, i.e., YOLOv5 is highlighted. Moreover, the inherent perception algorithm risk and external collision risk are jointly quantified via SOTIF entropy, which is then propagated downstream to the decision-making module and mitigated. Finally, several challenging scenarios are demonstrated, and the Hardware-in-the-Loop experiments are conducted to verify the efficiency and effectiveness of the system. The results demonstrate that the Self-Surveillance and Self-Adaption System enables dependable online monitoring, quantification, and mitigation of SOTIF risk in real-time critical traffic environments.