With the rise of AI and automation, moral decisions are being put into the hands of algorithms that were formerly the preserve of humans. In autonomous driving, a variety of such decisions with ethical implications are made by algorithms for behavior and trajectory planning. Therefore, we present an ethical trajectory planning algorithm with a framework that aims at a fair distribution of risk among road users. Our implementation incorporates a combination of five essential ethical principles: minimization of the overall risk, priority for the worst-off, equal treatment of people, responsibility, and maximum acceptable risk. To the best of the authors' knowledge, this is the first ethical algorithm for trajectory planning of autonomous vehicles in line with the 20 recommendations from the EU Commission expert group and with general applicability to various traffic situations. We showcase the ethical behavior of our algorithm in selected scenarios and provide an empirical analysis of the ethical principles in 2000 scenarios. The code used in this research is available as open-source software.

深度神经网络（DNN）在解释图像数据方面取得了令人印象深刻的进步，因此可以在某种程度上可以在某种程度上使用它们，以在自动驾驶（例如自动驾驶）中使用它们。从道德的角度来看，AI算法应考虑到街道上的物体或受试者的脆弱性，范围从“完全没有”，例如这条路本身，是行人的“高脆弱性”。考虑到这一点的一种方法是定义一个语义类别与另一个语义类别的混淆成本，并使用基于成本的决策规则来解释概率，即DNN的输出。但是，如何定义成本结构是一个开放的问题，应该负责谁来执行此操作，从而定义了AI-Algorithms实际上将“看到”。作为一个可能的答案，我们遵循一种参与式方法，并建立在线调查，要求公众定义成本结构。我们介绍了调查设计和获取的数据以及评估，该评估还区分了视角（汽车乘客与外部交通参与者）和性别。使用基于仿真的$ f $检验，我们发现两组之间存在很大的显着差异。这些差异对在与自动驾驶汽车的安全临界距离内的可靠检测有后果。我们讨论与这种方法相关的道德问题，并从心理学的角度讨论了从人机相互作用到调查出现的问题。最后，我们在AI安全领域的行业领导者对基于调查的元素在自动驾驶中的AI功能设计中的适用性进行了评论。

汽车行业在过去几十年中见证了越来越多的发展程度;从制造手动操作车辆到具有高自动化水平的制造车辆。随着近期人工智能（AI）的发展，汽车公司现在雇用BlackBox AI模型来使车辆能够感知其环境，并使人类少或没有输入的驾驶决策。希望能够在商业规模上部署自治车辆（AV），通过社会接受AV成为至关重要的，并且可能在很大程度上取决于其透明度，可信度和遵守法规的程度。通过为AVS行为的解释提供对这些接受要求的遵守对这些验收要求的评估。因此，解释性被视为AVS的重要要求。 AV应该能够解释他们在他们运作的环境中的“见到”。在本文中，我们对可解释的自动驾驶的现有工作体系进行了全面的调查。首先，我们通过突出显示并强调透明度，问责制和信任的重要性来开放一个解释的动机;并审查与AVS相关的现有法规和标准。其次，我们识别并分类了参与发展，使用和监管的不同利益相关者，并引出了AV的解释要求。第三，我们对以前的工作进行了严格的审查，以解释不同的AV操作（即，感知，本地化，规划，控制和系统管理）。最后，我们确定了相关的挑战并提供建议，例如AV可解释性的概念框架。该调查旨在提供对AVS中解释性感兴趣的研究人员所需的基本知识。

自动驾驶在过去十年中取得了重大的研究和发展中的重要里程碑。在道路上的自动车辆部署时，对该领域的兴趣越来越令人兴趣，承诺更安全，更生态的运输系统。随着计算强大的人工智能（AI）技术的兴起，自动车辆可以用高精度感测它们的环境，进行安全的实时决策，并在没有人类干预的情况下更可靠地运行。然而，在现有技术中，人类智能决策通常不可能理解，这种缺陷阻碍了这种技术在社会上可接受。因此，除了制造安全的实时决策之外，自治车辆的AI系统还需要解释如何构建这些决策，以便在许多司法管辖区兼容监管。我们的研究在开发可解释的人工智能（XAI）的自治车辆方法上阐明了全面的光芒。特别是，我们做出以下贡献。首先，我们在最先进的自主车辆行业的解释方面彻底概述了目前的差距。然后，我们显示了该领域的解释和解释接收器的分类。第三，我们为端到端自主驾驶系统的架构提出了一个框架，并证明了Xai在调试和调节这些系统中的作用。最后，作为未来的研究方向，我们提供了XAI自主驾驶方法的实地指南，可以提高运营安全性和透明度，以实现监管机构，制造商和所有参与利益相关者的公共批准。

保证案件提出了一个明确且可辩护的论点，并得到证据支持，即系统将按照特定情况下的意图运行。通常，保证案例提出了一个论点，即系统在其预期的上下文中将是安全的。值得信赖的AI研究社区中的一项新兴建议是扩展和应用这种方法，以保证使用AI系统或自治系统（AI/AS）在特定情况下将是可接受的道德。在本文中，我们进一步提出了这一建议。我们通过为AI/AS提供基于原则的道德保证（PBEA）论点模式来做到这一点。 PBEA参数模式为推理给定AI/AS的整体道德可接受性提供了一个框架，它可能是特定道德保证案例的早期原型模板。构成PBEA论证模式基础的四个核心道德原则是：正义；福利；非遗憾；并尊重个人自主权。在整个过程中，我们将参数模式的阶段连接到AI/作为应用程序的示例。这有助于显示其最初的合理性。

机器学习显着增强了机器人的能力，使他们能够在人类环境中执行广泛的任务并适应我们不确定的现实世界。机器学习各个领域的最新作品强调了公平性的重要性，以确保这些算法不会再现人类的偏见并导致歧视性结果。随着机器人学习系统在我们的日常生活中越来越多地执行越来越多的任务，了解这种偏见的影响至关重要，以防止对某些人群的意外行为。在这项工作中，我们从跨学科的角度进行了关于机器人学习公平性的首次调查，该研究跨越了技术，道德和法律挑战。我们提出了偏见来源的分类法和由此产生的歧视类型。使用来自不同机器人学习域的示例，我们研究了不公平结果和减轻策略的场景。我们通过涵盖不同的公平定义，道德和法律考虑以及公平机器人学习的方法来介绍该领域的早期进步。通过这项工作，我们旨在为公平机器人学习中的开创性发展铺平道路。

在公共道路上大规模的自动车辆部署有可能大大改变当今社会的运输方式。尽管这种追求是在几十年前开始的，但仍有公开挑战可靠地确保此类车辆在开放环境中安全运行。尽管功能安全性是一个完善的概念，但测量车辆行为安全的问题仍然需要研究。客观和计算分析交通冲突的一种方法是开发和利用所谓的关键指标。在与自动驾驶有关的各种应用中，当代方法利用了关键指标的潜力，例如用于评估动态风险或过滤大型数据集以构建方案目录。作为系统地选择适当的批判性指标的先决条件，我们在自动驾驶的背景下广泛回顾了批判性指标，其属性及其应用的现状。基于这篇综述，我们提出了一种适合性分析，作为一种有条不紊的工具，可以由从业者使用。然后，可以利用提出的方法和最新审查的状态来选择涵盖应用程序要求的合理的测量工具，如分析的示例性执行所证明。最终，高效，有效且可靠的衡量自动化车辆安全性能是证明其可信赖性的关键要求。

Autonomous driving confronts great challenges in complex traffic scenarios, where the risk of Safety of the Intended Functionality (SOTIF) can be triggered by the dynamic operational environment and system insufficiencies. The SOTIF risk is reflected not only intuitively in the collision risk with objects outside the autonomous vehicles (AVs), but also inherently in the performance limitation risk of the implemented algorithms themselves. How to minimize the SOTIF risk for autonomous driving is currently a critical, difficult, and unresolved issue. Therefore, this paper proposes the "Self-Surveillance and Self-Adaption System" as a systematic approach to online minimize the SOTIF risk, which aims to provide a systematic solution for monitoring, quantification, and mitigation of inherent and external risks. The core of this system is the risk monitoring of the implemented artificial intelligence algorithms within the AV. As a demonstration of the Self-Surveillance and Self-Adaption System, the risk monitoring of the perception algorithm, i.e., YOLOv5 is highlighted. Moreover, the inherent perception algorithm risk and external collision risk are jointly quantified via SOTIF entropy, which is then propagated downstream to the decision-making module and mitigated. Finally, several challenging scenarios are demonstrated, and the Hardware-in-the-Loop experiments are conducted to verify the efficiency and effectiveness of the system. The results demonstrate that the Self-Surveillance and Self-Adaption System enables dependable online monitoring, quantification, and mitigation of SOTIF risk in real-time critical traffic environments.

This paper describes Waymo's Collision Avoidance Testing (CAT) methodology: a scenario-based testing method that evaluates the safety of the Waymo Driver Automated Driving Systems' (ADS) intended functionality in conflict situations initiated by other road users that require urgent evasive maneuvers. Because SAE Level 4 ADS are responsible for the dynamic driving task (DDT), when engaged, without immediate human intervention, evaluating a Level 4 ADS using scenario-based testing is difficult due to the potentially infinite number of operational scenarios in which hazardous situations may unfold. To that end, in this paper we first describe the safety test objectives for the CAT methodology, including the collision and serious injury metrics and the reference behavior model representing a non-impaired eyes on conflict human driver used to form an acceptance criterion. Afterward, we introduce the process for identifying potentially hazardous situations from a combination of human data, ADS testing data, and expert knowledge about the product design and associated Operational Design Domain (ODD). The test allocation and execution strategy is presented next, which exclusively utilize simulations constructed from sensor data collected on a test track, real-world driving, or from simulated sensor data. The paper concludes with the presentation of results from applying CAT to the fully autonomous ride-hailing service that Waymo operates in San Francisco, California and Phoenix, Arizona. The iterative nature of scenario identification, combined with over ten years of experience of on-road testing, results in a scenario database that converges to a representative set of responder role scenarios for a given ODD. Using Waymo's virtual test platform, which is calibrated to data collected as part of many years of ADS development, the CAT methodology provides a robust and scalable safety evaluation.

\ EMPH {人工智能}（AI）系统越来越多地参与影响我们生活的决策，确保自动决策是公平的，道德已经成为最优先事项。直观地，我们觉得类似人的决定，人工代理人的判断应该必然地以一些道德原则为基础。然而，如果有关决定所基础的所有有关因素的全部信息，可以真正伦理（人类或人为）和公平（根据任何道德理论）和公平（根据公平的任何概念）的规定在决策时。这提出了两个问题：（1）在设置中，我们依赖使用通过监督学习获得的分类器的AI系统，存在一些感应/泛化，即使在学习期间也可能不存在一些相关属性。 （2）根据游戏揭示任何 - 无论是道德的纯策略都不可避免地易于剥削，建模这些决定。此外，在许多游戏中，只能通过使用混合策略来获得纳什均衡，即实现数学上最佳结果，决定必须随机化。在本文中，我们认为，在监督学习设置中，存在至少以及确定性分类器的随机分类器，因此在许多情况下可能是最佳选择。我们支持我们的理论效果，具有一个实证研究，表明对随机人工决策者的积极社会态度，并讨论了与使用与当前的AI政策和标准化举措相关的随机分类器相关的一些政策和实施问题。

The optimal liability framework for AI systems remains an unsolved problem across the globe. In a much-anticipated move, the European Commission advanced two proposals outlining the European approach to AI liability in September 2022: a novel AI Liability Directive and a revision of the Product Liability Directive. They constitute the final, and much-anticipated, cornerstone of AI regulation in the EU. Crucially, the liability proposals and the EU AI Act are inherently intertwined: the latter does not contain any individual rights of affected persons, and the former lack specific, substantive rules on AI development and deployment. Taken together, these acts may well trigger a Brussels effect in AI regulation, with significant consequences for the US and other countries. This paper makes three novel contributions. First, it examines in detail the Commission proposals and shows that, while making steps in the right direction, they ultimately represent a half-hearted approach: if enacted as foreseen, AI liability in the EU will primarily rest on disclosure of evidence mechanisms and a set of narrowly defined presumptions concerning fault, defectiveness and causality. Hence, second, the article suggests amendments, which are collected in an Annex at the end of the paper. Third, based on an analysis of the key risks AI poses, the final part of the paper maps out a road for the future of AI liability and regulation, in the EU and beyond. This includes: a comprehensive framework for AI liability; provisions to support innovation; an extension to non-discrimination/algorithmic fairness, as well as explainable AI; and sustainability. I propose to jump-start sustainable AI regulation via sustainability impact assessments in the AI Act and sustainable design defects in the liability regime. In this way, the law may help spur not only fair AI and XAI, but potentially also sustainable AI (SAI).

如果未来的AI系统在新的情况下是可靠的安全性，那么他们将需要纳入指导它们的一般原则，以便强烈地认识到哪些结果和行为将是有害的。这样的原则可能需要得到约束力的监管制度的支持，该法规需要广泛接受的基本原则。它们还应该足够具体用于技术实施。本文从法律中汲取灵感，解释了负面的人权如何履行此类原则的作用，并为国际监管制度以及为未来的AI系统建立技术安全限制的基础。

自动驾驶汽车的一个主要挑战是安全，平稳地与其他交通参与者进行互动。处理此类交通交互的一种有希望的方法是为自动驾驶汽车配备与感知的控制器（IACS）。这些控制器预测，周围人类驾驶员将如何根据驾驶员模型对自动驾驶汽车的行为做出响应。但是，很少验证IACS中使用的驱动程序模型的预测有效性，这可能会限制IACS在简单的模拟环境之外的交互功能。在本文中，我们认为，除了评估IAC的互动能力外，还应在自然的人类驾驶行为上验证其潜在的驱动器模型。我们为此验证提出了一个工作流程，其中包括基于方案的数据提取和基于人为因素文献的两阶段（战术/操作）评估程序。我们在一项案例研究中证明了该工作流程，该案例研究对现有IAC复制的基于反向的基于学习的驱动程序模型。该模型仅在40％的预测中显示出正确的战术行为。该模型的操作行为与观察到的人类行为不一致。案例研究表明，有原则的评估工作流程是有用和需要的。我们认为，我们的工作流将支持为将来的自动化车辆开发适当的驾驶员模型。

自主系统（AS）越来越多地提出或在安全关键（SC）应用中使用，例如公路车辆。许多这样的系统利用复杂的传感器套件和处理来提供场景理解，从而使“决策”（例如路径计划）提供了信息。传感器处理通常利用机器学习（ML），并且必须在具有挑战性的环境中工作，此外，ML算法具有已知的局限性，例如，对象分类中错误的负面因素或假阳性的可能性。为常规SC系统开发的完善的安全分析方法与AS使用的AS，ML或传感系统没有很好的匹配。本文提出了适应良好的安全分析方法的适应，以解决AS的传感系统的细节，包括解决环境效应和ML的潜在故障模式，并为选择特定的指南或提示集提供了理由。安全分析。它继续展示了如何使用分析结果来告知AS系统的设计和验证，并通过对移动机器人进行部分分析来说明新方法。本文中的插图主要基于光学传感，但是本文讨论了该方法对其他感应方式的适用性及其在更广泛的安全过程中的作用，以解决AS的整体功能

Developments in autonomous vehicles (AVs) are rapidly advancing and will in the next 20 years become a central part to our society. However, especially in the early stages of deployment, there is expected to be incidents involving AVs. In the event of AV incidents, decisions will need to be made that require ethical decisions, e.g., deciding between colliding into a group of pedestrians or a rigid barrier. For an AV to undertake such ethical decision making and path planning, simulation models of the situation will be required that are used in real-time on-board the AV. These models will enable path planning and ethical decision making to be undertaken based on predetermined collision injury severity levels. In this research, models are developed for the path planning and ethical decision making that predetermine knowledge regarding the possible collision injury severities, i.e., peak deformation of the AV colliding into the rigid barrier or the impact velocity of the AV colliding into a pedestrian. Based on such knowledge and using fuzzy logic, a novel nonlinear weighted utility cost function for the collision injury severity levels is developed. This allows the model-based predicted collision outcomes arising from AV peak deformation and AV-pedestrian impact velocity to be examined separately via weighted utility cost functions with a common structure. The general form of the weighted utility cost function exploits a fuzzy sets approach, thus allowing common utility costs from the two separate utility cost functions to be meaningfully compared. A decision-making algorithm, which makes use of a utilitarian ethical approach, ensures that the AV will always steer onto the path which represents the lowest injury severity level, hence utility cost to society.

通过实现灵活的按需系统，预计自动车辆（AVS）将增加交通安全和交通效率等。这在新加坡尤其重要，是世界上最稠密的国家之一，这就是为什么新加坡当局目前正在积极促进AVS的部署。但是，由于正式的AV路公路审批程序所需所需。为此，提出了一种安全评估框架，这与基于交通场景的方法相结合了标准化功能安全设计方法的方面。后者涉及使用驱动数据来提取AV相关的流量方案。底层方法基于将场景分解为基本事件，随后的场景参数化和采样场景参数的估计概率密度函数来创建测试场景。随后，由此产生的测试场景用于模拟环境中的虚拟测试，并在证明地面和现实生活中进行物理测试。结果，所提出的评估管线因此由于基于模拟的方法而在相对短的时间帧中为AV性能提供统计相关和定量措施。最终，拟议的方法提供了AVS的正式道路审批程序的当局。特别是，拟议的方法将支持新加坡土地运输机构进行AVS的道路批准。

Making safe and human-like decisions is an essential capability of autonomous driving systems and learning-based behavior planning is a promising pathway toward this objective. Distinguished from existing learning-based methods that directly output decisions, this work introduces a predictive behavior planning framework that learns to predict and evaluate from human driving data. Concretely, a behavior generation module first produces a diverse set of candidate behaviors in the form of trajectory proposals. Then the proposed conditional motion prediction network is employed to forecast other agents' future trajectories conditioned on each trajectory proposal. Given the candidate plans and associated prediction results, we learn a scoring module to evaluate the plans using maximum entropy inverse reinforcement learning (IRL). We conduct comprehensive experiments to validate the proposed framework on a large-scale real-world urban driving dataset. The results reveal that the conditional prediction model is able to forecast multiple possible future trajectories given a candidate behavior and the prediction results are reactive to different plans. Moreover, the IRL-based scoring module can properly evaluate the trajectory proposals and select close-to-human ones. The proposed framework outperforms other baseline methods in terms of similarity to human driving trajectories. Moreover, we find that the conditional prediction model can improve both prediction and planning performance compared to the non-conditional model, and learning the scoring module is critical to correctly evaluating the candidate plans to align with human drivers.

行人在场的运动控制算法对于开发安全可靠的自动驾驶汽车（AV）至关重要。传统运动控制算法依赖于手动设计的决策政策，这些政策忽略了AV和行人之间的相互作用。另一方面，深度强化学习的最新进展允许在没有手动设计的情况下自动学习政策。为了解决行人在场的决策问题，作者介绍了一个基于社会价值取向和深入强化学习（DRL）的框架，该框架能够以不同的驾驶方式生成决策政策。该政策是在模拟环境中使用最先进的DRL算法培训的。还引入了适合DRL训练的新型计算效率的行人模型。我们执行实验以验证我们的框架，并对使用两种不同的无模型深钢筋学习算法获得的策略进行了比较分析。模拟结果表明，开发的模型如何表现出自然的驾驶行为，例如短暂的驾驶行为，以促进行人的穿越。

即将开发我们呼叫所体现的系统的新一代越来越自主和自学习系统。在将这些系统部署到真实上下文中，我们面临各种工程挑战，因为它以有益的方式协调所体现的系统的行为至关重要，确保他们与我们以人为本的社会价值观的兼容性，并且设计可验证安全可靠的人类-Machine互动。我们正在争辩说，引发系统工程将来自嵌入到体现系统的温室，并确保动态联合的可信度，这种情况意识到的情境意识，意图，探索，探险，不断发展，主要是不可预测的，越来越自主的体现系统在不确定，复杂和不可预测的现实世界环境中。我们还识别了许多迫切性的系统挑战，包括可信赖的体现系统，包括强大而人为的AI，认知架构，不确定性量化，值得信赖的自融化以及持续的分析和保证。

难以理解的AI系统很难信任，尤其是当它们在自动驾驶（例如自动驾驶）等安全环境中运行时。因此，有必要建立透明且可查询的系统以提高信任水平。我们提出了一种基于现有的称为IGP2的现有白盒系统的自动驾驶汽车运动计划和预测的透明，以人为中心的解释生成方法。我们的方法将贝叶斯网络与无上下文生成规则相结合，并可以为自动驾驶汽车的高级驾驶行为提供因果自然语言解释。对模拟方案的初步测试表明，我们的方法捕获了自动驾驶汽车行动背后的原因，并产生了具有不同复杂性的可理解解释。