This paper describes Waymo's Collision Avoidance Testing (CAT) methodology: a scenario-based testing method that evaluates the safety of the Waymo Driver Automated Driving Systems' (ADS) intended functionality in conflict situations initiated by other road users that require urgent evasive maneuvers. Because SAE Level 4 ADS are responsible for the dynamic driving task (DDT), when engaged, without immediate human intervention, evaluating a Level 4 ADS using scenario-based testing is difficult due to the potentially infinite number of operational scenarios in which hazardous situations may unfold. To that end, in this paper we first describe the safety test objectives for the CAT methodology, including the collision and serious injury metrics and the reference behavior model representing a non-impaired eyes on conflict human driver used to form an acceptance criterion. Afterward, we introduce the process for identifying potentially hazardous situations from a combination of human data, ADS testing data, and expert knowledge about the product design and associated Operational Design Domain (ODD). The test allocation and execution strategy is presented next, which exclusively utilize simulations constructed from sensor data collected on a test track, real-world driving, or from simulated sensor data. The paper concludes with the presentation of results from applying CAT to the fully autonomous ride-hailing service that Waymo operates in San Francisco, California and Phoenix, Arizona. The iterative nature of scenario identification, combined with over ten years of experience of on-road testing, results in a scenario database that converges to a representative set of responder role scenarios for a given ODD. Using Waymo's virtual test platform, which is calibrated to data collected as part of many years of ADS development, the CAT methodology provides a robust and scalable safety evaluation.

关键应用程序中机器学习（ML）组件的集成引入了软件认证和验证的新挑战。正在开发新的安全标准和技术准则，以支持基于ML的系统的安全性，例如ISO 21448 SOTIF用于汽车域名，并保证机器学习用于自主系统（AMLAS）框架。 SOTIF和AMLA提供了高级指导，但对于每个特定情况，必须将细节凿出来。我们启动了一个研究项目，目的是证明开放汽车系统中ML组件的完整安全案例。本文报告说，Smikk的安全保证合作是由行业级别的行业合作的，这是一个基于ML的行人自动紧急制动示威者，在行业级模拟器中运行。我们演示了AMLA在伪装上的应用，以在简约的操作设计域中，即，我们为其基于ML的集成组件共享一个完整的安全案例。最后，我们报告了经验教训，并在开源许可下为研究界重新使用的开源许可提供了傻笑和安全案例。

在公共道路上大规模的自动车辆部署有可能大大改变当今社会的运输方式。尽管这种追求是在几十年前开始的，但仍有公开挑战可靠地确保此类车辆在开放环境中安全运行。尽管功能安全性是一个完善的概念，但测量车辆行为安全的问题仍然需要研究。客观和计算分析交通冲突的一种方法是开发和利用所谓的关键指标。在与自动驾驶有关的各种应用中，当代方法利用了关键指标的潜力，例如用于评估动态风险或过滤大型数据集以构建方案目录。作为系统地选择适当的批判性指标的先决条件，我们在自动驾驶的背景下广泛回顾了批判性指标，其属性及其应用的现状。基于这篇综述，我们提出了一种适合性分析，作为一种有条不紊的工具，可以由从业者使用。然后，可以利用提出的方法和最新审查的状态来选择涵盖应用程序要求的合理的测量工具，如分析的示例性执行所证明。最终，高效，有效且可靠的衡量自动化车辆安全性能是证明其可信赖性的关键要求。

汽车行业在过去几十年中见证了越来越多的发展程度;从制造手动操作车辆到具有高自动化水平的制造车辆。随着近期人工智能（AI）的发展，汽车公司现在雇用BlackBox AI模型来使车辆能够感知其环境，并使人类少或没有输入的驾驶决策。希望能够在商业规模上部署自治车辆（AV），通过社会接受AV成为至关重要的，并且可能在很大程度上取决于其透明度，可信度和遵守法规的程度。通过为AVS行为的解释提供对这些接受要求的遵守对这些验收要求的评估。因此，解释性被视为AVS的重要要求。 AV应该能够解释他们在他们运作的环境中的“见到”。在本文中，我们对可解释的自动驾驶的现有工作体系进行了全面的调查。首先，我们通过突出显示并强调透明度，问责制和信任的重要性来开放一个解释的动机;并审查与AVS相关的现有法规和标准。其次，我们识别并分类了参与发展，使用和监管的不同利益相关者，并引出了AV的解释要求。第三，我们对以前的工作进行了严格的审查，以解释不同的AV操作（即，感知，本地化，规划，控制和系统管理）。最后，我们确定了相关的挑战并提供建议，例如AV可解释性的概念框架。该调查旨在提供对AVS中解释性感兴趣的研究人员所需的基本知识。

自动化驾驶系统（ADSS）近年来迅速进展。为确保这些系统的安全性和可靠性，在未来的群心部署之前正在进行广泛的测试。测试道路上的系统是最接近真实世界和理想的方法，但它非常昂贵。此外，使用此类现实世界测试覆盖稀有角案件是不可行的。因此，一种流行的替代方案是在一些设计精心设计的具有挑战性场景中评估广告的性能，A.k.a.基于场景的测试。高保真模拟器已广泛用于此设置中，以最大限度地提高测试的灵活性和便利性 - 如果发生的情况。虽然已经提出了许多作品，但为测试特定系统提供了各种框架/方法，但这些作品之间的比较和连接仍然缺失。为了弥合这一差距，在这项工作中，我们在高保真仿真中提供了基于场景的测试的通用制定，并对现有工作进行了文献综述。我们进一步比较了它们并呈现开放挑战以及潜在的未来研究方向。

本报告介绍了Waymo关于系统疲劳风险管理框架的建议，该框架解决了在ADS技术的公路测试期间疲劳诱导的风险的预防，监测和缓解。所提出的框架仍然可以灵活地纳入持续的改进，并受到最先进的实践，研究，学习和经验的信息（内部和外部的Waymo）。疲劳是涉及人类驾驶员的大部分公路撞车事故的公认因素，缓解疲劳引起的风险仍然是全球研究的公开关注。虽然提出的框架是专门针对SAE 4级广告技术的公路测试而设计的，但它对较低的自动化也具有含义和适用性。

自主系统（AS）越来越多地提出或在安全关键（SC）应用中使用，例如公路车辆。许多这样的系统利用复杂的传感器套件和处理来提供场景理解，从而使“决策”（例如路径计划）提供了信息。传感器处理通常利用机器学习（ML），并且必须在具有挑战性的环境中工作，此外，ML算法具有已知的局限性，例如，对象分类中错误的负面因素或假阳性的可能性。为常规SC系统开发的完善的安全分析方法与AS使用的AS，ML或传感系统没有很好的匹配。本文提出了适应良好的安全分析方法的适应，以解决AS的传感系统的细节，包括解决环境效应和ML的潜在故障模式，并为选择特定的指南或提示集提供了理由。安全分析。它继续展示了如何使用分析结果来告知AS系统的设计和验证，并通过对移动机器人进行部分分析来说明新方法。本文中的插图主要基于光学传感，但是本文讨论了该方法对其他感应方式的适用性及其在更广泛的安全过程中的作用，以解决AS的整体功能

知识表示和推理有悠久的历史，即研究如何通过机器对知识进行形式化，解释和语义分析。在自动化车辆领域，最近的进步表明，能够将相关知识形式化和利用相关知识作为处理交通界固有且复杂的环境的关键推动者。本文证明了本体论是a）对自动车辆环境中与关键相关的因素进行建模和形式化的强大工具。为此，我们利用著名的6层模型来创建环境环境的形式表示。在此表示形式中，本体论将域知识模型为逻辑公理，从而促进交通场景和场景中的关键因素的存在。为了执行自动分析，将联合描述逻辑和规则推理器与A-Priori谓词增强结合使用。我们详细介绍了模块化方法，提出了公开可用的实施，并通过大规模的无人机数据集评估了该方法的城市交通情况。

通过实现灵活的按需系统，预计自动车辆（AVS）将增加交通安全和交通效率等。这在新加坡尤其重要，是世界上最稠密的国家之一，这就是为什么新加坡当局目前正在积极促进AVS的部署。但是，由于正式的AV路公路审批程序所需所需。为此，提出了一种安全评估框架，这与基于交通场景的方法相结合了标准化功能安全设计方法的方面。后者涉及使用驱动数据来提取AV相关的流量方案。底层方法基于将场景分解为基本事件，随后的场景参数化和采样场景参数的估计概率密度函数来创建测试场景。随后，由此产生的测试场景用于模拟环境中的虚拟测试，并在证明地面和现实生活中进行物理测试。结果，所提出的评估管线因此由于基于模拟的方法而在相对短的时间帧中为AV性能提供统计相关和定量措施。最终，拟议的方法提供了AVS的正式道路审批程序的当局。特别是，拟议的方法将支持新加坡土地运输机构进行AVS的道路批准。

船上自治技术，如规划和调度，识别科学目标和基于内容的数据摘要，将导致令人兴奋的新空间科学任务。然而，尚未研究具有此类船上自治能力的经营任务的挑战，这是足以在使命概念中考虑的细节水平。这些自主功能需要更改当前的操作流程，实践和工具。我们制定了一个案例研究，以评估使运营商和科学家通过促进地面人员和车载算法之间的共同模型来运营自主航天器所需的变化。我们评估使运营商和科学家能够向航天器传达所需的新的操作工具和工作流程，并能够重建和解释船上和航天器状态的决定。这些工具的模型用于用户学习，了解过程和工具在实现共享理解框架方面的有效性，以及在运营商和科学家有效实现特派团科学目标的能力。

在迅速增长的海上风电场市场中出现了增加风力涡轮机尺寸和距离的全球趋势。在英国，海上风电业于2019年生产了英国最多的电力，前一年增加了19.6％。目前，英国将进一步增加产量，旨在增加安装的涡轮机容量74.7％，如最近的冠村租赁轮次反映。通过如此巨大的增长，该部门现在正在寻求机器人和人工智能（RAI），以解决生命周期服务障碍，以支持可持续和有利可图的海上风能生产。如今，RAI应用主要用于支持运营和维护的短期目标。然而，前进，RAI在海上风基础设施的全部生命周期中有可能发挥关键作用，从测量，规划，设计，物流，运营支持，培训和退役。本文介绍了离岸可再生能源部门的RAI的第一个系统评论之一。在当前和未来的要求方面，在行业和学术界的离岸能源需求分析了rai的最先进的。我们的评论还包括对支持RAI的投资，监管和技能开发的详细评估。通过专利和学术出版数据库进行详细分析确定的关键趋势，提供了对安全合规性和可靠性的自主平台认证等障碍的见解，这是自主车队中可扩展性的数字架构，适应性居民运营和优化的适应性规划人机互动对人与自治助理的信赖伙伴关系。

当代机器人主义者的主要目标之一是使智能移动机器人能够在共享的人类机器人环境中平稳运行。为此目标服务的最基本必要的功能之一是在这种“社会”背景下有效的导航。结果，最近的一般社会导航的研究激增，尤其是如何处理社会导航代理之间的冲突。这些贡献介绍了各种模型，算法和评估指标，但是由于该研究领域本质上是跨学科的，因此许多相关论文是不可比较的，并且没有共同的标准词汇。这项调查的主要目标是通过引入这种通用语言，使用它来调查现有工作并突出开放问题来弥合这一差距。它首先定义社会导航的冲突，并提供其组成部分的详细分类学。然后，这项调查将现有工作映射到了本分类法中，同时使用其框架讨论论文。最后，本文提出了一些未来的研究方向和开放问题，这些方向目前正在社会导航的边界，以帮助集中于正在进行的和未来的研究。

即将开发我们呼叫所体现的系统的新一代越来越自主和自学习系统。在将这些系统部署到真实上下文中，我们面临各种工程挑战，因为它以有益的方式协调所体现的系统的行为至关重要，确保他们与我们以人为本的社会价值观的兼容性，并且设计可验证安全可靠的人类-Machine互动。我们正在争辩说，引发系统工程将来自嵌入到体现系统的温室，并确保动态联合的可信度，这种情况意识到的情境意识，意图，探索，探险，不断发展，主要是不可预测的，越来越自主的体现系统在不确定，复杂和不可预测的现实世界环境中。我们还识别了许多迫切性的系统挑战，包括可信赖的体现系统，包括强大而人为的AI，认知架构，不确定性量化，值得信赖的自融化以及持续的分析和保证。

While the capabilities of autonomous systems have been steadily improving in recent years, these systems still struggle to rapidly explore previously unknown environments without the aid of GPS-assisted navigation. The DARPA Subterranean (SubT) Challenge aimed to fast track the development of autonomous exploration systems by evaluating their performance in real-world underground search-and-rescue scenarios. Subterranean environments present a plethora of challenges for robotic systems, such as limited communications, complex topology, visually-degraded sensing, and harsh terrain. The presented solution enables long-term autonomy with minimal human supervision by combining a powerful and independent single-agent autonomy stack, with higher level mission management operating over a flexible mesh network. The autonomy suite deployed on quadruped and wheeled robots was fully independent, freeing the human supervision to loosely supervise the mission and make high-impact strategic decisions. We also discuss lessons learned from fielding our system at the SubT Final Event, relating to vehicle versatility, system adaptability, and re-configurable communications.

自动驾驶在过去十年中取得了重大的研究和发展中的重要里程碑。在道路上的自动车辆部署时，对该领域的兴趣越来越令人兴趣，承诺更安全，更生态的运输系统。随着计算强大的人工智能（AI）技术的兴起，自动车辆可以用高精度感测它们的环境，进行安全的实时决策，并在没有人类干预的情况下更可靠地运行。然而，在现有技术中，人类智能决策通常不可能理解，这种缺陷阻碍了这种技术在社会上可接受。因此，除了制造安全的实时决策之外，自治车辆的AI系统还需要解释如何构建这些决策，以便在许多司法管辖区兼容监管。我们的研究在开发可解释的人工智能（XAI）的自治车辆方法上阐明了全面的光芒。特别是，我们做出以下贡献。首先，我们在最先进的自主车辆行业的解释方面彻底概述了目前的差距。然后，我们显示了该领域的解释和解释接收器的分类。第三，我们为端到端自主驾驶系统的架构提出了一个框架，并证明了Xai在调试和调节这些系统中的作用。最后，作为未来的研究方向，我们提供了XAI自主驾驶方法的实地指南，可以提高运营安全性和透明度，以实现监管机构，制造商和所有参与利益相关者的公共批准。

自动驾驶汽车和卡车，自动车辆（AVS）不应被监管机构和公众接受，直到它们对安全性和可靠性有更高的信心 - 这可以通过测试最实际和令人信服地实现。但是，现有的测试方法不足以检查AV控制器的端到端行为，涉及与诸如行人和人机车辆等多个独立代理的交互的复杂，现实世界的角落案件。在街道和高速公路上的测试驾驶AVS无法捕获许多罕见的事件时，现有的基于仿真的测试方法主要关注简单的情景，并且不适合需要复杂的周围环境的复杂驾驶情况。为了解决这些限制，我们提出了一种新的模糊测试技术，称为AutoFuzz，可以利用广泛使用的AV模拟器的API语法。生成语义和时间有效的复杂驾驶场景（场景序列）。 AutoFuzz由API语法的受限神经网络（NN）进化搜索引导，以生成寻求寻找独特流量违规的方案。评估我们的原型基于最先进的学习的控制器，两个基于规则的控制器和一个工业级控制器，显示了高保真仿真环境中高效地找到了数百个流量违规。此外，通过AutoFuzz发现的基于学习的控制器进行了微调的控制器，成功减少了新版本的AV控制器软件中发现的流量违规。

本文介绍了Cerberus机器人系统系统，该系统赢得了DARPA Subterranean挑战最终活动。出席机器人自主权。由于其几何复杂性，降解的感知条件以及缺乏GPS支持，严峻的导航条件和拒绝通信，地下设置使自动操作变得特别要求。为了应对这一挑战，我们开发了Cerberus系统，该系统利用了腿部和飞行机器人的协同作用，再加上可靠的控制，尤其是为了克服危险的地形，多模式和多机器人感知，以在传感器退化，以及在传感器退化的条件下进行映射以及映射通过统一的探索路径计划和本地运动计划，反映机器人特定限制的弹性自主权。 Cerberus基于其探索各种地下环境及其高级指挥和控制的能力，表现出有效的探索，对感兴趣的对象的可靠检测以及准确的映射。在本文中，我们报告了DARPA地下挑战赛的初步奔跑和最终奖项的结果，并讨论了为社区带来利益的教训所面临的亮点和挑战。

The last decade witnessed increasingly rapid progress in self-driving vehicle technology, mainly backed up by advances in the area of deep learning and artificial intelligence. The objective of this paper is to survey the current state-of-the-art on deep learning technologies used in autonomous driving. We start by presenting AI-based self-driving architectures, convolutional and recurrent neural networks, as well as the deep reinforcement learning paradigm. These methodologies form a base for the surveyed driving scene perception, path planning, behavior arbitration and motion control algorithms. We investigate both the modular perception-planning-action pipeline, where each module is built using deep learning methods, as well as End2End systems, which directly map sensory information to steering commands. Additionally, we tackle current challenges encountered in designing AI architectures for autonomous driving, such as their safety, training data sources and computational hardware. The comparison presented in this survey helps to gain insight into the strengths and limitations of deep learning and AI approaches for autonomous driving and assist with design choices. 1

背景信息：在过去几年中，机器学习（ML）一直是许多创新的核心。然而，包括在所谓的“安全关键”系统中，例如汽车或航空的系统已经被证明是非常具有挑战性的，因为ML的范式转变为ML带来完全改变传统认证方法。目的：本文旨在阐明与ML为基础的安全关键系统认证有关的挑战，以及文献中提出的解决方案，以解决它们，回答问题的问题如何证明基于机器学习的安全关键系统？'方法：我们开展2015年至2020年至2020年之间发布的研究论文的系统文献综述（SLR），涵盖了与ML系统认证有关的主题。总共确定了217篇论文涵盖了主题，被认为是ML认证的主要支柱：鲁棒性，不确定性，解释性，验证，安全强化学习和直接认证。我们分析了每个子场的主要趋势和问题，并提取了提取的论文的总结。结果：单反结果突出了社区对该主题的热情，以及在数据集和模型类型方面缺乏多样性。它还强调需要进一步发展学术界和行业之间的联系，以加深域名研究。最后，它还说明了必须在上面提到的主要支柱之间建立连接的必要性，这些主要柱主要主要研究。结论：我们强调了目前部署的努力，以实现ML基于ML的软件系统，并讨论了一些未来的研究方向。

保证案件提出了一个明确且可辩护的论点，并得到证据支持，即系统将按照特定情况下的意图运行。通常，保证案例提出了一个论点，即系统在其预期的上下文中将是安全的。值得信赖的AI研究社区中的一项新兴建议是扩展和应用这种方法，以保证使用AI系统或自治系统（AI/AS）在特定情况下将是可接受的道德。在本文中，我们进一步提出了这一建议。我们通过为AI/AS提供基于原则的道德保证（PBEA）论点模式来做到这一点。 PBEA参数模式为推理给定AI/AS的整体道德可接受性提供了一个框架，它可能是特定道德保证案例的早期原型模板。构成PBEA论证模式基础的四个核心道德原则是：正义；福利；非遗憾；并尊重个人自主权。在整个过程中，我们将参数模式的阶段连接到AI/作为应用程序的示例。这有助于显示其最初的合理性。