安全关键系统通常在调试之前进行危害分析，以识别和分析操作过程中可能出现的潜在危险系统状态。当前，危害分析主要基于人类的推理，过去的经验以及清单和电子表格等简单工具。增加系统复杂性使这种方法非常合适。此外，由于高成本或身体缺陷的危险，基于测试的危害分析通常不适合。对此进行的补救措施是基于模型的危害分析方法，这些方法依赖于正式模型或模拟模型，每个模型都具有自己的好处和缺点。本文提出了一种两层方法，该方法使用正式方法与使用模拟的详细分析结合了详尽分析的好处。首先使用监督控制理论从系统的形式模型中合成了导致不安全状态的不安全行为。结果是输入到模拟的输入，在该模拟中，使用域特异性风险指标进行了详细的分析。尽管提出的方法通常适用，但本文证明了该方法对工业人类机器人协作系统的好处。

我们介绍了一种新的基于模拟的方法，以识别人类机器人协作中意外的工人行为导致的危害。基于仿真的安全测试必须考虑到人类行为是变量的事实，并且可能发生人为错误。当仅模拟预期的工人行为时，严重的危险可以保持未被发现。另一方面，模拟所有可能的工人行为是计算不可行的。这提出了如何找到有趣数量的模拟运行的有趣（即潜在危险的）工作行为的问题。我们将其框架作为可能的工人行为的空间中的搜索问题。因为这个搜索空间可以得到非常复杂的，我们介绍以下措施：（1）基于工作流约束的搜索空间限制，（2）行为的优先级，基于它们偏离标称行为，（3）使用风险指标指导寻求高风险行为，这更有可能暴露危险。我们在协作工作流程中展示了涉及人工工人，机器人臂和移动机器人的协作工作流程方案的方法。

作为工业机器人的一般趋势，正在开发或重新设计的安全功能越来越多的安全功能，而不是通过安全继电器或互锁电路等物理硬件处理。这一趋势强化了补充基于传统，基于输入的测试和质量手术的重要性，这些测试和质量程序在今天广泛应用于行业，具有正式的验证和模型检查方法。为此，本文侧重于ABB工业涂料机器人中的代表性安全关键系统，即高压静电控制系统（HVC）。 HVC产生的高压的实际收敛性，对于安全操作必不可少，使用新颖的和一般共同验证框架正式验证，其中硬件和软件模型通过平台映射相关。这种方法使得具有高度多样化和专业的工具的务实组合。本文的主要贡献包括有关如何在工具之间传输硬件抽象和验证结果的详细信息，以便验证系统级安全性。值得注意的是，本文中考虑的HVC应用程序具有相当通用的反馈控制器形式。因此，这里报告的共同验证框架和经验对跟踪设定值引用的任何网络物理系统也非常相关。

行为树（BT）是一种在自主代理中（例如机器人或计算机游戏中的虚拟实体）之间在不同任务之间进行切换的方法。 BT是创建模块化和反应性的复杂系统的一种非常有效的方法。这些属性在许多应用中至关重要，这导致BT从计算机游戏编程到AI和机器人技术的许多分支。在本书中，我们将首先对BTS进行介绍，然后我们描述BTS与早期切换结构的关系，并且在许多情况下如何概括。然后，这些想法被用作一套高效且易于使用的设计原理的基础。安全性，鲁棒性和效率等属性对于自主系统很重要，我们描述了一套使用BTS的状态空间描述正式分析这些系统的工具。借助新的分析工具，我们可以对BTS如何推广早期方法的形式形式化。我们还显示了BTS在自动化计划和机器学习中的使用。最后，我们描述了一组扩展的工具，以捕获随机BT的行为，其中动作的结果由概率描述。这些工具可以计算成功概率和完成时间。

本文研究了黑盒安全测试配置中基于方案的安全测试算法。对于与不同采样分布共享相同州行动集覆盖的算法，通常认为优先考虑探索高风险状态现象会提高采样效率。我们的提案通过引入不可能的定理来对上述直觉提出异议，该定理可证明显示上述差异的所有安全测试算法，同样具有相同的预期采样效率。此外，对于涵盖不同状态活动集的测试算法，采样效率标准不再适用，因为不同的算法不一定会收敛到相同的终止条件。然后，我们提出了基于几乎安全集合概念的测试攻击性定义，以及一种无偏和有效的算法，比较了测试算法之间的侵略性。还提出了来自两足球运动控制器和车辆决策模块的安全测试的经验观察，以支持提出的理论意义和方法。

在AI研究中，合成动作计划通常使用了抽象地指定由于动作而导致的动作的描述性模型，并针对有效计算状态转换来定制。然而，执行计划的动作已经需要运行模型，其中使用丰富的计算控制结构和闭环在线决策来指定如何在非预定的执行上下文中执行动作，对事件作出反应并适应展开情况。整合行动和规划的审议演员通常需要将这两种模型一起使用 - 在尝试开发不同的型号时会导致问题，验证它们的一致性，并顺利交错和规划。作为替代方案，我们定义和实施综合作用和规划系统，其中规划和行为使用相同的操作模型。这些依赖于提供丰富的控制结构的分层任务导向的细化方法。称为反应作用发动机（RAE）的作用组件由众所周知的PRS系统启发。在每个决定步骤中，RAE可以从计划者获取建议，以获得关于效用功能的近乎最佳选择。随时计划使用像UPOM的UCT类似的蒙特卡罗树搜索程序，其推出是演员操作模型的模拟。我们还提供与RAE和UPOM一起使用的学习策略，从在线代理体验和/或模拟计划结果，从决策背景下映射到方法实例以及引导UPOM的启发式函数。我们展示了富豪朝向静态域的最佳方法的渐近融合，并在实验上展示了UPOM和学习策略显着提高了作用效率和鲁棒性。

协作AI系统（CAISS）旨在与共同空间中的人类合作，实现共同目标。这一关键环境产生可能危害人类的危险情况。因此，建立具有符合要求，具体域标准和法规的强保证的这些系统具有最大的重要性。到目前为止，迄今为止仅报告了一些规模的影响，因为许多工作仍有待管理可能的风险。我们在这方面确定了新出现的问题，然后我们向我们的愿景报告，以及我们的多学科研究团队组成的软件/系统和机电一体化工程师的进展，以开发才能开发风险驱动的保证程序。

Autonomous systems are often deployed in complex sociotechnical environments, such as public roads, where they must behave safely and securely. Unlike many traditionally engineered systems, autonomous systems are expected to behave predictably in varying "open world" environmental contexts that cannot be fully specified formally. As a result, assurance about autonomous systems requires us to develop new certification methods and mathematical tools that can bound the uncertainty engendered by these diverse deployment scenarios, rather than relying on static tools.

本研究提出了一种具有动态障碍物和不均匀地形的部分可观察环境中的BipeDal运动的安全任务和运动计划（夯实）的分层综合框架。高级任务规划师采用线性时间逻辑（LTL），用于机器人及其环境之间的反应游戏合成，并为导航安全和任务完成提供正式保证。为了解决环境部分可观察性，在高级导航计划者采用信仰抽象，以估计动态障碍的位置。因此，合成的动作规划器向中级运动规划器发送一组运动动作，同时基于运动过程的阶数模型（ROM）结合从安全定理提取的安全机置规范。运动计划程序采用ROM设计安全标准和采样算法，以生成准确跟踪高级动作的非周期性运动计划。为了解决外部扰动，本研究还调查了关键帧运动状态的安全顺序组成，通过可达性分析实现了对外部扰动的强大转变。最终插值一组基于ROM的超参数，以设计由轨迹优化生成的全身运动机器，并验证基于ROM的可行部署，以敏捷机器人设计的20多个自由的Cassie机器人。

Besides the recent impressive results on reinforcement learning (RL), safety is still one of the major research challenges in RL. RL is a machine-learning approach to determine near-optimal policies in Markov decision processes (MDPs). In this paper, we consider the setting where the safety-relevant fragment of the MDP together with a temporal logic safety specification is given and many safety violations can be avoided by planning ahead a short time into the future. We propose an approach for online safety shielding of RL agents. During runtime, the shield analyses the safety of each available action. For any action, the shield computes the maximal probability to not violate the safety specification within the next $k$ steps when executing this action. Based on this probability and a given threshold, the shield decides whether to block an action from the agent. Existing offline shielding approaches compute exhaustively the safety of all state-action combinations ahead of time, resulting in huge computation times and large memory consumption. The intuition behind online shielding is to compute at runtime the set of all states that could be reached in the near future. For each of these states, the safety of all available actions is analysed and used for shielding as soon as one of the considered states is reached. Our approach is well suited for high-level planning problems where the time between decisions can be used for safety computations and it is sustainable for the agent to wait until these computations are finished. For our evaluation, we selected a 2-player version of the classical computer game SNAKE. The game represents a high-level planning problem that requires fast decisions and the multiplayer setting induces a large state space, which is computationally expensive to analyse exhaustively.

基于联系的决策和规划方法越来越重要，无法为腿机器人提供更高的自主性。源自符号系统的正式合成方法具有巨大的推理潜力，了解高级机器决策，并以正确的担保实现复杂的机动行动。本研究迈出了一种正式设计由受约束和动态变化环境中的任务规划和控制全身动态运动行为的架构组成的架构。在高级别，我们在多肢运动策划器和其动态环境之间制定了两个玩家时间逻辑游戏，以综合提供符号机置操作的获胜策略。这些运动动作满足时间逻辑片段中的所需高级任务规范。这些操作被发送到强大的有限转换系统，该过渡系统合成了满足状态可达性限制的运动控制器。该控制器进一步通过低级运动规划器执行，所述低级运动计划产生可行的机器人轨迹。我们构建一组动态运动模型，可用于腿机器人，作为用于处理各种环境事件的模板库。我们设计了一种重新调整策略，考虑到突然的环境变化或大状态干扰，以增加所产生的机器行为的鲁棒性。我们正式证明分层运动框架的正确性，保证了运动规划层的强大实现。在各种环境中的反应运动行为模拟表明我们的框架具有潜在的智能机置行为的理论基础。

随着自主系统成为我们日常生活的一部分，确保其信任度至关重要。有许多用于证明可信赖性的技术。所有这些技术的共同点是需要阐明规格。在本文中，我们对规格进行了广泛的看法，专注于顶级要求，包括但不限于功能，安全性，安全性和其他非功能性属性。本文的主要贡献是对于与指定可信度相关的自主系统社区的一系列高级智力挑战。我们还描述了有关自主系统的许多应用程序域的独特规范挑战。

在动态和远程环境中，对自主系统的高级自治和鲁棒性的需求促使开发人员提出了新的软件体系结构。一种常见的架构样式是将机器人系统的功能总结为基本动作（称为技能）的功能，在该动作上，在该动作中实施了技能管理层以结构，测试和控制功能层。但是，当前可用的验证工具仅在不复制系统实际执行的模型上提供特定于任务的验证或验证，这使得难以确保其对意外事件的鲁棒性。为此，已经开发出一种工具，即Skinet，以将系统的基于技能的架构转换为Petri网络，以建模技能和资源的状态机器行为。 Petri NET允许使用模型检查，例如线性时间逻辑（LTL）或计算树逻辑（CTL），以供用户分析和验证系统的模型。

在公共道路上大规模的自动车辆部署有可能大大改变当今社会的运输方式。尽管这种追求是在几十年前开始的，但仍有公开挑战可靠地确保此类车辆在开放环境中安全运行。尽管功能安全性是一个完善的概念，但测量车辆行为安全的问题仍然需要研究。客观和计算分析交通冲突的一种方法是开发和利用所谓的关键指标。在与自动驾驶有关的各种应用中，当代方法利用了关键指标的潜力，例如用于评估动态风险或过滤大型数据集以构建方案目录。作为系统地选择适当的批判性指标的先决条件，我们在自动驾驶的背景下广泛回顾了批判性指标，其属性及其应用的现状。基于这篇综述，我们提出了一种适合性分析，作为一种有条不紊的工具，可以由从业者使用。然后，可以利用提出的方法和最新审查的状态来选择涵盖应用程序要求的合理的测量工具，如分析的示例性执行所证明。最终，高效，有效且可靠的衡量自动化车辆安全性能是证明其可信赖性的关键要求。

我们引入了责任感敏感安全性（RSS）的目标延长，这是一种基于规则的自动驾驶系统安全保证（ADS）的方法。制定RSS规则保证目标实现 - 除了原始RSS中的避免碰撞外，还需要进行长时间的操纵序列的复杂计划。为了应对复杂性，我们基于程序逻辑引入了一个构图推理框架，其中可以系统地为较小的子赛车制定RSS规则，并将它们组合起来以获取用于较大场景的RSS规则。作为框架的基础，我们介绍了一个程序逻辑DFHL，可满足连续的动态和安全条件。我们的框架介绍了基于DFHL的工作流程，用于导出目标感知RSS规则；我们也讨论其软件支持。我们在安全体系结构中使用RSS规则进行了实验评估。它的结果表明，目标感知RSS确实有效地实现了避免碰撞和目标实现目标。

在工业机器人附近工作时，人体安全一直是重中之重。随着人类机器人协作环境的兴起，避免碰撞的物理障碍已经消失，增加了事故的风险以及需要确保安全的人类机器人协作的解决方案。本文提出了一个安全系统，该安全系统实现速度和分离监控（SSM）的操作类型。为此，根据工业协作机器人的当前标准，在机器人的工作区中定义了安全区域。基于深度学习的计算机视觉系统可检测，轨道和估计机器人附近的操作员的3D位置。机器人控制系统接收操作员的3D位置，并在模拟环境中生成其3D表示。根据检测到最接近操作员的区域，机器人停止或更改其工作速度。呈现人类和机器人相互作用的三种不同操作模式。结果表明，基于视觉的系统可以正确检测和分类操作员的安全区域，并且不同提出的操作模式确保机器人的反应和停止时间在所需的时间限制之内以确保安全性。

背景信息：在过去几年中，机器学习（ML）一直是许多创新的核心。然而，包括在所谓的“安全关键”系统中，例如汽车或航空的系统已经被证明是非常具有挑战性的，因为ML的范式转变为ML带来完全改变传统认证方法。目的：本文旨在阐明与ML为基础的安全关键系统认证有关的挑战，以及文献中提出的解决方案，以解决它们，回答问题的问题如何证明基于机器学习的安全关键系统？'方法：我们开展2015年至2020年至2020年之间发布的研究论文的系统文献综述（SLR），涵盖了与ML系统认证有关的主题。总共确定了217篇论文涵盖了主题，被认为是ML认证的主要支柱：鲁棒性，不确定性，解释性，验证，安全强化学习和直接认证。我们分析了每个子场的主要趋势和问题，并提取了提取的论文的总结。结果：单反结果突出了社区对该主题的热情，以及在数据集和模型类型方面缺乏多样性。它还强调需要进一步发展学术界和行业之间的联系，以加深域名研究。最后，它还说明了必须在上面提到的主要支柱之间建立连接的必要性，这些主要柱主要主要研究。结论：我们强调了目前部署的努力，以实现ML基于ML的软件系统，并讨论了一些未来的研究方向。

This paper describes Waymo's Collision Avoidance Testing (CAT) methodology: a scenario-based testing method that evaluates the safety of the Waymo Driver Automated Driving Systems' (ADS) intended functionality in conflict situations initiated by other road users that require urgent evasive maneuvers. Because SAE Level 4 ADS are responsible for the dynamic driving task (DDT), when engaged, without immediate human intervention, evaluating a Level 4 ADS using scenario-based testing is difficult due to the potentially infinite number of operational scenarios in which hazardous situations may unfold. To that end, in this paper we first describe the safety test objectives for the CAT methodology, including the collision and serious injury metrics and the reference behavior model representing a non-impaired eyes on conflict human driver used to form an acceptance criterion. Afterward, we introduce the process for identifying potentially hazardous situations from a combination of human data, ADS testing data, and expert knowledge about the product design and associated Operational Design Domain (ODD). The test allocation and execution strategy is presented next, which exclusively utilize simulations constructed from sensor data collected on a test track, real-world driving, or from simulated sensor data. The paper concludes with the presentation of results from applying CAT to the fully autonomous ride-hailing service that Waymo operates in San Francisco, California and Phoenix, Arizona. The iterative nature of scenario identification, combined with over ten years of experience of on-road testing, results in a scenario database that converges to a representative set of responder role scenarios for a given ODD. Using Waymo's virtual test platform, which is calibrated to data collected as part of many years of ADS development, the CAT methodology provides a robust and scalable safety evaluation.

在以并发方式解决团队范围的任务时，多机构系统可能非常有效。但是，如果没有正确的同步，则很难保证合并行为的正确性，例如遵循子任务的特定顺序或同时进行协作。这项工作解决了在复杂的全球任务下，将最低时间的任务计划问题称为线性时间逻辑（LTL）公式。这些任务包括独立本地动作和直接子团队合作的时间和空间要求。提出的解决方案是一种随时随地的算法，结合了对任务分解的基础任务自动机的部分顺序分析，以及用于任务分配的分支和绑定（BNB）搜索方法。提供最小的完成时间的合理性，完整性和最佳性分析。还表明，在搜索范围内持续在时间预算之内，可以迅速达成可行且近乎最佳的解决方案。此外，为了处理在线执行期间任务持续时间和代理失败的波动，提出了适应算法来同步执行状态并动态地重新分配未完成的子任务以保持正确性和最佳性。两种算法通过数值模拟和硬件实验在大规模系统上进行了严格的验证，该算法对几个强基地进行了验证。

船上自治技术，如规划和调度，识别科学目标和基于内容的数据摘要，将导致令人兴奋的新空间科学任务。然而，尚未研究具有此类船上自治能力的经营任务的挑战，这是足以在使命概念中考虑的细节水平。这些自主功能需要更改当前的操作流程，实践和工具。我们制定了一个案例研究，以评估使运营商和科学家通过促进地面人员和车载算法之间的共同模型来运营自主航天器所需的变化。我们评估使运营商和科学家能够向航天器传达所需的新的操作工具和工作流程，并能够重建和解释船上和航天器状态的决定。这些工具的模型用于用户学习，了解过程和工具在实现共享理解框架方面的有效性，以及在运营商和科学家有效实现特派团科学目标的能力。