Many autonomous agents, such as intelligent vehicles, are inherently required to interact with one another. Game theory provides a natural mathematical tool for robot motion planning in such interactive settings. However, tractable algorithms for such problems usually rely on a strong assumption, namely that the objectives of all players in the scene are known. To make such tools applicable for ego-centric planning with only local information, we propose an adaptive model-predictive game solver, which jointly infers other players' objectives online and computes a corresponding generalized Nash equilibrium (GNE) strategy. The adaptivity of our approach is enabled by a differentiable trajectory game solver whose gradient signal is used for maximum likelihood estimation (MLE) of opponents' objectives. This differentiability of our pipeline facilitates direct integration with other differentiable elements, such as neural networks (NNs). Furthermore, in contrast to existing solvers for cost inference in games, our method handles not only partial state observations but also general inequality constraints. In two simulated traffic scenarios, we find superior performance of our approach over both existing game-theoretic methods and non-game-theoretic model-predictive control (MPC) approaches. We also demonstrate our approach's real-time planning capabilities and robustness in two hardware experiments.

游戏理论运动计划者是控制多个高度交互式机器人系统的有效解决方案。大多数现有的游戏理论规划师不切实际地假设所有代理都可以使用先验的目标功能知识。为了解决这个问题，我们提出了一个容忍度的退缩水平游戏理论运动计划者，该计划者利用了与意图假设的可能性相互交流。具体而言，机器人传达其目标函数以结合意图。离散的贝叶斯过滤器旨在根据观察到的轨迹与传达意图的轨迹之间的差异来实时推断目标。在仿真中，我们考虑了三种安全至关重要的自主驾驶场景，即超车，车道交叉和交叉点，以证明我们计划者在存在通信网络中存在错误的传输情况下利用替代意图假设来产生安全轨迹的能力。

尽管动态游戏为建模代理的互动提供了丰富的范式，但为现实世界应用程序解决这些游戏通常具有挑战性。许多现实的交互式设置涉及一般的非线性状态和输入约束，它们彼此之间的决策相结合。在这项工作中，我们使用约束的游戏理论框架开发了一个高效且快速的计划者，用于在受限设置中进行交互式计划。我们的关键见解是利用代理的目标和约束功能的特殊结构，这些功能在多代理交互中进行快速和可靠的计划。更确切地说，我们确定了代理成本功能的结构，在该结构下，由此产生的动态游戏是受约束潜在动态游戏的实例。受限的潜在动态游戏是一类游戏，而不是解决一组耦合的约束最佳控制问题，而是通过解决单个约束最佳控制问题来找到NASH平衡。这简化了限制的交互式轨迹计划。我们比较了涉及四个平面代理的导航设置中方法的性能，并表明我们的方法平均比最先进的速度快20倍。我们进一步在涉及一个四型和两个人的导航设置中对我们提出的方法提供了实验验证。

Dynamic game arises as a powerful paradigm for multi-robot planning, for which safety constraint satisfaction is crucial. Constrained stochastic games are of particular interest, as real-world robots need to operate and satisfy constraints under uncertainty. Existing methods for solving stochastic games handle chance constraints using exponential penalties with hand-tuned weights. However, finding a suitable penalty weight is nontrivial and requires trial and error. In this paper, we propose the chance-constrained iterative linear-quadratic stochastic games (CCILQGames) algorithm. CCILQGames solves chance-constrained stochastic games using the augmented Lagrangian method. We evaluate our algorithm in three autonomous driving scenarios, including merge, intersection, and roundabout. Experimental results and Monte Carlo tests show that CCILQGames can generate safe and interactive strategies in stochastic environments.

我们研究了覆盖的阶段 - 避免多个代理的动态游戏，其中多个代理相互作用，并且每种希望满足不同的目标条件，同时避免失败状态。 Reach-避免游戏通常用于表达移动机器人运动计划中发现的安全关键最优控制问题。虽然这些运动计划问题存在各种方法，但我们专注于找到时间一致的解决方案，其中计划未来的运动仍然是最佳的，尽管先前的次优行动。虽然摘要，时间一致性封装了一个非常理想的财产：即使机器人早期从计划发出的机器人的运动发散，即，由于例如内在的动态不确定性或外在环境干扰，即使机器人的运动分歧，时间一致的运动计划也保持最佳。我们的主要贡献是一种计算 - 避免多种代理的算法算法，避免呈现时间一致的解决方案。我们展示了我们在两位和三位玩家模拟驾驶场景中的方法，其中我们的方法为所有代理商提供了安全控制策略。

在多游戏设置中运行的机器人必须同时对共享环境的人类或机器人代理的环境和行为进行建模。通常使用同时定位和映射（SLAM）进行这种建模；但是，SLAM算法通常忽略了多人相互作用。相比之下，运动计划文献经常使用动态游戏理论来在具有完美本地化的已知环境中明确对多个代理的非合作相互作用进行建模。在这里，我们介绍了GTP-Slam，这是一种基于迭代最佳响应的小说最佳SLAM算法，可以准确执行状态定位和映射重建，同时使用游戏理论先验来捕获未知场景中多个代理之间固有的非合作互动。通过将基本的大满贯问题作为潜在游戏，我们继承了强有力的融合保证。经验结果表明，当部署在现实的交通模拟中时，我们的方法比在广泛的噪声水平上的标准捆绑捆绑调整算法更准确地进行本地化和映射。

密集的安全导航，城市驾驶环境仍然是一个开放的问题和一个活跃的研究领域。与典型的预测 - 计划方法不同，游戏理论规划考虑了一辆车的计划如何影响另一个车辆的行为。最近的工作表明，在具有非线性目标和约束的普通和游戏中找到当地纳什均衡所需的时间重大改进。当狡辩到驾驶时，这些作品假设场景中的所有车辆一起玩游戏，这可能导致密集流量的难治性计算时间。我们通过假设代理商在他们的观察附近玩游戏的代理商来制定分散的游戏理论规划方法，我们认为我们认为是人类驾驶的更合理的假设。游戏是并行播放的，以进行交互图的所有强烈连接的组件，显着减少了每个游戏中的玩家和约束的数量，从而减少了规划所需的时间。我们证明我们的方法可以通过比较智能驱动程序模型和集中式游戏理论规划在互动数据集中的环形交叉路口时，通过比较智能驱动程序模型和集中式游戏理论规划的性能来实现无碰撞，高效的驾驶。我们的实现可在http://github.com/sisl/decnashplanning获取。

过去半年来，从控制和强化学习社区的真实机器人部署的安全学习方法的贡献数量急剧上升。本文提供了一种简洁的但整体审查，对利用机器学习实现的最新进展，以实现在不确定因素下的安全决策，重点是统一控制理论和加固学习研究中使用的语言和框架。我们的评论包括：基于学习的控制方法，通过学习不确定的动态，加强学习方法，鼓励安全或坚固性的加固学习方法，以及可以正式证明学习控制政策安全的方法。随着基于数据和学习的机器人控制方法继续获得牵引力，研究人员必须了解何时以及如何最好地利用它们在安全势在必行的现实情景中，例如在靠近人类的情况下操作时。我们突出了一些开放的挑战，即将在未来几年推动机器人学习领域，并强调需要逼真的物理基准的基准，以便于控制和加固学习方法之间的公平比较。

We develop a hierarchical controller for head-to-head autonomous racing. We first introduce a formulation of a racing game with realistic safety and fairness rules. A high-level planner approximates the original formulation as a discrete game with simplified state, control, and dynamics to easily encode the complex safety and fairness rules and calculates a series of target waypoints. The low-level controller takes the resulting waypoints as a reference trajectory and computes high-resolution control inputs by solving an alternative formulation with simplified objectives and constraints. We consider two approaches for the low-level planner, constructing two hierarchical controllers. One approach uses multi-agent reinforcement learning (MARL), and the other solves a linear-quadratic Nash game (LQNG) to produce control inputs. The controllers are compared against three baselines: an end-to-end MARL controller, a MARL controller tracking a fixed racing line, and an LQNG controller tracking a fixed racing line. Quantitative results show that the proposed hierarchical methods outperform their respective baseline methods in terms of head-to-head race wins and abiding by the rules. The hierarchical controller using MARL for low-level control consistently outperformed all other methods by winning over 88% of head-to-head races and more consistently adhered to the complex racing rules. Qualitatively, we observe the proposed controllers mimicking actions performed by expert human drivers such as shielding/blocking, overtaking, and long-term planning for delayed advantages. We show that hierarchical planning for game-theoretic reasoning produces competitive behavior even when challenged with complex rules and constraints.

本文开发了一个分布式可区分的动态游戏（DDDG）框架，该框架可以从演示中学习多机器人协调。我们将多机器人协调表示为动态游戏，其中机器人的行为由其自身的动态和目标决定，这也取决于他人的行为。因此，可以通过调整每个机器人的客观和动力学来调整协调。提出的DDDG使每个机器人能够以分布式方式自动调整其单个动力学和目标，从而最大程度地减少其轨迹和演示之间的不匹配。此过程需要前向通道的新分布式设计，在该设计中，所有机器人都协作寻求NASH均衡行为，以及一个向后通行，在该阶段通过通信图传播梯度。我们在仿真中测试了DDDG，并给定不同任务配置的四个小组。结果证明了DDDG从演示中学习多机器人协调的能力

嘈杂的传感，不完美的控制和环境变化是许多现实世界机器人任务的定义特征。部分可观察到的马尔可夫决策过程（POMDP）提供了一个原则上的数学框架，用于建模和解决不确定性下的机器人决策和控制任务。在过去的十年中，它看到了许多成功的应用程序，涵盖了本地化和导航，搜索和跟踪，自动驾驶，多机器人系统，操纵和人类机器人交互。这项调查旨在弥合POMDP模型的开发与算法之间的差距，以及针对另一端的不同机器人决策任务的应用。它分析了这些任务的特征，并将它们与POMDP框架的数学和算法属性联系起来，以进行有效的建模和解决方案。对于从业者来说，调查提供了一些关键任务特征，以决定何时以及如何成功地将POMDP应用于机器人任务。对于POMDP算法设计师，该调查为将POMDP应用于机器人系统的独特挑战提供了新的见解，并指出了有希望的新方向进行进一步研究。

自主赛车奖的代理商对反对者的行为做出反应，并以敏捷的操纵向沿着赛道前进，同时惩罚过度侵略性和过度保守的代理商。了解其他代理的意图对于在对抗性多代理环境中部署自主系统至关重要。当前的方法要么过分简化代理的动作空间的离散化，要么无法识别行动的长期影响并成为近视。我们的工作重点是应对这两个挑战。首先，我们提出了一种新颖的降低方法，该方法封装了不同的代理行为，同时保留了代理作用的连续性。其次，我们将两种代理赛车游戏制定为遗憾的最小化问题，并通过遗憾的预测模型为可行的反事实遗憾最小化提供了解决方案。最后，我们在规模的自动驾驶汽车上实验验证了我们的发现。我们证明，使用拟议的游戏理论规划师使用代理表征与客观空间显着提高了对不同对手的获胜率，并且在看不见的环境中，改进可以转移到看不见的对手。

相应地预测周围交通参与者的未来状态，并计划安全，平稳且符合社会的轨迹对于自动驾驶汽车至关重要。当前的自主驾驶系统有两个主要问题：预测模块通常与计划模块解耦，并且计划的成本功能很难指定和调整。为了解决这些问题，我们提出了一个端到端的可区分框架，该框架集成了预测和计划模块，并能够从数据中学习成本函数。具体而言，我们采用可区分的非线性优化器作为运动计划者，该运动计划将神经网络给出的周围剂的预测轨迹作为输入，并优化了自动驾驶汽车的轨迹，从而使框架中的所有操作都可以在框架中具有可观的成本，包括成本功能权重。提出的框架经过大规模的现实驾驶数据集进行了训练，以模仿整个驾驶场景中的人类驾驶轨迹，并在开环和闭环界面中进行了验证。开环测试结果表明，所提出的方法的表现优于各种指标的基线方法，并提供以计划为中心的预测结果，从而使计划模块能够输出接近人类的轨迹。在闭环测试中，提出的方法表明能够处理复杂的城市驾驶场景和鲁棒性，以抵抗模仿学习方法所遭受的分配转移。重要的是，我们发现计划和预测模块的联合培训比在开环和闭环测试中使用单独的训练有素的预测模块进行计划要比计划更好。此外，消融研究表明，框架中的可学习组件对于确保计划稳定性和性能至关重要。

Learning-enabled control systems have demonstrated impressive empirical performance on challenging control problems in robotics, but this performance comes at the cost of reduced transparency and lack of guarantees on the safety or stability of the learned controllers. In recent years, new techniques have emerged to provide these guarantees by learning certificates alongside control policies -- these certificates provide concise, data-driven proofs that guarantee the safety and stability of the learned control system. These methods not only allow the user to verify the safety of a learned controller but also provide supervision during training, allowing safety and stability requirements to influence the training process itself. In this paper, we provide a comprehensive survey of this rapidly developing field of certificate learning. We hope that this paper will serve as an accessible introduction to the theory and practice of certificate learning, both to those who wish to apply these tools to practical robotics problems and to those who wish to dive more deeply into the theory of learning for control.

一般而言，融合是人类驱动因素和自治车辆的具有挑战性的任务，特别是在密集的交通中，因为合并的车辆通常需要与其他车辆互动以识别或创造间隙并安全合并。在本文中，我们考虑了强制合并方案的自主车辆控制问题。我们提出了一种新的游戏 - 理论控制器，称为领导者跟随者游戏控制器（LFGC），其中自主EGO车辆和其他具有先验不确定驾驶意图的车辆之间的相互作用被建模为部分可观察到的领导者 - 跟随游戏。 LFGC估计基于观察到的轨迹的其他车辆在线在线，然后预测其未来的轨迹，并计划使用模型预测控制（MPC）来同时实现概率保证安全性和合并目标的自我车辆自己的轨迹。为了验证LFGC的性能，我们在模拟和NGSIM数据中测试它，其中LFGC在合并中展示了97.5％的高成功率。

延迟在迅速变化的环境中运行的自主系统的危害安全性，例如在自动驾驶和高速赛车方面的交通参与者的非确定性。不幸的是，在传统的控制器设计或在物理世界中部署之前，通常不考虑延迟。在本文中，从非线性优化到运动计划和控制以及执行器引起的其他不可避免的延迟的计算延迟被系统地和统一解决。为了处理所有这些延迟，在我们的框架中：1）我们提出了一种新的过滤方法，而没有事先了解动态和干扰分布的知识，以适应，安全地估算时间变化的计算延迟； 2）我们为转向延迟建模驱动动力学； 3）所有约束优化均在强大的管模型预测控制器中实现。对于应用的优点，我们证明我们的方法适合自动驾驶和自动赛车。我们的方法是独立延迟补偿控制器的新型设计。此外，在假设无延迟作为主要控制器的学习控制器的情况下，我们的方法是主要控制器的安全保护器。

We present an approach for safe trajectory planning, where a strategic task related to autonomous racing is learned sample-efficient within a simulation environment. A high-level policy, represented as a neural network, outputs a reward specification that is used within the cost function of a parametric nonlinear model predictive controller (NMPC). By including constraints and vehicle kinematics in the NLP, we are able to guarantee safe and feasible trajectories related to the used model. Compared to classical reinforcement learning (RL), our approach restricts the exploration to safe trajectories, starts with a good prior performance and yields full trajectories that can be passed to a tracking lowest-level controller. We do not address the lowest-level controller in this work and assume perfect tracking of feasible trajectories. We show the superior performance of our algorithm on simulated racing tasks that include high-level decision making. The vehicle learns to efficiently overtake slower vehicles and to avoid getting overtaken by blocking faster vehicles.

值得信赖的强化学习算法应有能力解决挑战性的现实问题，包括{Robustly}处理不确定性，满足{安全}的限制以避免灾难性的失败，以及在部署过程中{prencepentiming}以避免灾难性的失败}。这项研究旨在概述这些可信赖的强化学习的主要观点，即考虑其在鲁棒性，安全性和概括性上的内在脆弱性。特别是，我们给出严格的表述，对相应的方法进行分类，并讨论每个观点的基准。此外，我们提供了一个前景部分，以刺激有希望的未来方向，并简要讨论考虑人类反馈的外部漏洞。我们希望这项调查可以在统一的框架中将单独的研究汇合在一起，并促进强化学习的可信度。

有效推论是一种数学框架，它起源于计算神经科学，作为大脑如何实现动作，感知和学习的理论。最近，已被证明是在不确定性下存在国家估算和控制问题的有希望的方法，以及一般的机器人和人工代理人的目标驱动行为的基础。在这里，我们审查了最先进的理论和对国家估计，控制，规划和学习的积极推断的实现;描述当前的成就，特别关注机器人。我们展示了相关实验，以适应，泛化和稳健性而言说明其潜力。此外，我们将这种方法与其他框架联系起来，并讨论其预期的利益和挑战：使用变分贝叶斯推理具有功能生物合理性的统一框架。

现代应用要求机器人符合多个通常相互冲突的规则，并与其他代理商互动。我们将Posetal Games作为一类游戏，每个玩家通过部分有序的一组指标表达了对结果的偏好。这允许人们将每个玩家的分层优先级与环境的交互性质组合。通过语境化标准游戏理论概念，我们为参与者的偏好提供了两个足够的条件，以便在有限作用集中证明纯NASH均衡的存在。此外，我们在偏好结构上定义正式操作，并将其链接到游戏解决方案的细化，显示如何系统地缩小均衡集合。所提出的结果展示在驾驶游戏中，自主车辆从有限组轨迹中选择。结果证明了对每个玩家最小禁区的结果的可解释性。