安全与其他交通参与者的互动是自动驾驶的核心要求之一，尤其是在交叉点和遮挡中。大多数现有的方法都是为特定场景设计的，需要大量的人工劳动参数调整，以应用于不同情况。为了解决这个问题，我们首先提出了一个基于学习的交互点模型（IPM），该模型描述了代理与保护时间和交互优先级之间的相互作用以统一的方式。我们将提出的IPM进一步整合到一个新颖的计划框架中，通过在高度动态的环境中的全面模拟来证明其有效性和鲁棒性。

相应地预测周围交通参与者的未来状态，并计划安全，平稳且符合社会的轨迹对于自动驾驶汽车至关重要。当前的自主驾驶系统有两个主要问题：预测模块通常与计划模块解耦，并且计划的成本功能很难指定和调整。为了解决这些问题，我们提出了一个端到端的可区分框架，该框架集成了预测和计划模块，并能够从数据中学习成本函数。具体而言，我们采用可区分的非线性优化器作为运动计划者，该运动计划将神经网络给出的周围剂的预测轨迹作为输入，并优化了自动驾驶汽车的轨迹，从而使框架中的所有操作都可以在框架中具有可观的成本，包括成本功能权重。提出的框架经过大规模的现实驾驶数据集进行了训练，以模仿整个驾驶场景中的人类驾驶轨迹，并在开环和闭环界面中进行了验证。开环测试结果表明，所提出的方法的表现优于各种指标的基线方法，并提供以计划为中心的预测结果，从而使计划模块能够输出接近人类的轨迹。在闭环测试中，提出的方法表明能够处理复杂的城市驾驶场景和鲁棒性，以抵抗模仿学习方法所遭受的分配转移。重要的是，我们发现计划和预测模块的联合培训比在开环和闭环测试中使用单独的训练有素的预测模块进行计划要比计划更好。此外，消融研究表明，框架中的可学习组件对于确保计划稳定性和性能至关重要。

Making safe and human-like decisions is an essential capability of autonomous driving systems and learning-based behavior planning is a promising pathway toward this objective. Distinguished from existing learning-based methods that directly output decisions, this work introduces a predictive behavior planning framework that learns to predict and evaluate from human driving data. Concretely, a behavior generation module first produces a diverse set of candidate behaviors in the form of trajectory proposals. Then the proposed conditional motion prediction network is employed to forecast other agents' future trajectories conditioned on each trajectory proposal. Given the candidate plans and associated prediction results, we learn a scoring module to evaluate the plans using maximum entropy inverse reinforcement learning (IRL). We conduct comprehensive experiments to validate the proposed framework on a large-scale real-world urban driving dataset. The results reveal that the conditional prediction model is able to forecast multiple possible future trajectories given a candidate behavior and the prediction results are reactive to different plans. Moreover, the IRL-based scoring module can properly evaluate the trajectory proposals and select close-to-human ones. The proposed framework outperforms other baseline methods in terms of similarity to human driving trajectories. Moreover, we find that the conditional prediction model can improve both prediction and planning performance compared to the non-conditional model, and learning the scoring module is critical to correctly evaluating the candidate plans to align with human drivers.

一般而言，融合是人类驱动因素和自治车辆的具有挑战性的任务，特别是在密集的交通中，因为合并的车辆通常需要与其他车辆互动以识别或创造间隙并安全合并。在本文中，我们考虑了强制合并方案的自主车辆控制问题。我们提出了一种新的游戏 - 理论控制器，称为领导者跟随者游戏控制器（LFGC），其中自主EGO车辆和其他具有先验不确定驾驶意图的车辆之间的相互作用被建模为部分可观察到的领导者 - 跟随游戏。 LFGC估计基于观察到的轨迹的其他车辆在线在线，然后预测其未来的轨迹，并计划使用模型预测控制（MPC）来同时实现概率保证安全性和合并目标的自我车辆自己的轨迹。为了验证LFGC的性能，我们在模拟和NGSIM数据中测试它，其中LFGC在合并中展示了97.5％的高成功率。

自动驾驶汽车的一个主要挑战是安全，平稳地与其他交通参与者进行互动。处理此类交通交互的一种有希望的方法是为自动驾驶汽车配备与感知的控制器（IACS）。这些控制器预测，周围人类驾驶员将如何根据驾驶员模型对自动驾驶汽车的行为做出响应。但是，很少验证IACS中使用的驱动程序模型的预测有效性，这可能会限制IACS在简单的模拟环境之外的交互功能。在本文中，我们认为，除了评估IAC的互动能力外，还应在自然的人类驾驶行为上验证其潜在的驱动器模型。我们为此验证提出了一个工作流程，其中包括基于方案的数据提取和基于人为因素文献的两阶段（战术/操作）评估程序。我们在一项案例研究中证明了该工作流程，该案例研究对现有IAC复制的基于反向的基于学习的驱动程序模型。该模型仅在40％的预测中显示出正确的战术行为。该模型的操作行为与观察到的人类行为不一致。案例研究表明，有原则的评估工作流程是有用和需要的。我们认为，我们的工作流将支持为将来的自动化车辆开发适当的驾驶员模型。

无罪化的交叉路口驾驶对自动车辆有挑战性。为了安全有效的性能，应考虑相互作用的车辆的多样化和动态行为。基于游戏理论框架，提出了一种用于无罪交叉口的自动决策的人类收益设计方法。展望理论被引入将客观碰撞风险映射到主观驾驶员收益，并且驾驶风格可以量化为安全和速度之间的权衡。为了考虑相互作用的动态，进一步引入了概率模型来描述司机的加速趋势。仿真结果表明，该决策算法可以描述极限情况下双车交互的动态过程。统一采样案例模拟的统计数据表明，安全互动的成功率达到98％，而且还可以保证速度效率。在四臂交叉路口的四车辆交互情景中进一步应用并验证了所提出的方法。

在与其他代理商的社交互动下进行计划是自动驾驶的重要问题。随着自动驾驶汽车在相互作用中的作用会影响，并且也受到其他试剂的影响，因此自动驾驶汽车需要有效地推断其他试剂的反应。大多数现有方法将问题提出为广泛的NASH平衡问题，该问题通过基于优化的方法解决。但是，他们要求过多的计算资源，并且由于非凸度而容易落入本地最低限度。蒙特卡洛树搜索（MCTS）成功解决了游戏理论问题中的此类问题。但是，随着交互游戏树的成倍增长，一般的MCT仍然需要大量迭代才能达到Optima。在本文中，我们通过将预测算法作为启发式算法纳入了基于一般MCT的高效游戏理论轨迹计划算法。最重要的是，符合社会的奖励和贝叶斯推理算法旨在产生多样化的驾驶行为并确定其他驾驶员的驾驶偏好。结果证明了在高度交互式场景中包含自然主义驾驶行为的数据集的提议框架的有效性。

作为自动驾驶系统的核心部分，运动计划已受到学术界和行业的广泛关注。但是，由于非体力学动力学，尤其是在存在非结构化的环境和动态障碍的情况下，没有能够有效的轨迹计划解决方案能够为空间周期关节优化。为了弥合差距，我们提出了一种多功能和实时轨迹优化方法，该方法可以在任意约束下使用完整的车辆模型生成高质量的可行轨迹。通过利用类似汽车的机器人的差异平坦性能，我们使用平坦的输出来分析所有可行性约束，以简化轨迹计划问题。此外，通过全尺寸多边形实现避免障碍物，以产生较少的保守轨迹，并具有安全保证，尤其是在紧密约束的空间中。我们通过最先进的方法介绍了全面的基准测试，这证明了所提出的方法在效率和轨迹质量方面的重要性。现实世界实验验证了我们算法的实用性。我们将发布我们的代码作为开源软件包，目的是参考研究社区。

研究表明，自治车辆（AVS）在由人类驱动因素组成的交通环境中保守，不适应当地条件和社会文化规范。众所周知，如果存在理解人类驱动程序的行为，则可以设计社会意识的AVS。我们提出了一种利用机器学习来预测人类驱动程序的行为的方法。这类似于人类如何隐含地解释道路上司机的行为，只能观察其车辆的轨迹。我们使用图形理论工具从轨迹和机器学习中提取驾驶员行为特征，以在流量和驾驶员行为中获得车辆的提取轨迹之间的计算映射。与此域中的现有方法相比，我们证明我们的方法是强大的，一般的，并且可扩展到广泛的应用程序，如自主导航。我们评估我们在美国，印度，中国和新加坡捕获的现实世界交通数据集以及模拟中的方法。

自主驾驶的车辆必须能够以无碰撞的方式在动态和不可预测的环境中导航。到目前为止，这仅是在无人驾驶汽车和仓库装置中部分实现的，在该装置中，诸如道路，车道和交通标志之类的标记结构简化了运动计划和避免碰撞问题。我们正在为类似汽车的车辆提供一种新的控制方法，该方法基于前所未有的快节奏A*实现，该方法允许控制周期以30 Hz的频率运行。这个频率使我们能够将A*算法作为低级重型控制器，非常适合在几乎任何动态环境中导航和避免碰撞。由于有效的启发式方法由沿着目标最短路径铺设的旋转 - 翻译 - 旋转运动运动，因此我们的短期流产A*（staa*）会快速收敛，并可以尽早中止，以确保高而稳定的控制速度。尽管我们的staa*沿着最短路径扩展状态，但它会照顾与环境的碰撞检查，包括预测的移动障碍状态，并返回计算时间用完时找到的最佳解决方案。尽管计算时间有限，但由于最短路径的以下路径，我们的staa*并未被困在拐角处。在模拟和实体机器人实验中，我们证明了我们的控制方法几乎完全消除了碰撞，并且具有改进的动态窗口方法的改进版本，并具有预测性的避免功能。

Proper functioning of connected and automated vehicles (CAVs) is crucial for the safety and efficiency of future intelligent transport systems. Meanwhile, transitioning to fully autonomous driving requires a long period of mixed autonomy traffic, including both CAVs and human-driven vehicles. Thus, collaboration decision-making for CAVs is essential to generate appropriate driving behaviors to enhance the safety and efficiency of mixed autonomy traffic. In recent years, deep reinforcement learning (DRL) has been widely used in solving decision-making problems. However, the existing DRL-based methods have been mainly focused on solving the decision-making of a single CAV. Using the existing DRL-based methods in mixed autonomy traffic cannot accurately represent the mutual effects of vehicles and model dynamic traffic environments. To address these shortcomings, this article proposes a graph reinforcement learning (GRL) approach for multi-agent decision-making of CAVs in mixed autonomy traffic. First, a generic and modular GRL framework is designed. Then, a systematic review of DRL and GRL methods is presented, focusing on the problems addressed in recent research. Moreover, a comparative study on different GRL methods is further proposed based on the designed framework to verify the effectiveness of GRL methods. Results show that the GRL methods can well optimize the performance of multi-agent decision-making for CAVs in mixed autonomy traffic compared to the DRL methods. Finally, challenges and future research directions are summarized. This study can provide a valuable research reference for solving the multi-agent decision-making problems of CAVs in mixed autonomy traffic and can promote the implementation of GRL-based methods into intelligent transportation systems. The source code of our work can be found at https://github.com/Jacklinkk/Graph_CAVs.

本文介绍了一种新的方法，为入境驾驶场景的自动车辆产生最佳轨迹。该方法使用两相优化过程计算轨迹。在第一阶段中，优化过程产生具有不同的曲率的闭形驾驶导向线。在第二阶段，该过程将驱动导向线作为输入输出，输出沿着导向线驾驶的车辆的动态可行，混蛋和时间最佳轨迹。该方法对于在弯曲道路上产生轨迹特别有用，其中车辆需要频繁加速和减速以适应离心机加速限制。

行人在场的运动控制算法对于开发安全可靠的自动驾驶汽车（AV）至关重要。传统运动控制算法依赖于手动设计的决策政策，这些政策忽略了AV和行人之间的相互作用。另一方面，深度强化学习的最新进展允许在没有手动设计的情况下自动学习政策。为了解决行人在场的决策问题，作者介绍了一个基于社会价值取向和深入强化学习（DRL）的框架，该框架能够以不同的驾驶方式生成决策政策。该政策是在模拟环境中使用最先进的DRL算法培训的。还引入了适合DRL训练的新型计算效率的行人模型。我们执行实验以验证我们的框架，并对使用两种不同的无模型深钢筋学习算法获得的策略进行了比较分析。模拟结果表明，开发的模型如何表现出自然的驾驶行为，例如短暂的驾驶行为，以促进行人的穿越。

Autonomous vehicles must often contend with conflicting planning requirements, e.g., safety and comfort could be at odds with each other if avoiding a collision calls for slamming the brakes. To resolve such conflicts, assigning importance ranking to rules (i.e., imposing a rule hierarchy) has been proposed, which, in turn, induces rankings on trajectories based on the importance of the rules they satisfy. On one hand, imposing rule hierarchies can enhance interpretability, but introduce combinatorial complexity to planning; while on the other hand, differentiable reward structures can be leveraged by modern gradient-based optimization tools, but are less interpretable and unintuitive to tune. In this paper, we present an approach to equivalently express rule hierarchies as differentiable reward structures amenable to modern gradient-based optimizers, thereby, achieving the best of both worlds. We achieve this by formulating rank-preserving reward functions that are monotonic in the rank of the trajectories induced by the rule hierarchy; i.e., higher ranked trajectories receive higher reward. Equipped with a rule hierarchy and its corresponding rank-preserving reward function, we develop a two-stage planner that can efficiently resolve conflicting planning requirements. We demonstrate that our approach can generate motion plans in ~7-10 Hz for various challenging road navigation and intersection negotiation scenarios.

基于神经网络的驾驶规划师在改善自动驾驶的任务绩效方面表现出了巨大的承诺。但是，确保具有基于神经网络的组件的系统的安全性，尤其是在密集且高度交互式的交通环境中，这是至关重要的，但又具有挑战性。在这项工作中，我们为基于神经网络的车道更改提出了一个安全驱动的互动计划框架。为了防止过度保守计划，我们确定周围车辆的驾驶行为并评估其侵略性，然后以互动方式相应地适应了计划的轨迹。如果在预测的最坏情况下，即使存在安全的逃避轨迹，则自我车辆可以继续改变车道；否则，它可以停留在当前的横向位置附近或返回原始车道。我们通过广泛而全面的实验环境以及在自动驾驶汽车公司收集的现实情况下进行了广泛的模拟，定量证明了计划者设计的有效性及其优于基线方法的优势。

这项工作研究了以下假设：与人类驾驶状态的部分可观察到的马尔可夫决策过程（POMDP）计划可以显着提高自动高速公路驾驶的安全性和效率。我们在模拟场景中评估了这一假设，即自动驾驶汽车必须在快速连续中安全执行三个车道变化。通过观测扩大（POMCPOW）算法，通过部分可观察到的蒙特卡洛计划获得了近似POMDP溶液。这种方法的表现优于过度自信和保守的MDP基准，匹配或匹配效果优于QMDP。相对于MDP基准，POMCPOW通常将不安全情况的速率降低了一半或将成功率提高50％。

对自动驾驶的运动计划的安全保证通常涉及在环境中无法控制的参与者（例如道路上的人类驱动的车辆）的任何动作下进行无碰撞的轨迹。结果，他们通常对此类参与者的行为采用保守的束缚，例如可达性分析。我们指出，规划轨迹严格避免全部可覆盖区域是不必要的，而且过于限制，因为将来观察环境将使我们能够修剪大多数。无视这种对未来更新的能力的能力可以禁止对人类驾驶员轻松导航的方案的解决方案。我们建议通过新颖的安全框架，全面的反应性安全来解释自动驾驶汽车对未来环境的反应。在模拟中验证了几种城市驾驶场景，例如未受保护的左转弯和车道合并，所得的计划算法称为反应性ILQR，表现出强大的谈判能力和更好的安全性。

我们提出了一种涉及无罪交叉口，环形交叉路口和合并期间的人类驱动因素和自治车辆（AVS）的多智能经纪人规划的新方法。在多代理规划中，主要挑战是预测其他代理人，特别是人类驱动因素的行为，因为他们的意图隐藏着其他代理人。我们的算法使用博弈论开发一个名为GamePlan的新拍卖，这直接基于其驱动风格来确定每个代理的最佳动作（这是可通过常用传感器观察到的）。 GamePlan为更具攻击性或不耐烦的驱动程序和更低的优先级分配更高的优先级，以及更多保守或患者司机的优先级;理论上，我们证明了这种方法是游戏 - 理论上最佳地防止冲突和死锁。我们将我们的方法与先前的最先进的拍卖技术进行比较，包括经济拍卖，基于时间的拍卖（先进先出）和随机竞标，并表明这些方法中的每一种都会导致代理商之间的碰撞帐户驱动程序行为。我们另外与基于深度加强学习，深度学习和博弈理论的方法进行比较，并呈现我们对这些方法的好处。最后，我们表明我们的方法可以在现实世界与人类驱动程序实施。

我们解决了由具有不同驱动程序行为的道路代理人填充的密集模拟交通环境中的自我车辆导航问题。由于其异构行为引起的代理人的不可预测性，这种环境中的导航是挑战。我们提出了一种新的仿真技术，包括丰富现有的交通模拟器，其具有与不同程度的侵略性程度相对应的行为丰富的轨迹。我们在驾驶员行为建模算法的帮助下生成这些轨迹。然后，我们使用丰富的模拟器培训深度加强学习（DRL）策略，包括一组高级车辆控制命令，并在测试时间使用此策略来执行密集流量的本地导航。我们的政策隐含地模拟了交通代理商之间的交互，并计算了自助式驾驶员机动，例如超速，超速，编织和突然道路变化的激进驾驶员演习的安全轨迹。我们增强的行为丰富的模拟器可用于生成由对应于不同驱动程序行为和流量密度的轨迹组成的数据集，我们的行为的导航方案可以与最先进的导航算法相结合。

应用强化学习来自动驾驶需要某些挑战，这主要是由于大规模的交通流动，这种挑战是动态变化的。为了应对此类挑战，有必要快速确定对周围车辆不断变化的意图的响应策略。因此，我们提出了一种新的政策优化方法，用于使用基于图的互动感知约束来安全驾驶。在此框架中，运动预测和控制模块是同时训练的，同时共享包含社会环境的潜在表示。此外，为了反映社交互动，我们以图形形式表达了代理的运动并过滤特征。这有助于保留相邻节点的时空位置。此外，我们创建反馈循环以有效地组合这两个模块。结果，这种方法鼓励博学的控制器免受动态风险的侵害，并在各种情况下使运动预测强大。在实验中，我们与城市驾驶模拟器Carla建立了一个包括各种情况的导航场景。该实验表明，与基线相比，导航策略和运动预测的两侧的最新性能。