Autonomous vehicle (AV) stacks are typically built in a modular fashion, with explicit components performing detection, tracking, prediction, planning, control, etc. While modularity improves reusability, interpretability, and generalizability, it also suffers from compounding errors, information bottlenecks, and integration challenges. To overcome these challenges, a prominent approach is to convert the AV stack into an end-to-end neural network and train it with data. While such approaches have achieved impressive results, they typically lack interpretability and reusability, and they eschew principled analytical components, such as planning and control, in favor of deep neural networks. To enable the joint optimization of AV stacks while retaining modularity, we present DiffStack, a differentiable and modular stack for prediction, planning, and control. Crucially, our model-based planning and control algorithms leverage recent advancements in differentiable optimization to produce gradients, enabling optimization of upstream components, such as prediction, via backpropagation through planning and control. Our results on the nuScenes dataset indicate that end-to-end training with DiffStack yields substantial improvements in open-loop and closed-loop planning metrics by, e.g., learning to make fewer prediction errors that would affect planning. Beyond these immediate benefits, DiffStack opens up new opportunities for fully data-driven yet modular and interpretable AV architectures. Project website: https://sites.google.com/view/diffstack

政策梯度方法被广泛用于学习控制政策。它们可以轻松地分配给多名工人，并在许多领域中达到最新结果。不幸的是，它们表现出很大的差异，随后遭受了高样本的复杂性，因为它们在整个轨迹上汇总了梯度。在另一个极端情况下，计划方法，例如树木搜索，使用考虑未来LookAhead的单步过渡来优化策略。这些方法主要用于基于价值的算法。基于计划的算法需要一个正向模型，并且在每个步骤上都是计算密集型的，但更有效。在这项工作中，我们介绍了SoftTreemax，这是将树搜索整合到策略梯度中的第一种方法。传统上，针对单个状态行动对计算梯度。取而代之的是，我们基于树的策略结构在每个环境步骤中利用树叶的所有梯度。这使我们能够将梯度的差异减少三个数量级，并与标准策略梯度相比，从更好的样本复杂性中受益。在Atari上，与分布式PPO相比，SoftTreemax在运行时的表现高达5倍。

我们考虑一个不当的强化学习设置，在该设置中，为学习者提供了$ M $的基本控制器，以进行未知的马尔可夫决策过程，并希望最佳地结合它们，以生产一个可能胜过每个基本基础的控制器。这对于在不匹配或模拟环境中学习的跨控制器进行调整可能很有用，可以为给定的目标环境获得良好的控制器，而试验相对较少。在此方面，我们提出了两种算法：（1）一种基于政策梯度的方法； （2）可以根据可用信息在基于简单的参与者（AC）方案和天然参与者（NAC）方案之间切换的算法。两种算法都在给定控制器的一类不当混合物上运行。对于第一种情况，我们得出融合率保证，假设访问梯度甲骨文。对于基于AC的方法，我们提供了基本AC案例中的固定点的收敛速率保证，并在NAC情况下为全球最优值提供了保证。 （i）稳定卡特柱的标准控制理论基准的数值结果； （ii）一个受约束的排队任务表明，即使可以使用的基本策略不稳定，我们的不当政策优化算法也可以稳定系统。

云数据中心的数字和大小都在成倍增长。这种增加导致网络活动激增，可以更好地避免交通拥堵。最终的挑战是两个方面：（i）设计算法，可以对给定数据中心的复杂流量模式进行定制；但是，与此同时（ii）在低级硬件上运行，具有有效拥塞控制（CC）所需的低潜伏期。在这项工作中，我们提出了一个基于强化学习（RL）的CC解决方案，该解决方案从某些交通情况中学习并成功地将其推广到他人。然后，我们将RL神经网络政策提炼成二进制决策树，以实现与RDMA实时推断所需的$ \ mu $ sec决策延迟。我们在真实网络中部署了NVIDIA NIC的蒸馏政策，并展示了最先进的性能，同时平衡所有测试的指标：带宽，延迟，公平和数据包下降。

重播缓冲区是许多强化学习方案中的关键组成部分。然而，他们的理论特性尚未完全理解。在本文中，我们分析了一个系统，将随机过程X推入重型缓冲区，然后随机采样以从重播缓冲区生成随机过程y。我们提供了采样过程的属性分析，例如平稳性，马尔可波和自相关，就原始过程的属性而言。我们的理论分析阐明了为什么重播缓冲液可能是良好的去率。我们的分析提供了理论工具，以证明基于重播缓冲算法的收敛性，这些算法在强化学习方案中很普遍。

价值功能的空间是强化学习中的一个基本概念。表征其几何特性可以提供优化和表示的见解。现有作品主要关注马尔可夫决策过程（MDP）的价值空间。在本文中，我们研究了考虑过渡不确定性的更通用的稳健MDP（RMDP）设置的稳健价值空间的几何形状。具体而言，由于我们发现很难直接适应RMDP的先验方法，因此我们从重新审视非持续的情况开始，并引入了一种新的视角，使我们能够以类似的方式表征非稳定和健壮的价值空间。这种观点的关键是将价值空间以州的方式分解成超曲面的工会。通过我们的分析，我们表明稳健的值空间由一组圆锥形超曲面确定，每组都包含所有在一个状态上一致的策略的可靠值。此外，我们发现在不确定性集中仅采用极端点足以确定可靠的值空间。最后，我们讨论了有关强大价值空间的其他一些方面，包括其对多个州的非跨性别和政策协议。

Kalman滤波器（KF）参数传统上是由噪声估计确定的，因为在KF假设下，当参数对应于噪声协方差时，状态预测误差将最小化。但是，无论假设如何，噪声估计仍然是金标准的 - 即使它不等于错误最小化。我们证明，即使看似简单的问题也可能包括违反多个假设 - 有时甚至很难注意到。我们从理论和经验上表明，即使是轻微的违规行为也可能在很大程度上改变了最佳参数。我们提出了一种基于梯度的方法以及Cholesky参数化，以明确优化状态预测错误。我们在3个不同域中的数十实验中显示出对噪声估计的一致性。最后，我们证明了优化使KF具有LSTM模型的竞争 - 即使在非线性问题中也是如此。

我们使用加强学习（RL）来处理数据中心中网络拥塞控制的任务。成功的拥堵控制算法可以显着改善延迟和整体网络吞吐量。直到今天，尚无此类基于学习的算法在该领域显示出实际潜力。显然，最近最受欢迎的部署依赖于基于规则的启发式方法，这些启发式方法经过预定的一组基准测试。因此，这些启发式方法并不能很好地概括到新近观察的场景上。相反，我们设计了一种基于RL的算法，目的是将其推广到现实世界数据中心网络的不同配置。我们克服了诸如部分观察性，非平稳性和多目标的挑战。我们进一步提出了一种利用奖励函数的分析结构来近似其导数并提高稳定性的策略梯度算法。我们表明，该方案的表现优于其他流行的RL方法，并概括了训练中未见的场景。我们的实验是在模拟通信网络行为的现实模拟器上进行的，与今天在实际数据中心中部署的流行算法相比，在多个考虑的指标上同时表现出了改进的性能。我们的算法正在生产起来，以取代世界上一些最大的数据中心中的启发式方法。

在学徒学习（AL）中，我们在没有获得成本函数的情况下给予马尔可夫决策过程（MDP）。相反，我们观察由根据某些政策执行的专家采样的轨迹。目标是找到一个与专家对某些预定义的成本函数的性能相匹配的策略。我们介绍了AL的在线变体（在线学徒学习; OAL），其中代理商预计与环境相互作用，在与环境互动的同时相互表现。我们表明，通过组合两名镜面血缘无遗憾的算法可以有效地解决了OAL问题：一个用于策略优化，另一个用于学习最坏情况的成本。通过采用乐观的探索，我们使用$ O（\ SQRT {k}）$后悔派生算法，其中$ k $是与MDP的交互数量以及额外的线性错误术语，其取决于专家轨迹的数量可用的。重要的是，我们的算法避免了在每次迭代时求解MDP的需要，与先前的AL方法相比，更实用。最后，我们实现了我们算法的深层变体，该算法与Gail \ Cite {Ho2016Generative}共享了一些相似之处，但在鉴别者被替换为OAL问题的成本。我们的模拟表明OAL在高维控制问题中表现良好。

近年来，应用深入的强化学习（RL）在解决各种领域的具有挑战性的问题方面取得了重大进展。然而，由于算法的不稳定性和方差以及基准环境中的随机性，各种方法的收敛性遭受了不一致的影响。特别是，尽管该代理商的性能平均可能会有所改善，但在训练的后期阶段可能会突然恶化。在这项工作中，我们通过提供有关所获得的历史或参考基准策略的保守更新来研究增强代理学习过程的方法。我们的方法称为珠穆朗玛峰，通过参考策略的信心范围获得了高度改善的信心。通过广泛的经验分析，我们证明了我们方法在绩效和稳定方面的好处，并在连续控制和ATARI基准方面有了显着改善。