模型预测控制（MPC）越来越多地考虑控制快速系统和嵌入式应用。然而，MPC对这种系统具有一些重大挑战。其高计算复杂性导致来自控制算法的高功耗，这可能考虑电池供电嵌入式系统中的能量资源的大量份额。必须调整MPC参数，这主要是一个试验和错误过程，这些过程会影响控制器的控制性能，鲁棒性和计算复杂度高度。在本文中，我们提出了一种新颖的框架，其中可以使用加强学习（RL）共同调整控制算法的任何参数，其目的是同时优化控制算法的控制性能和功率使用。我们提出了优化MPCWith RL的元参数的新颖思想，即影响MPCPROBLAB的结构的参数，而不是给定个问题的解决方案。我们的控制算法基于事件触发的MPC，在那里我们学习当应该重新计算MPC时，以及在MPC计算之间应用的双模MPC和线性状态反馈控制法。我们制定了一种新的混合分配政策，并表明，随着联合优化，我们在孤立地优化相同参数时，无法呈现自己的改进。我们展示了我们对倒立摆控制任务的框架，将控制系统的总计算时间减少了36％，同时还通过最佳性能的MPC基线提高了18.4％的控制性能。

策略搜索和模型预测控制〜（MPC）是机器人控制的两个不同范式：策略搜索具有使用经验丰富的数据自动学习复杂策略的强度，而MPC可以使用模型和轨迹优化提供最佳控制性能。开放的研究问题是如何利用并结合两种方法的优势。在这项工作中，我们通过使用策略搜索自动选择MPC的高级决策变量提供答案，这导致了一种新的策略搜索 - 用于模型预测控制框架。具体地，我们将MPC作为参数化控制器配制，其中难以优化的决策变量表示为高级策略。这种制定允许以自我监督的方式优化政策。我们通过专注于敏捷无人机飞行中的具有挑战性的问题来验证这一框架：通过快速的盖茨飞行四轮车。实验表明，我们的控制器在模拟和现实世界中实现了鲁棒和实时的控制性能。拟议的框架提供了合并学习和控制的新视角。

为设计控制器选择适当的参数集对于最终性能至关重要，但通常需要一个乏味而仔细的调整过程，这意味着强烈需要自动调整方法。但是，在现有方法中，无衍生物的可扩展性或效率低下，而基于梯度的方法可能由于可能是非差异的控制器结构而无法使用。为了解决问题，我们使用新颖的无衍生化强化学习（RL）框架来解决控制器调整问题，该框架在经验收集过程中在参数空间中执行时间段的扰动，并将无衍生策略更新集成到高级参与者 - 批判性RL中实现高多功能性和效率的体系结构。为了证明该框架的功效，我们在自动驾驶的两个具体示例上进行数值实验，即使用PID控制器和MPC控制器进行轨迹跟踪的自适应巡航控制。实验结果表明，所提出的方法的表现优于流行的基线，并突出了其强大的控制器调整潜力。

过去半年来，从控制和强化学习社区的真实机器人部署的安全学习方法的贡献数量急剧上升。本文提供了一种简洁的但整体审查，对利用机器学习实现的最新进展，以实现在不确定因素下的安全决策，重点是统一控制理论和加固学习研究中使用的语言和框架。我们的评论包括：基于学习的控制方法，通过学习不确定的动态，加强学习方法，鼓励安全或坚固性的加固学习方法，以及可以正式证明学习控制政策安全的方法。随着基于数据和学习的机器人控制方法继续获得牵引力，研究人员必须了解何时以及如何最好地利用它们在安全势在必行的现实情景中，例如在靠近人类的情况下操作时。我们突出了一些开放的挑战，即将在未来几年推动机器人学习领域，并强调需要逼真的物理基准的基准，以便于控制和加固学习方法之间的公平比较。

我们考虑在一个有限时间范围内的离散时间随机动力系统的联合设计和控制。我们将问题作为一个多步优化问题，在寻求识别系统设计和控制政策的不确定性下，共同最大化所考虑的时间范围内收集的预期奖励总和。转换函数，奖励函数和策略都是参数化的，假设与其参数有所不同。然后，我们引入了一种深度加强学习算法，将策略梯度方法与基于模型的优化技术相结合以解决这个问题。从本质上讲，我们的算法迭代地估计通过Monte-Carlo采样和自动分化的预期返回的梯度，并在环境和策略参数空间中投影梯度上升步骤。该算法称为直接环境和策略搜索（DEPS）。我们评估我们算法在三个环境中的性能，分别在三种环境中进行了一个群众弹簧阻尼系统的设计和控制，分别小型离网电力系统和无人机。此外，我们的算法是针对用于解决联合设计和控制问题的最先进的深增强学习算法的基准测试。我们表明，在所有三种环境中，DEPS至少在或更好地执行，始终如一地产生更高的迭代返回的解决方案。最后，通过我们的算法产生的解决方案也与由算法产生的解决方案相比，不共同优化环境和策略参数，突出显示在执行联合优化时可以实现更高返回的事实。

强化学习（RL）控制器在控制社区中产生了兴奋。 RL控制器相对于现有方法的主要优点是它们能够优化不确定的系统，独立于明确假设过程不确定性。最近对工程应用的关注是针对安全RL控制器的发展。以前的作品已经提出了通过从随机模型预测控制领域的限制收紧来解释约束满足的方法。在这里，我们将这些方法扩展到植物模型不匹配。具体地，我们提出了一种利用离线仿真模型的高斯过程的数据驱动方法，并使用相关的后部不确定预测来解释联合机会限制和植物模型不匹配。该方法通过案例研究反对非线性模型预测控制的基准测试。结果证明了方法理解过程不确定性的能力，即使在植物模型错配的情况下也能满足联合机会限制。

由于数据量增加，金融业的快速变化已经彻底改变了数据处理和数据分析的技术，并带来了新的理论和计算挑战。与古典随机控制理论和解决财务决策问题的其他分析方法相比，解决模型假设的财务决策问题，强化学习（RL）的新发展能够充分利用具有更少模型假设的大量财务数据并改善复杂的金融环境中的决策。该调查纸目的旨在审查最近的资金途径的发展和使用RL方法。我们介绍了马尔可夫决策过程，这是许多常用的RL方法的设置。然后引入各种算法，重点介绍不需要任何模型假设的基于价值和基于策略的方法。连接是用神经网络进行的，以扩展框架以包含深的RL算法。我们的调查通过讨论了这些RL算法在金融中各种决策问题中的应用，包括最佳执行，投资组合优化，期权定价和对冲，市场制作，智能订单路由和Robo-Awaring。

在最近的文献中，学习方法与模型预测控制（MPC）的结合吸引了大量关注。这种组合的希望是减少MPC方案对准确模型的依赖，并利用快速开发的机器学习和强化学习工具，以利用许多系统可用的数据量。特别是，增强学习和MPC的结合已被认为是一种可行且理论上合理的方法，以引入可解释的，安全和稳定的政策，以实现强化学习。但是，一种正式的理论详细介绍了如何通过学习工具提供的参数更新来维持基于MPC的策略的安全性和稳定性。本文解决了这一差距。该理论是针对通用的强大MPC案例开发的，并在基于强大的管线MPC情况的模拟中应用，在该情况下，该理论在实践中很容易部署。本文着重于增强学习作为学习工具，但它适用于任何在线更新MPC参数的学习方法。

强化学习（RL）文献的最新进展使机器人主义者能够在模拟环境中自动训练复杂的政策。但是，由于这些方法的样本复杂性差，使用现实世界数据解决强化学习问题仍然是一个具有挑战性的问题。本文介绍了一种新颖的成本整形方法，旨在减少学习稳定控制器所需的样品数量。该方法添加了一个涉及控制Lyapunov功能（CLF）的术语 - 基于模型的控制文献的“能量样”功能 - 到典型的成本配方。理论结果表明，新的成本会导致使用较小的折现因子时稳定控制器，这是众所周知的，以降低样品复杂性。此外，通过确保即使是高度亚最佳的策略也可以稳定系统，添加CLF术语“鲁棒化”搜索稳定控制器。我们通过两个硬件示例演示了我们的方法，在其中我们学习了一个cartpole的稳定控制器和仅使用几秒钟和几分钟的微调数据的A1稳定控制器。

在许多机器人和工业应用中，传统的线性控制策略已经广泛研究和使用，但它们不应响应系统的总动态，以避免对非线性控制等非线性控制方案的繁琐计算，加强学习的预测控制应用可以提供替代解决方案本文介绍了在移动自拍的深度确定性政策梯度和近端策略优化的情况下实现了RL控制的实现，在移动自拍伸直倒立摆片EWIP系统这样的RL模型使得找到满意控制方案的任务更容易，并在自我调整时有效地响应动态。在本文中提供更好控制的参数，两个RL基础控制器被针对MPC控制器捕获，以基于EWIP系统的状态变量进行评估，同时遵循特定的所需轨迹

事件触发的模型预测控制（EMPC）是一种流行的最佳控制方法，旨在减轻MPC的计算和/或通信负担。但是，通常需要先验了解闭环系统行为以及设计事件触发策略的通信特征。本文试图通过提出有效的EMPC框架来解决这一挑战，并在随后的自动驾驶汽车路径上成功实施了该框架。首先，使用无模型的加固学习（RL）代理用于学习最佳的事件触发策略，而无需在此框架中具有完整的动态系统和通信知识。此外，还采用了包括优先经验重播（PER）缓冲区和长期术语记忆（LSTM）的技术来促进探索和提高训练效率。在本文中，我们使用提出的三种深度RL算法的拟议框架，即双Q学习（DDQN），近端策略优化（PPO）和软参与者 - 批评（SAC），以解决此问题。实验结果表明，所有三个基于RL的EMPC（DEEP-RL-EMPC）都比在自动途径下的常规阈值和以前的基于线性Q的方法获得更好的评估性能。特别是，具有LSTM和DDQN-EMPC的PPO-EMPC具有PER和LSTM的PPO-EMPC在闭环控制性能和事件触发频率之间获得了较高的平衡。关联的代码是开源的，可在以下网址提供：https：//github.com/dangfengying/rl基础基础 - event-triggered-mpc。

在训练数据的分布中评估时，学到的模型和政策可以有效地概括，但可以在分布输入输入的情况下产生不可预测且错误的输出。为了避免在部署基于学习的控制算法时分配变化，我们寻求一种机制将代理商限制为类似于受过训练的国家和行动的机制。在控制理论中，Lyapunov稳定性和控制不变的集合使我们能够保证稳定系统周围系统的控制器，而在机器学习中，密度模型使我们能够估算培训数据分布。我们可以将这两个概念结合起来，产生基于学习的控制算法，这些算法仅使用分配动作将系统限制为分布状态？在这项工作中，我们建议通过结合Lyapunov稳定性和密度估计的概念来做到这一点，引入Lyapunov密度模型：控制Lyapunov函数和密度模型的概括，这些函数和密度模型可以保证代理商在其整个轨迹上保持分布的能力。

由于非线性动力学，执行器约束和耦合的纵向和横向运动，部分地，固定翼无人驾驶飞行器（无人机）的姿态控制是一个困难的控制问题。目前的最先进的自动驾驶仪基于线性控制，因此有限于其有效性和性能。深度加强学习（DRL）是一种通过与受控系统的交互自动发现最佳控制法的机器学习方法，可以处理复杂的非线性动态。我们在本文中展示DRL可以成功学习直接在原始非线性动态上运行的固定翼UAV的态度控制，需要短至三分钟的飞行数据。我们最初在仿真环境中培训我们的模型，然后在飞行测试中部署无人机的学习控制器，向最先进的ArduplaneProportional-Integry-artivation（PID）姿态控制器的表现展示了可比的性能，而无需进一步的在线学习。为了更好地理解学习控制器的操作，我们呈现了对其行为的分析，包括与现有良好调整的PID控制器的比较。

现实世界加固学习（RL）问题通常要求代理通过遵守一套设计的约束来安全地安全。通过在模型预测控制（MPC）中，通过耦合具有连续动作的线性设置中的修改策略梯度框架来解决安全RL的挑战。指南通过将安全要求嵌入安全要求作为MPC配方中的机会限制来强制执行系统的安全操作。政策梯度培训步骤然后包括安全罚款，该安全罚款列举了基本政策能够安全行事。我们从理论上显示了这种惩罚允许在训练后删除安全指南，并用模拟器四轮机器使用实验说明我们的方法。

在线强化学习（RL）中的挑战之一是代理人需要促进对环境的探索和对样品的利用来优化其行为。无论我们是否优化遗憾，采样复杂性，状态空间覆盖范围或模型估计，我们都需要攻击不同的勘探开发权衡。在本文中，我们建议在分离方法组成的探索 - 剥削问题：1）“客观特定”算法（自适应）规定哪些样本以收集到哪些状态，似乎它可以访问a生成模型（即环境的模拟器）; 2）负责尽可能快地生成规定样品的“客观无关的”样品收集勘探策略。建立最近在随机最短路径问题中进行探索的方法，我们首先提供一种算法，它给出了每个状态动作对所需的样本$ B（S，a）$的样本数量，需要$ \ tilde {o} （bd + d ^ {3/2} s ^ 2 a）收集$ b = \ sum_ {s，a} b（s，a）$所需样本的$时间步骤，以$ s $各国，$ a $行动和直径$ d $。然后我们展示了这种通用探索算法如何与“客观特定的”策略配对，这些策略规定了解决各种设置的样本要求 - 例如，模型估计，稀疏奖励发现，无需无成本勘探沟通MDP - 我们获得改进或新颖的样本复杂性保证。

在本文中，我们研究了加强学习问题的安全政策的学习。这是，我们的目标是控制我们不知道过渡概率的马尔可夫决策过程（MDP），但我们通过经验访问样品轨迹。我们将安全性定义为在操作时间内具有高概率的期望安全集中的代理。因此，我们考虑受限制的MDP，其中限制是概率。由于没有直接的方式来优化关于加强学习框架中的概率约束的政策，因此我们提出了对问题的遍历松弛。拟议的放松的优点是三倍。 （i）安全保障在集界任务的情况下保持，并且它们保持在一个给定的时间范围内，以继续进行任务。 （ii）如果政策的参数化足够丰富，则约束优化问题尽管其非凸起具有任意小的二元间隙。 （iii）可以使用标准策略梯度结果和随机近似工具容易地计算与安全学习问题相关的拉格朗日的梯度。利用这些优势，我们建立了原始双算法能够找到安全和最佳的政策。我们在连续域中的导航任务中测试所提出的方法。数值结果表明，我们的算法能够将策略动态调整到环境和所需的安全水平。

在过去的十年中，由于分散控制应用程序的趋势和网络物理系统应用的出现，网络控制系统在过去十年中引起了广泛的关注。但是，由于无线网络的复杂性质，现实世界中无线网络控制系统的通信带宽，可靠性问题以及对网络动态的认识不足。将机器学习和事件触发的控制结合起来有可能减轻其中一些问题。例如，可以使用机器学习来克服缺乏网络模型的问题，通过学习系统行为或通过不断学习模型动态来适应动态变化的模型。事件触发的控制可以通过仅在必要时或可用资源时传输控制信息来帮助保护通信带宽。本文的目的是对有关机器学习的使用与事件触发的控制的使用进行综述。机器学习技术，例如统计学习，神经网络和基于强化的学习方法，例如深入强化学习，并结合事件触发的控制。我们讨论如何根据机器学习使用的目的将这些学习算法用于不同的应用程序。在对文献的审查和讨论之后，我们重点介绍了与基于机器学习的事件触发的控制并提出潜在解决方案相关的开放研究问题和挑战。

通用非线性系统的最优控制是自动化中的中央挑战。通过强大的函数近似器启用的数据驱动的控制方法，最近在处理具有挑战性的机器人应用方面取得了巨大成功。但是，这些方法通常会掩盖黑盒上过度参数化表示的动态和控制的结构，从而限制了我们理解闭环行为的能力。本文采用混合系统的非线性建模和控制的视图，对问题提供显式层次结构，并将复杂的动态分解为更简单的本地化单元。因此，我们考虑一个序列建模范式，它捕获数据的时间结构，并导出了一种具有非线性边界的随机分段仿射动态系统将非线性动力学自动分解的序列 - 最大化（EM）算法。此外，我们表明，这些时间序列模型自然地承认我们使用的闭环扩展，以通过模仿学习从非线性专家提取本地线性或多项式反馈控制器。最后，我们介绍了一种新的混合地位熵策略搜索（HB-reps）技术，其结合了混合系统的分层性质，并优化了从全局价值函数的局部多项式近似导出的一组时间不变的局部反馈控制器。

We propose a learning-based robust predictive control algorithm that compensates for significant uncertainty in the dynamics for a class of discrete-time systems that are nominally linear with an additive nonlinear component. Such systems commonly model the nonlinear effects of an unknown environment on a nominal system. We optimize over a class of nonlinear feedback policies inspired by certainty equivalent "estimate-and-cancel" control laws pioneered in classical adaptive control to achieve significant performance improvements in the presence of uncertainties of large magnitude, a setting in which existing learning-based predictive control algorithms often struggle to guarantee safety. In contrast to previous work in robust adaptive MPC, our approach allows us to take advantage of structure (i.e., the numerical predictions) in the a priori unknown dynamics learned online through function approximation. Our approach also extends typical nonlinear adaptive control methods to systems with state and input constraints even when we cannot directly cancel the additive uncertain function from the dynamics. We apply contemporary statistical estimation techniques to certify the system's safety through persistent constraint satisfaction with high probability. Moreover, we propose using Bayesian meta-learning algorithms that learn calibrated model priors to help satisfy the assumptions of the control design in challenging settings. Finally, we show in simulation that our method can accommodate more significant unknown dynamics terms than existing methods and that the use of Bayesian meta-learning allows us to adapt to the test environments more rapidly.

我们提出了一种架构，其中导致环境近似模型导出的反馈控制器有助于学习过程来提高其数据效率。我们作为控制辅导Q-Learning（CTQL）的这个架构，在两个替代的口味中呈现。前者是基于定义奖励功能，以便可以使用布尔条件来确定采用控制导师策略，而后者被称为概率CTQL（PCTQL），则是基于与Tutor的执行呼叫学习期间的某些概率。通过考虑在Openai Body中定义的倒挂摆在作为代表性问题，通过验证两种方法，并彻底地反对Q-Learning基准测试。