强化学习（RL）旨在通过与环境的互动来找到最佳政策。因此，学习复杂行为需要大量的样本，这在实践中可能是持久的。然而，而不是系统地推理和积极选择信息样本，用于本地搜索的政策梯度通常从随机扰动获得。这些随机样品产生高方差估计，因此在样本复杂性方面是次优。积极选择内容性样本是贝叶斯优化的核心，它构成了过去样本的目标的概率替代物，以推理信息的后来的随后。在本文中，我们建议加入两个世界。我们利用目标函数的概率模型及其梯度开发算法。基于该模型，该算法决定查询嘈杂的零顺序oracle以提高梯度估计。生成的算法是一种新型策略搜索方法，我们与现有的黑盒算法进行比较。比较揭示了改进的样本复杂性和对合成目标的广泛实证评估的差异降低。此外，我们突出了主动抽样对流行的RL基准测试的好处。

使用复杂的数学方法建模的工程问题或者以昂贵的测试或实验为特征，占用有限预算或有限计算资源。此外，行业的实际情景，基于物流和偏好，对可以进行实验的方式施加限制。例如，材料供应可以仅在单次或计算模型的情况下仅实现少量实验，因此可以基于共享计算资源面临显着的等待时间。在这种情况下，一个人通常以允许最大化一个人的知识的方式进行实验，同时满足上述实际限制。实验顺序设计（Sdoe）是一种流行的方法套件，近年来越来越多的不同工程和实际问题。利用贝叶斯形式主义的普通战略是贝叶斯Sdoe，它通常在一步一步的一步中选择单一实验的一步或近视场景中最好的工作。在这项工作中，我们的目标是扩展SDOE策略，以批量输入查询实验或计算机代码。为此，我们利用基于深度加强学习（RL）的政策梯度方法，提出批次选择的查询，以考虑到整个预算。该算法保留了SDOE中固有的顺序性质，同时基于来自深rl域的任务的奖励元素。所提出的方法的独特能力是其应用于多个任务的能力，例如函数的优化，一旦其培训。我们展示了在合成问题上提出了算法的性能，以及挑战的高维工程问题。

在RL的许多实际应用中，观察来自环境的状态过渡是昂贵的。例如，在核聚变的等离子体控制问题中，计算给定的状态对对的下一个状态需要查询昂贵的过渡功能，这可以导致许多小时的计算机模拟或美元科学研究。这种昂贵的数据收集禁止应用标准RL算法，该算法通常需要大量观察来学习。在这项工作中，我们解决了有效地学习策略的问题，同时为转换函数进行最小数量的状态动作查询。特别是，我们利用贝叶斯最优实验设计的想法，以指导选择国家行动查询以获得高效学习。我们提出了一种采集功能，该函数量化了状态动作对将提供多少信息对Markov决策过程提供的最佳解决方案。在每次迭代时，我们的算法最大限度地提高了该采集功能，选择要查询的最具信息性的状态动作对，从而产生数据有效的RL方法。我们试验各种模拟的连续控制问题，并显示我们的方法学习最佳政策，最高$ 5 $ - $ 1,000 \倍的数据，而不是基于模型的RL基线，10 ^ 3美元 - $ 10 ^ 5 \ times比无模型RL基线更少的数据。我们还提供了几种消融比较，这指出了从获得数据的原理方法产生的大量改进。

对于许多强化学习（RL）应用程序，指定奖励是困难的。本文考虑了一个RL设置，其中代理仅通过查询可以询问可以的专家来获取有关奖励的信息，例如，评估单个状态或通过轨迹提供二进制偏好。从如此昂贵的反馈中，我们的目标是学习奖励的模型，允许标准RL算法实现高预期的回报，尽可能少的专家查询。为此，我们提出了信息定向奖励学习（IDRL），它使用奖励的贝叶斯模型，然后选择要最大化信息增益的查询，这些查询是有关合理的最佳策略之间的返回差异的差异。与针对特定类型查询设计的先前主动奖励学习方法相比，IDRL自然地适应不同的查询类型。此外，它通过将焦点转移降低奖励近似误差来实现类似或更好的性能，从而降低奖励近似误差，以改善奖励模型引起的策略。我们支持我们的调查结果，在多个环境中进行广泛的评估，并具有不同的查询类型。

由于其数据效率，贝叶斯优化已经出现在昂贵的黑盒优化的最前沿。近年来，关于新贝叶斯优化算法及其应用的发展的研究激增。因此，本文试图对贝叶斯优化的最新进展进行全面和更新的调查，并确定有趣的开放问题。我们将贝叶斯优化的现有工作分为九个主要群体，并根据所提出的算法的动机和重点。对于每个类别，我们介绍了替代模型的构建和采集功能的适应的主要进步。最后，我们讨论了开放的问题，并提出了有希望的未来研究方向，尤其是在分布式和联合优化系统中的异质性，隐私保护和公平性方面。

变化的条件或环境会导致系统动态随着时间而变化。为了确保最佳控制性能，控制器应适应这些更改。当不明变化的基本原因和时间未知时，我们需要依靠在线数据进行适应。在本文中，我们将使用随时间变化的贝叶斯优化（TVBO）在不断变化的环境中在线调整控制器，并使用有关控制目标及其更改的适当先验知识。两种属性是许多在线控制器调整问题的特征：首先，由于系统动力学的变化，例如通过磨损，它们在目标上表现出增量和持久的变化。其次，优化问题是调谐参数中的凸。当前的TVBO方法不会明确考虑这些属性，从而通过过度探索参数空间导致调谐性能和许多不稳定的控制器。我们建议使用不确定性注入（UI）的新型TVBO遗忘策略，该策略结合了增量和持久变化的假设。控制目标通过时间结构域中的维也纳工艺建模为使用UI的时空高斯过程（GP）。此外，我们通过与线性不等式约束的GP模型明确对空间维度中的凸度假设进行建模。在数值实验中，我们表明我们的模型优于TVBO中的最新方法，表现出减少的遗憾和更少的不稳定参数配置。

Bayesian Optimization is a useful tool for experiment design. Unfortunately, the classical, sequential setting of Bayesian Optimization does not translate well into laboratory experiments, for instance battery design, where measurements may come from different sources and their evaluations may require significant waiting times. Multi-fidelity Bayesian Optimization addresses the setting with measurements from different sources. Asynchronous batch Bayesian Optimization provides a framework to select new experiments before the results of the prior experiments are revealed. This paper proposes an algorithm combining multi-fidelity and asynchronous batch methods. We empirically study the algorithm behavior, and show it can outperform single-fidelity batch methods and multi-fidelity sequential methods. As an application, we consider designing electrode materials for optimal performance in pouch cells using experiments with coin cells to approximate battery performance.

信息理论的贝叶斯优化技术因其非洋流品质而变得越来越流行，以优化昂贵的黑盒功能。熵搜索和预测性熵搜索都考虑了输入空间中最佳的熵，而最新的最大值熵搜索则考虑了输出空间中最佳值的熵。我们提出了联合熵搜索（JES），这是一种新的信息理论采集函数，它考虑了全新的数量，即输入和输出空间上关节最佳概率密度的熵。为了结合此信息，我们考虑从幻想的最佳输入/输出对条件下的熵减少。最终的方法主要依赖于标准的GP机械，并去除通常与信息理论方法相关的复杂近似值。凭借最少的计算开销，JES展示了卓越的决策，并在各种任务中提供了信息理论方法的最新性能。作为具有出色结果的轻重量方法，JES为贝叶斯优化提供了新的首选功能。

Bayesian Optimization（Bo）是全球优化昂贵的客观功能的框架。古典BO方法假设客观函数是一个黑匣子。但是，有关客观函数计算的内部信息通常可用。例如，在使用模拟优化制造行的吞吐量时，除了整体吞吐量之外，我们还会观察每个工作站等待等待的部件数。最近的BO方法利用此类内部信息显着提高性能。我们称之为这些“灰盒”BO方法，因为它们将客观计算视为部分可观察且甚至可修改，将黑盒方法与所谓的“白盒”的第一原理进行客观函数计算的知识。本教程描述了这些方法，专注于复合物镜功能的博，其中可以观察和选择性地评估饲喂整体目标的单个成分;和多保真博，其中一个人可以通过改变评估oracle的参数来评估目标函数的更便宜的近似。

机器学习算法中多个超参数的最佳设置是发出大多数可用数据的关键。为此目的，已经提出了几种方法，例如进化策略，随机搜索，贝叶斯优化和启发式拇指规则。在钢筋学习（RL）中，学习代理在与其环境交互时收集的数据的信息内容严重依赖于许多超参数的设置。因此，RL算法的用户必须依赖于基于搜索的优化方法，例如网格搜索或Nelder-Mead单简单算法，这对于大多数R1任务来说是非常效率的，显着减慢学习曲线和离开用户的速度有目的地偏见数据收集的负担。在这项工作中，为了使RL算法更加用户独立，提出了一种使用贝叶斯优化的自主超参数设置的新方法。来自过去剧集和不同的超参数值的数据通过执行行为克隆在元学习水平上使用，这有助于提高最大化获取功能的加强学习变体的有效性。此外，通过紧密地整合在加强学习代理设计中的贝叶斯优化，还减少了收敛到给定任务的最佳策略所需的状态转换的数量。与其他手动调整和基于优化的方法相比，计算实验显示了有希望的结果，这突出了改变算法超级参数来增加所生成数据的信息内容的好处。

Machine learning frameworks such as Genetic Programming (GP) and Reinforcement Learning (RL) are gaining popularity in flow control. This work presents a comparative analysis of the two, bench-marking some of their most representative algorithms against global optimization techniques such as Bayesian Optimization (BO) and Lipschitz global optimization (LIPO). First, we review the general framework of the model-free control problem, bringing together all methods as black-box optimization problems. Then, we test the control algorithms on three test cases. These are (1) the stabilization of a nonlinear dynamical system featuring frequency cross-talk, (2) the wave cancellation from a Burgers' flow and (3) the drag reduction in a cylinder wake flow. We present a comprehensive comparison to illustrate their differences in exploration versus exploitation and their balance between `model capacity' in the control law definition versus `required complexity'. We believe that such a comparison paves the way toward the hybridization of the various methods, and we offer some perspective on their future development in the literature on flow control problems.

本文讨论了具有丰富记录数据的域中的政策选择问题，但互动预算有限。解决此问题将在行业，机器人和推荐领域中安全评估和部署离线强化学习政策等。已经提出了几种违规评估（OPE）技术以评估仅使用记录数据的策略的值。然而，OPE的评估与真实环境中的完整在线评估之间仍然存在巨大差距。然而，在实践中通常不可能进行大量的在线互动。为了克服这个问题，我们介绍了\ emph {主动脱机策略选择} - 一种新的顺序决策方法，将记录数据与在线交互相结合，以识别最佳策略。这种方法使用ope估计来热启动在线评估。然后，为了利用有限的环境相互作用，我们决定基于具有表示政策相似性的内核函数的贝叶斯优化方法来评估哪个策略。我们使用大量候选政策的多个基准，以表明所提出的方法提高了最先进的OPE估计和纯在线策略评估。

贝叶斯优化（BO）被广泛用于优化随机黑匣子功能。尽管大多数BO方法都集中在优化条件期望上，但许多应用程序都需要规避风险的策略，并且需要考虑分配尾巴的替代标准。在本文中，我们提出了针对贝叶斯分位数和预期回归的新变异模型，这些模型非常适合异形的噪声设置。我们的模型分别由有条件分位数（或期望）的两个潜在高斯过程和不对称可能性函数的比例参数组成。此外，我们提出了基于最大值熵搜索和汤普森采样的两种BO策略，这些策略是针对此类型号量身定制的，可以容纳大量点。与现有的BO进行规避风险优化的方法相反，我们的策略可以直接针对分位数和预期进行优化，而无需复制观测值或假设噪声的参数形式。如实验部分所示，所提出的方法清楚地表现出异质的非高斯案例中的最新状态。

In robotics, optimizing controller parameters under safety constraints is an important challenge. Safe Bayesian optimization (BO) quantifies uncertainty in the objective and constraints to safely guide exploration in such settings. Hand-designing a suitable probabilistic model can be challenging, however. In the presence of unknown safety constraints, it is crucial to choose reliable model hyper-parameters to avoid safety violations. Here, we propose a data-driven approach to this problem by meta-learning priors for safe BO from offline data. We build on a meta-learning algorithm, F-PACOH, capable of providing reliable uncertainty quantification in settings of data scarcity. As core contribution, we develop a novel framework for choosing safety-compliant priors in a data-riven manner via empirical uncertainty metrics and a frontier search algorithm. On benchmark functions and a high-precision motion system, we demonstrate that our meta-learned priors accelerate the convergence of safe BO approaches while maintaining safety.

为设计控制器选择适当的参数集对于最终性能至关重要，但通常需要一个乏味而仔细的调整过程，这意味着强烈需要自动调整方法。但是，在现有方法中，无衍生物的可扩展性或效率低下，而基于梯度的方法可能由于可能是非差异的控制器结构而无法使用。为了解决问题，我们使用新颖的无衍生化强化学习（RL）框架来解决控制器调整问题，该框架在经验收集过程中在参数空间中执行时间段的扰动，并将无衍生策略更新集成到高级参与者 - 批判性RL中实现高多功能性和效率的体系结构。为了证明该框架的功效，我们在自动驾驶的两个具体示例上进行数值实验，即使用PID控制器和MPC控制器进行轨迹跟踪的自适应巡航控制。实验结果表明，所提出的方法的表现优于流行的基线，并突出了其强大的控制器调整潜力。

贝叶斯优化是一种全球优化未知和昂贵目标的方法。它结合了替代贝叶斯回归模型与采集函数，以决定在哪里评估目标。典型的回归模型是具有固定协方差函数的高斯流程，但是，该过程无法表达事先的输入依赖性信息，特别是有关最佳位置的信息。固定模型的普遍性导致了通过信息丰富的均值功能利用先验信息的共同实践。在本文中，我们强调说，这些模型会导致性能差，尤其是在高维度中。我们提出了新颖的信息协方差函数，以利用非平稳性来编码搜索空间某些区域的偏好，并在优化期间自适应促进局部探索。我们证明，即使在弱的先验信息下，它们也可以在高维度中提高优化的样本效率。

由于数据量增加，金融业的快速变化已经彻底改变了数据处理和数据分析的技术，并带来了新的理论和计算挑战。与古典随机控制理论和解决财务决策问题的其他分析方法相比，解决模型假设的财务决策问题，强化学习（RL）的新发展能够充分利用具有更少模型假设的大量财务数据并改善复杂的金融环境中的决策。该调查纸目的旨在审查最近的资金途径的发展和使用RL方法。我们介绍了马尔可夫决策过程，这是许多常用的RL方法的设置。然后引入各种算法，重点介绍不需要任何模型假设的基于价值和基于策略的方法。连接是用神经网络进行的，以扩展框架以包含深的RL算法。我们的调查通过讨论了这些RL算法在金融中各种决策问题中的应用，包括最佳执行，投资组合优化，期权定价和对冲，市场制作，智能订单路由和Robo-Awaring。

贝叶斯优化（BO）已成为许多昂贵现实世界功能的全球优化的流行策略。与普遍认为BO适合优化黑框功能的信念相反，它实际上需要有关这些功能特征的域知识才能成功部署BO。这样的领域知识通常表现在高斯流程先验中，这些先验指定了有关功能的初始信念。但是，即使有专家知识，选择先验也不是一件容易的事。对于复杂的机器学习模型上的超参数调谐问题尤其如此，在这种模型中，调整目标的景观通常很难理解。我们寻求一种设定这些功能性先验的替代实践。特别是，我们考虑了从类似功能的数据中，使我们可以先验地进行更紧密的分布。从理论上讲，我们与预先训练的先验表示对BO的遗憾。为了验证我们在现实的模型培训设置中的方法，我们通过训练在流行图像和文本数据集上的数以万计的近状态模型配置来收集了大型多任务超参数调谐数据集，以及蛋白质序列数据集。我们的结果表明，平均而言，我们的方法能够比最佳竞争方法更有效地定位良好的超参数。

贝叶斯优化是黑匣子功能优化的流行框架。多重方法方法可以通过利用昂贵目标功能的低保真表示来加速贝叶斯优化。流行的多重贝叶斯策略依赖于采样政策，这些策略解释了在特定意见下评估目标函数的立即奖励，从而排除了更多的信息收益，这些收益可能会获得更多的步骤。本文提出了一个非侧重多倍数贝叶斯框架，以掌握优化的未来步骤的长期奖励。我们的计算策略具有两步的lookahead多因素采集函数，可最大程度地提高累积奖励，从而测量解决方案的改进，超过了前面的两个步骤。我们证明，所提出的算法在流行的基准优化问题上优于标准的多尺寸贝叶斯框架。

计算高效的非近视贝叶斯优化（BO）的最新进展提高了传统近视方法的查询效率，如预期的改进，同时仅适度提高计算成本。然而，这些进展在很大程度上是有限的，因为不受约束的优化。对于约束优化，少数现有的非近视博方法需要重量计算。例如，一个现有的非近视约束BO方法[LAM和Willcox，2017]依赖于计算昂贵的不可靠的暴力衍生物的无可靠性衍生物优化蒙特卡罗卷展卷采集功能。使用Reparameterization技巧进行更有效的基于衍生物的优化的方法，如在不受约束的环境中，如样本平均近似和无限扰动分析，不扩展：约束在取样的采集功能表面中引入阻碍其优化的不连续性。此外，我们认为非近视在受限制问题中更为重要，因为违反限制的恐惧将近视方法推动了可行和不可行区域之间的边界，减缓了具有严格约束的最佳解决方案的发现。在本文中，我们提出了一种计算的有效的两步保护受限贝叶斯优化采集功能（2-OPT-C）支持顺序和批处理设置。为了实现快速采集功能优化，我们开发了一种新的基于似然比的非偏见估计，其两步最佳采集函数的梯度不使用Reparameterization技巧。在数值实验中，2-OPT-C通常通过先前的方法通过2倍或更多的查询效率，并且在某些情况下通过10倍或更大。