在这项工作中，我们应对疏忽目标波动战略（电视）的危险证券（电视），风险资产组合和无风险的资金成本，以便在某种程度上保持投资组合的实现波动性的无风险资产等级。TVS风险投资组合组合的不确定性以及每个组件的对冲成本的差异需要解决控制问题以评估期权价格。我们派生了黑色和斯科尔斯（BS）情景问题的分析解决方案。然后，我们使用强化学习（RL）技术来确定导致局部波动率（LV）模型下最保守价格的基金组合物，其中不可用先验解决方案。我们展示了RL代理商的性能如何与通过对电视电视动态应用PATH-WISE BS分析策略而获得的那些兼容，因此在LV场景中也似乎竞争。

由于数据量增加，金融业的快速变化已经彻底改变了数据处理和数据分析的技术，并带来了新的理论和计算挑战。与古典随机控制理论和解决财务决策问题的其他分析方法相比，解决模型假设的财务决策问题，强化学习（RL）的新发展能够充分利用具有更少模型假设的大量财务数据并改善复杂的金融环境中的决策。该调查纸目的旨在审查最近的资金途径的发展和使用RL方法。我们介绍了马尔可夫决策过程，这是许多常用的RL方法的设置。然后引入各种算法，重点介绍不需要任何模型假设的基于价值和基于策略的方法。连接是用神经网络进行的，以扩展框架以包含深的RL算法。我们的调查通过讨论了这些RL算法在金融中各种决策问题中的应用，包括最佳执行，投资组合优化，期权定价和对冲，市场制作，智能订单路由和Robo-Awaring。

我们研究了Wang等人介绍的熵调查的，探索性扩散过程制定的Q-学习（RL）的Q-学习（RL）的持续时间对应物。 （2020）随着常规（大）Q功能在连续的时间崩溃，我们考虑其一阶近似，并在“（小）Q功能”一词中造成术语。此功能与瞬时优势率函数以及哈密顿量有关。我们围绕时间离散化独立于Q功能开发了“ Q学习”理论。鉴于随机策略，我们通过某些随机过程的martingale条件共同表征了相关的Q功能和价值函数。然后，我们将理论应用来设计不同的参与者批评算法来解决潜在的RL问题，具体取决于是否可以明确计算从Q功能产生的Gibbs测量的密度函数。我们的一种算法解释了著名的Q学习算法SARSA，另一个算法恢复了基于政策梯度（PG）在Jia和Zhou（2021）中提出的基于策略梯度（PG）。最后，我们进行了仿真实验，以将我们的算法的性能与JIA和Zhou（2021）中的PG基算法的性能以及时间消化的常规Q学习算法进行比较。

资产分配（或投资组合管理）是确定如何最佳将有限预算的资金分配给一系列金融工具/资产（例如股票）的任务。这项研究调查了使用无模型的深RL代理应用于投资组合管理的增强学习（RL）的性能。我们培训了几个RL代理商的现实股票价格，以学习如何执行资产分配。我们比较了这些RL剂与某些基线剂的性能。我们还比较了RL代理，以了解哪些类别的代理表现更好。从我们的分析中，RL代理可以执行投资组合管理的任务，因为它们的表现明显优于基线代理（随机分配和均匀分配）。四个RL代理（A2C，SAC，PPO和TRPO）总体上优于最佳基线MPT。这显示了RL代理商发现更有利可图的交易策略的能力。此外，基于价值和基于策略的RL代理之间没有显着的性能差异。演员批评者的表现比其他类型的药物更好。同样，在政策代理商方面的表现要好，因为它们在政策评估方面更好，样品效率在投资组合管理中并不是一个重大问题。这项研究表明，RL代理可以大大改善资产分配，因为它们的表现优于强基础。基于我们的分析，在政策上，参与者批评的RL药物显示出最大的希望。

我们提出了一种方法，用于寻找任意初始投资组合和市场国家的最佳对冲政策。我们开发了一种新型的参与者评论算法，用于解决一般的规避风险随机控制问题，并使用它同时学习跨多种风险规避水平的对冲策略。我们在随机波动性环境中以数值示例来证明该方法的有效性。

我们在王等人开发的正规化探索制剂下，研究政策梯度（PG），以便在连续时间和空间中进行加强学习。 （2020）。我们代表值函数的梯度相对于给定的参数化随机策略，作为可以使用样本和当前值函数进行评估的辅助运行奖励函数的预期集成。这有效地将PG转化为策略评估（PE）问题，使我们能够应用贾和周最近开发的Martingale方法来解决我们的PG问题。基于此分析，我们为RL提出了两种类型的演员 - 批评算法，在那里我们同时和交替地学习和更新值函数和策略。第一类型直接基于上述表示，涉及未来的轨迹，因此是离线的。专为在线学习的第二种类型使用了政策梯度的一阶条件，并将其转化为Martingale正交状态。然后在更新策略时使用随机近似并入这些条件。最后，我们通过模拟在两个具体示例中展示了算法。

在机器人，游戏和许多其他地区，加固学习导致各种区域导致相当大的突破。但是在复杂的真实决策中申请RL仍然有限。运营管理中的许多问题（例如，库存和收入管理）的特点是大动作空间和随机系统动态。这些特征使得解决问题的问题很难解决依赖于每步行动问题解决枚举技术的现有RL方法。要解决这些问题，我们开发可编程演员强化学习（PARL），一种策略迭代方法，该方法使用整数编程和示例平均近似的技术。在分析上，我们表明，对于给定的批评者，每个迭代的学习政策会聚到最佳政策，因为不确定性的底层样本转到无穷大。实际上，我们表明，即使来自潜在的不确定性的样本很少，潜在的不确定分布的正确选择的不确定分布可以在最佳的演员政策附近产生。然后，我们将算法应用于具有复杂的供应链结构的现实库存管理问题，并显示Parl优于这些设置中的最先进的RL和库存优化方法。我们发现Parl优于常用的基础股票启发式44.7％，并且在不同供应链环境中平均最高可达的RL方法高达12.1％。

Machine learning frameworks such as Genetic Programming (GP) and Reinforcement Learning (RL) are gaining popularity in flow control. This work presents a comparative analysis of the two, bench-marking some of their most representative algorithms against global optimization techniques such as Bayesian Optimization (BO) and Lipschitz global optimization (LIPO). First, we review the general framework of the model-free control problem, bringing together all methods as black-box optimization problems. Then, we test the control algorithms on three test cases. These are (1) the stabilization of a nonlinear dynamical system featuring frequency cross-talk, (2) the wave cancellation from a Burgers' flow and (3) the drag reduction in a cylinder wake flow. We present a comprehensive comparison to illustrate their differences in exploration versus exploitation and their balance between `model capacity' in the control law definition versus `required complexity'. We believe that such a comparison paves the way toward the hybridization of the various methods, and we offer some perspective on their future development in the literature on flow control problems.

我们开发了一种利用无模型增强学习（RL）解决时间一致风险敏感随机优化问题的方法。具体地，我们假设代理商使用动态凸面风险措施评估一系列随机变量的风险。我们采用时间一致的动态编程原则来确定特定策略的值，并开发策略渐变更新规则。我们进一步开发了一个使用神经网络的演员批评风格算法，以优化策略。最后，我们通过将其应用于统计套利交易和障碍避免机器人控制中的优化问题来证明我们的方法的性能和灵活性。

我们考虑在一个有限时间范围内的离散时间随机动力系统的联合设计和控制。我们将问题作为一个多步优化问题，在寻求识别系统设计和控制政策的不确定性下，共同最大化所考虑的时间范围内收集的预期奖励总和。转换函数，奖励函数和策略都是参数化的，假设与其参数有所不同。然后，我们引入了一种深度加强学习算法，将策略梯度方法与基于模型的优化技术相结合以解决这个问题。从本质上讲，我们的算法迭代地估计通过Monte-Carlo采样和自动分化的预期返回的梯度，并在环境和策略参数空间中投影梯度上升步骤。该算法称为直接环境和策略搜索（DEPS）。我们评估我们算法在三个环境中的性能，分别在三种环境中进行了一个群众弹簧阻尼系统的设计和控制，分别小型离网电力系统和无人机。此外，我们的算法是针对用于解决联合设计和控制问题的最先进的深增强学习算法的基准测试。我们表明，在所有三种环境中，DEPS至少在或更好地执行，始终如一地产生更高的迭代返回的解决方案。最后，通过我们的算法产生的解决方案也与由算法产生的解决方案相比，不共同优化环境和策略参数，突出显示在执行联合优化时可以实现更高返回的事实。

本文介绍了用于交易单一资产的双重Q网络算法，即E-MINI S＆P 500连续期货合约。我们使用经过验证的设置作为我们环境的基础，并具有多个扩展。我们的贸易代理商的功能不断扩展，包括其他资产，例如商品，从而产生了四种型号。我们还应对环境条件，包括成本和危机。我们的贸易代理商首先接受了特定时间段的培训，并根据新数据进行了测试，并将其与长期策略（市场）进行了比较。我们分析了各种模型与样本中/样本外性能之间有关环境的差异。实验结果表明，贸易代理人遵循适当的行为。它可以将其政策调整为不同的情况，例如在存在交易成本时更广泛地使用中性位置。此外，净资产价值超过了基准的净值，代理商在测试集中的市场优于市场。我们使用DDQN算法对代理商在金融领域中的行为提供初步见解。这项研究的结果可用于进一步发展。

我们为可交易仪器的市场模拟器提供了一种数值有效的方法，用于学习最少的等效鞅措施，例如，可交易仪器的市场模拟器。出于在同一底层写入的现货价格和选择。在存在交易成本和交易限制的情况下，我们放松了对学习最低等同的“近马丁措施”的结果，其中预期的回报仍然存在于普遍的出价/询问差价中。我们在高维复杂空间中“去除漂移”的方法完全是无模型的，并且可以应用于任何不展示经典套用的市场模拟器。所产生的模型可用于风险中性定价，或者在交易成本或交易限制的情况下，“深度套期保值”。我们通过将其应用于两个市场模拟器，自动回归离散时间随机隐含的波动率模型和基于生成的对冲网络（GAN）的模拟器来展示我们的方法，这些模拟器都在统计测量下的选项价格的历史数据上培训产生现货和期权价格的现实样本。关于原始市场模拟器的估计误差，我们评论了鲁棒性。

定量融资中最基本的问题之一是存在适合给定一组选择的市场价格的连续时间扩散模型。传统上，人们采用直觉，理论和经验分析的组合来找到实现精确或近似拟合的模型。我们的贡献是展示该问题的合适游戏理论表述如何通过利用现代深层多代理强化学习中的现有发展来帮助解决这个问题，以在随机过程的空间中进行搜索。更重要的是，我们希望社区可以利用和扩展我们的技术来解决该领域的重要问题，例如SPX-VIX校准问题。我们的实验表明，我们能够学习局部波动性，以及在波动率过程中所需的路径依赖性，以最大程度地降低百慕大选项的价格。在一句话中，我们的算法可以看作是粒子方法\`{a} la Guyon et henry-labordere，而粒子而不是被设计为确保$ \ sigma_ {loc}}（t，s_t）^2 = \ mathbb { e} [\ sigma_t^2 | s_t] $，正在学习与更通用校准目标合作的RL驱动的代理。这是第一批使用衍生校准问题桥接加固学习的工作。

具有很多玩家的非合作和合作游戏具有许多应用程序，但是当玩家数量增加时，通常仍然很棘手。由Lasry和Lions以及Huang，Caines和Malham \'E引入的，平均野外运动会（MFGS）依靠平均场外近似值，以使玩家数量可以成长为无穷大。解决这些游戏的传统方法通常依赖于以完全了解模型的了解来求解部分或随机微分方程。最近，增强学习（RL）似乎有望解决复杂问题。通过组合MFGS和RL，我们希望在人口规模和环境复杂性方面能够大规模解决游戏。在这项调查中，我们回顾了有关学习MFG中NASH均衡的最新文献。我们首先确定最常见的设置（静态，固定和进化）。然后，我们为经典迭代方法（基于最佳响应计算或策略评估）提供了一个通用框架，以确切的方式解决MFG。在这些算法和与马尔可夫决策过程的联系的基础上，我们解释了如何使用RL以无模型的方式学习MFG解决方案。最后，我们在基准问题上介绍了数值插图，并以某些视角得出结论。

在过去的十年中，多智能经纪人强化学习（Marl）已经有了重大进展，但仍存在许多挑战，例如高样本复杂性和慢趋同稳定的政策，在广泛的部署之前需要克服，这是可能的。然而，在实践中，许多现实世界的环境已经部署了用于生成策略的次优或启发式方法。一个有趣的问题是如何最好地使用这些方法作为顾问，以帮助改善多代理领域的加强学习。在本文中，我们提供了一个原则的框架，用于将动作建议纳入多代理设置中的在线次优顾问。我们描述了在非传记通用随机游戏环境中提供多种智能强化代理（海军上将）的问题，并提出了两种新的基于Q学习的算法：海军上将决策（海军DM）和海军上将 - 顾问评估（Admiral-AE） ，这使我们能够通过适当地纳入顾问（Admiral-DM）的建议来改善学习，并评估顾问（Admiral-AE）的有效性。我们从理论上分析了算法，并在一般加上随机游戏中提供了关于他们学习的定点保证。此外，广泛的实验说明了这些算法：可以在各种环境中使用，具有对其他相关基线的有利相比的性能，可以扩展到大状态行动空间，并且对来自顾问的不良建议具有稳健性。

这篇科学论文提出了一种新型的投资组合优化模型，使用改进的深钢筋学习算法。优化模型的目标函数是投资组合累积回报的期望和价值的加权总和。所提出的算法基于参与者 - 批判性架构，其中关键网络的主要任务是使用分位数回归学习投资组合累积返回的分布，而Actor网络通过最大化上述目标函数来输出最佳投资组合权重。同时，我们利用线性转换功能来实现资产短销售。最后，使用了一种称为APE-X的多进程方法来加速深度强化学习训练的速度。为了验证我们提出的方法，我们对两个代表性的投资组合进行了重新测试，并观察到这项工作中提出的模型优于基准策略。

强化学习和最近的深度增强学习是解决如Markov决策过程建模的顺序决策问题的流行方法。问题和选择算法和超参数的RL建模需要仔细考虑，因为不同的配置可能需要完全不同的性能。这些考虑因素主要是RL专家的任务;然而，RL在研究人员和系统设计师不是RL专家的其他领域中逐渐变得流行。此外，许多建模决策，例如定义状态和动作空间，批次的大小和批量更新的频率以及时间戳的数量通常是手动进行的。由于这些原因，RL框架的自动化不同组成部分具有重要意义，近年来它引起了很多关注。自动RL提供了一个框架，其中RL的不同组件包括MDP建模，算法选择和超参数优化是自动建模和定义的。在本文中，我们探讨了可以在自动化RL中使用的文献和目前的工作。此外，我们讨论了Autorl中的挑战，打开问题和研究方向。

In this thesis, we consider two simple but typical control problems and apply deep reinforcement learning to them, i.e., to cool and control a particle which is subject to continuous position measurement in a one-dimensional quadratic potential or in a quartic potential. We compare the performance of reinforcement learning control and conventional control strategies on the two problems, and show that the reinforcement learning achieves a performance comparable to the optimal control for the quadratic case, and outperforms conventional control strategies for the quartic case for which the optimal control strategy is unknown. To our knowledge, this is the first time deep reinforcement learning is applied to quantum control problems in continuous real space. Our research demonstrates that deep reinforcement learning can be used to control a stochastic quantum system in real space effectively as a measurement-feedback closed-loop controller, and our research also shows the ability of AI to discover new control strategies and properties of the quantum systems that are not well understood, and we can gain insights into these problems by learning from the AI, which opens up a new regime for scientific research.

通常，在加固学习（RL）中，奖励会随着时间的流逝而使用指数函数来模拟时间偏好，从而限制了预期的长期奖励。相反，在经济学和心理学中，已经表明人类通常采用双曲线折现方案，当假定特定的任务终止时间分布时，这是最佳的。在这项工作中，我们提出了一种基于连续的基于模型的强化学习的理论，将其推广到任意折扣功能。该公式涵盖了存在非指数随机终止时间的情况。我们得出了表征最佳策略的汉密尔顿 - 雅各比 - 贝尔曼（HJB）方程，并描述了如何使用搭配方法来求解它，该方法使用深度学习进行函数近似。此外，我们展示了如何解决逆RL问题，其中人们试图恢复给定决策数据的折现功能的属性。我们在两个模拟问题上验证了我们提出的方法的适用性。我们的方法为分析在顺序决策任务中分析人类折现的道路开辟了道路。

Reinforcement learning (RL) gained considerable attention by creating decision-making agents that maximize rewards received from fully observable environments. However, many real-world problems are partially or noisily observable by nature, where agents do not receive the true and complete state of the environment. Such problems are formulated as partially observable Markov decision processes (POMDPs). Some studies applied RL to POMDPs by recalling previous decisions and observations or inferring the true state of the environment from received observations. Nevertheless, aggregating observations and decisions over time is impractical for environments with high-dimensional continuous state and action spaces. Moreover, so-called inference-based RL approaches require large number of samples to perform well since agents eschew uncertainty in the inferred state for the decision-making. Active inference is a framework that is naturally formulated in POMDPs and directs agents to select decisions by minimising expected free energy (EFE). This supplies reward-maximising (exploitative) behaviour in RL, with an information-seeking (exploratory) behaviour. Despite this exploratory behaviour of active inference, its usage is limited to discrete state and action spaces due to the computational difficulty of the EFE. We propose a unified principle for joint information-seeking and reward maximization that clarifies a theoretical connection between active inference and RL, unifies active inference and RL, and overcomes their aforementioned limitations. Our findings are supported by strong theoretical analysis. The proposed framework's superior exploration property is also validated by experimental results on partial observable tasks with high-dimensional continuous state and action spaces. Moreover, the results show that our model solves reward-free problems, making task reward design optional.