通过提供流动性，市场制造商在金融市场中发挥着关键作用。他们通常填写订单书籍，以购买和出售限额订单，以便为交易员提供替代价格水平来运营。本文精确地侧重于从基于代理人的角度研究这些市场制造商战略的研究。特别是，我们提出了加强学习（RL）在模拟股市中创建智能市场标志的应用。本研究分析了RL市场制造商代理在非竞争性（同时只有一个RL市场制造商学习）和竞争方案（同时学习的多个RL市场标记）以及如何调整其在SIM2REAL范围内的策略有很有趣的结果。此外，它涵盖了不同实验之间的政策转移的应用，描述了竞争环境对RL代理表现的影响。 RL和Deep RL技术被证明是有利可图的市场制造商方法，从而更好地了解他们在股票市场的行为。

由于数据量增加，金融业的快速变化已经彻底改变了数据处理和数据分析的技术，并带来了新的理论和计算挑战。与古典随机控制理论和解决财务决策问题的其他分析方法相比，解决模型假设的财务决策问题，强化学习（RL）的新发展能够充分利用具有更少模型假设的大量财务数据并改善复杂的金融环境中的决策。该调查纸目的旨在审查最近的资金途径的发展和使用RL方法。我们介绍了马尔可夫决策过程，这是许多常用的RL方法的设置。然后引入各种算法，重点介绍不需要任何模型假设的基于价值和基于策略的方法。连接是用神经网络进行的，以扩展框架以包含深的RL算法。我们的调查通过讨论了这些RL算法在金融中各种决策问题中的应用，包括最佳执行，投资组合优化，期权定价和对冲，市场制作，智能订单路由和Robo-Awaring。

我们展示了一个新的财务框架，其中两个基于RL的代理商代表流动资金提供者和流动性的代理商同时学习，以满足他们的目标。由于参数化奖励制定和深度RL的使用，每组都会学习一个能够概括和插入广泛行为的共享政策。这是一步迈向全基于RL的市场模拟器复制复杂的市场条件，特别适合在各种情况下研究金融市场的动态。

提出了一个新颖的框架，用于使用模仿的增强学习（RL）解决最佳执行和放置问题。从拟议的框架中训练的RL代理商在执行成本中始终优于行业基准计时加权平均价格（TWAP）策略，并在样本外交易日期和股票方面表现出了巨大的概括。从三个方面实现了令人印象深刻的表现。首先，我们的RL网络架构称为双窗口Denoise PPO在嘈杂的市场环境中启用了有效的学习。其次，设计了模仿学习的奖励计划，并研究了一组全面的市场功能。第三，我们的灵活动作公式使RL代理能够解决最佳执行和放置，从而使性能更好地比分别解决个体问题。 RL代理的性能在我们的多代理现实历史限制顺序模拟器中进行了评估，在该模拟器中，对价格影响进行了准确评估。此外，还进行了消融研究，证实了我们框架的优势。

资产分配（或投资组合管理）是确定如何最佳将有限预算的资金分配给一系列金融工具/资产（例如股票）的任务。这项研究调查了使用无模型的深RL代理应用于投资组合管理的增强学习（RL）的性能。我们培训了几个RL代理商的现实股票价格，以学习如何执行资产分配。我们比较了这些RL剂与某些基线剂的性能。我们还比较了RL代理，以了解哪些类别的代理表现更好。从我们的分析中，RL代理可以执行投资组合管理的任务，因为它们的表现明显优于基线代理（随机分配和均匀分配）。四个RL代理（A2C，SAC，PPO和TRPO）总体上优于最佳基线MPT。这显示了RL代理商发现更有利可图的交易策略的能力。此外，基于价值和基于策略的RL代理之间没有显着的性能差异。演员批评者的表现比其他类型的药物更好。同样，在政策代理商方面的表现要好，因为它们在政策评估方面更好，样品效率在投资组合管理中并不是一个重大问题。这项研究表明，RL代理可以大大改善资产分配，因为它们的表现优于强基础。基于我们的分析，在政策上，参与者批评的RL药物显示出最大的希望。

我们考虑单个强化学习与基于事件驱动的代理商金融市场模型相互作用时学习最佳执行代理的学习动力。交易在事件时间内通过匹配引擎进行异步进行。最佳执行代理在不同级别的初始订单尺寸和不同尺寸的状态空间上进行考虑。使用校准方法考虑了对基于代理的模型和市场的影响，该方法探讨了经验性风格化事实和价格影响曲线的变化。收敛，音量轨迹和动作痕迹图用于可视化学习动力学。这表明了最佳执行代理如何在模拟的反应性市场框架内学习最佳交易决策，以及如何通过引入战略订单分类来改变模拟市场的反反应。

本文介绍了用于交易单一资产的双重Q网络算法，即E-MINI S＆P 500连续期货合约。我们使用经过验证的设置作为我们环境的基础，并具有多个扩展。我们的贸易代理商的功能不断扩展，包括其他资产，例如商品，从而产生了四种型号。我们还应对环境条件，包括成本和危机。我们的贸易代理商首先接受了特定时间段的培训，并根据新数据进行了测试，并将其与长期策略（市场）进行了比较。我们分析了各种模型与样本中/样本外性能之间有关环境的差异。实验结果表明，贸易代理人遵循适当的行为。它可以将其政策调整为不同的情况，例如在存在交易成本时更广泛地使用中性位置。此外，净资产价值超过了基准的净值，代理商在测试集中的市场优于市场。我们使用DDQN算法对代理商在金融领域中的行为提供初步见解。这项研究的结果可用于进一步发展。

多代理系统（例如自动驾驶或工厂）作为服务的一些最相关的应用程序显示混合动机方案，代理商可能具有相互矛盾的目标。在这些环境中，代理可能会在独立学习下的合作方面学习不良的结果，例如过度贪婪的行为。在现实世界社会的动机中，在这项工作中，我们建议利用市场力量为代理商成为合作的激励措施。正如囚犯困境的迭代版本所证明的那样，拟议的市场配方可以改变游戏的动力，以始终如一地学习合作政策。此外，我们在空间和时间扩展的设置中评估了不同数量的代理的方法。我们从经验上发现，市场的存在可以通过其交易活动改善总体结果和代理人的回报。

在本文中，我们开发了一个模块化框架，用于将强化学习应用于最佳贸易执行问题。该框架的设计考虑了灵活性，以便简化不同的仿真设置的实现。我们不关注代理和优化方法，而是专注于环境，并分解必要的要求，以模拟在强化学习框架下的最佳贸易执行，例如数据预处理，观察结果的构建，行动处理，儿童订单执行，模拟，模拟我们给出了每个组件的示例，探索他们的各个实现\＆它们之间的相互作用所带来的困难，并讨论每个组件在模拟中引起的不同现象，并突出了模拟与行为之间的分歧，并讨论了不同的现象。真正的市场。我们通过设置展示我们的模块化实施，该设置是按照时间加权的平均价格（TWAP）提交时间表，允许代理人专门放置限制订单，并通过迭代的迭代来模拟限制订单（LOB）（LOB）和根据相同的时间表，将奖励计算为TWAP基准算法所达到的价格的\ $改进。我们还制定了评估程序，以在培训视野的间隔内纳入给定代理的迭代重新训练和评估，并模仿代理在随着新市场数据的可用而连续再培训时的行为，并模拟算法提供者是限制的监测实践在当前的监管框架下执行。

在本文中，多种子体增强学习用于控制混合能量存储系统，通过最大化可再生能源和交易的价值来降低微电网的能量成本。该代理商必须学习在波动需求，动态批发能源价格和不可预测的可再生能源中，控制三种不同类型的能量存储系统。考虑了两种案例研究：首先看能量存储系统如何在动态定价下更好地整合可再生能源发电，第二种与这些同一代理商如何与聚合剂一起使用，以向自私外部微电网销售能量的能量减少自己的能源票据。这项工作发现，具有分散执行的多代理深度确定性政策梯度的集中学习及其最先进的变体允许多种代理方法显着地比来自单个全局代理的控制更好。还发现，在多种子体方法中使用单独的奖励功能比使用单个控制剂更好。还发现能够与其他微电网交易，而不是卖回实用电网，也发现大大增加了网格的储蓄。

近年来，可解释的人工智能（XAI）研究因对用户社区对AI的更高透明度和信任的需求而获得了突出性。这尤其重要，因为AI在金融，医学等敏感领域采用，在这种敏感领域，对社会，道德和安全的影响是巨大的。经过彻底的系统评估，XAI的工作主要集中于机器学习（ML）进行分类，决策或行动。据我们所知，没有任何据报道提供可解释的加固学习（XRL）方法来交易金融股票的方法。在本文中，我们提议在流行的深层增强学习体系结构，深Q网络（DQN）上采用Shapley添加说明（SHAP），以解释代理商在给定实例中在金融股票交易中的行动。为了证明我们方法的有效性，我们在两个流行的数据集（即Sensex和DJIA）上对其进行了测试，并报告了结果。

这篇科学论文提出了一种新型的投资组合优化模型，使用改进的深钢筋学习算法。优化模型的目标函数是投资组合累积回报的期望和价值的加权总和。所提出的算法基于参与者 - 批判性架构，其中关键网络的主要任务是使用分位数回归学习投资组合累积返回的分布，而Actor网络通过最大化上述目标函数来输出最佳投资组合权重。同时，我们利用线性转换功能来实现资产短销售。最后，使用了一种称为APE-X的多进程方法来加速深度强化学习训练的速度。为了验证我们提出的方法，我们对两个代表性的投资组合进行了重新测试，并观察到这项工作中提出的模型优于基准策略。

加固学习在机器学习中推动了令人印象深刻的进步。同时，量子增强机学习算法使用量子退火的底层划伤。最近，已经提出了一种组合两个范例的多代理强化学习（MARL）架构。这种新的算法利用Q值近似的量子Boltzmann机器（QBMS）在收敛所需的时间步长方面具有优于常规的深度增强学习。但是，该算法仅限于单代理和小型2x2多代理网格域。在这项工作中，我们提出了对原始概念的延伸，以解决更具挑战性问题。类似于Classic DQN，我们添加了重播缓冲区的体验，并使用不同的网络来估计目标和策略值。实验结果表明，学习变得更加稳定，使代理能够在具有更高复杂性的网格域中找到最佳策略。此外，我们还评估参数共享如何影响多代理域中的代理行为。量子采样证明是一种有希望的加强学习任务的方法，但目前受到QPU尺寸的限制，因此通过输入和Boltzmann机器的大小。

在过去的十年中，多智能经纪人强化学习（Marl）已经有了重大进展，但仍存在许多挑战，例如高样本复杂性和慢趋同稳定的政策，在广泛的部署之前需要克服，这是可能的。然而，在实践中，许多现实世界的环境已经部署了用于生成策略的次优或启发式方法。一个有趣的问题是如何最好地使用这些方法作为顾问，以帮助改善多代理领域的加强学习。在本文中，我们提供了一个原则的框架，用于将动作建议纳入多代理设置中的在线次优顾问。我们描述了在非传记通用随机游戏环境中提供多种智能强化代理（海军上将）的问题，并提出了两种新的基于Q学习的算法：海军上将决策（海军DM）和海军上将 - 顾问评估（Admiral-AE） ，这使我们能够通过适当地纳入顾问（Admiral-DM）的建议来改善学习，并评估顾问（Admiral-AE）的有效性。我们从理论上分析了算法，并在一般加上随机游戏中提供了关于他们学习的定点保证。此外，广泛的实验说明了这些算法：可以在各种环境中使用，具有对其他相关基线的有利相比的性能，可以扩展到大状态行动空间，并且对来自顾问的不良建议具有稳健性。

本文为做市商在订单驱动的市场中的行动介绍了新的代表。该代表使用缩放的beta分布，并在人工智能中采用了三种用于市场创作文献的方法：单价选择，梯子策略和“接触市场的市场制作”。梯子策略在连续价格的间隔内放置统一的体积。基于beta分布的缩放策略将这些策略推广，从而使数量在整个价格间隔内偏斜。我们证明，这种灵活性对于库存管理很有用，库存管理是做市商面临的主要挑战之一。在本文中，我们进行了三个主要实验：首先，我们将基于Beta的动作与阶梯策略的特殊情况进行比较；然后，我们研究了简单固定分布的性能；最后，我们设计和评估了一种简单而直观的动态控制政策，该政策以营销商获得的签名库存来连续调整操作。所有经验评估都基于历史数据，每一侧都有50个级别的历史数据。

分布式多智能经纪增强学习（Marl）算法最近引起了兴趣激增，主要是由于深神经网络（DNN）的最新进步。由于利用固定奖励模型来学习基础值函数，传统的基于模型（MB）或无模型（MF）RL算法不可直接适用于MARL问题。虽然涉及单一代理时，基于DNN的解决方案完全良好地表现出，但是这种方法无法完全推广到MARL问题的复杂性。换句话说，尽管最近的基于DNN的DNN用于多种子体环境的方法取得了卓越的性能，但它们仍然容易出现过度，对参数选择的高敏感性，以及样本低效率。本文提出了多代理自适应Kalman时间差（MAK-TD）框架及其继任者表示的基于代表的变体，称为MAK-SR。直观地说，主要目标是利用卡尔曼滤波（KF）的独特特征，如不确定性建模和在线二阶学习。提议的MAK-TD / SR框架考虑了与高维多算法环境相关联的动作空间的连续性，并利用卡尔曼时间差（KTD）来解决参数不确定性。通过利用KTD框架，SR学习过程被建模到过滤问题，其中径向基函数（RBF）估计器用于将连续空间编码为特征向量。另一方面，对于学习本地化奖励功能，我们求助于多种模型自适应估计（MMAE），处理缺乏关于观察噪声协方差和观察映射功能的先前知识。拟议的MAK-TD / SR框架通过多个实验进行评估，该实验通过Openai Gym Marl基准实施。

安全是空中交通时的主要问题。通过成对分离最小值确保无人驾驶飞机（无人机）之间的飞行安全性，利用冲突检测和分辨方法。现有方法主要处理成对冲突，但由于交通密度的预期增加，可能会发生两个以上的无人机的遇到。在本文中，我们将多UAV冲突解决模型作为多功能加强学习问题。我们实现了一种基于图形神经网络的算法，配合代理可以与共同生成分辨率的操作进行通信。该模型在具有3和4个当前代理的情况下进行评估。结果表明，代理商能够通过合作策略成功解决多UV冲突。

最佳市场制造的随机控制问题是定量融资的核心问题之一。在本文中，对基于强化的学习控制器进行了培训，该控制器受到弱一致的多元鹰队基于过程的限制订单模拟器的培训，以获得市场制作控制。拟议的方法利用了蒙特卡洛进行了重新测试的优势，并有助于在弱一致的限制订单簿模型下进行市场开发的研究线。随后的深入增强学习控制器与多个市场制作基准进行了比较，结果表明，即使在大量的交易成本下，它在各种风险奖励指标方面都具有出色的性能。

More and more stock trading strategies are constructed using deep reinforcement learning (DRL) algorithms, but DRL methods originally widely used in the gaming community are not directly adaptable to financial data with low signal-to-noise ratios and unevenness, and thus suffer from performance shortcomings. In this paper, to capture the hidden information, we propose a DRL based stock trading system using cascaded LSTM, which first uses LSTM to extract the time-series features from stock daily data, and then the features extracted are fed to the agent for training, while the strategy functions in reinforcement learning also use another LSTM for training. Experiments in DJI in the US market and SSE50 in the Chinese stock market show that our model outperforms previous baseline models in terms of cumulative returns and Sharp ratio, and this advantage is more significant in the Chinese stock market, a merging market. It indicates that our proposed method is a promising way to build a automated stock trading system.

With the development of deep representation learning, the domain of reinforcement learning (RL) has become a powerful learning framework now capable of learning complex policies in high dimensional environments. This review summarises deep reinforcement learning (DRL) algorithms and provides a taxonomy of automated driving tasks where (D)RL methods have been employed, while addressing key computational challenges in real world deployment of autonomous driving agents. It also delineates adjacent domains such as behavior cloning, imitation learning, inverse reinforcement learning that are related but are not classical RL algorithms. The role of simulators in training agents, methods to validate, test and robustify existing solutions in RL are discussed.