最佳执行是算法交易中节省成本的顺序决策问题。研究发现，加强学习（RL）可以帮助确定订单分类的大小。但是，问题尚未解决：如何以适当的限制价格下达限额订单？关键挑战在于动作空间的“连续折叠双重性”。一方面，使用价格变化百分比变化的连续行动空间是概括。另一方面，交易者最终需要离散地选择限制价格，这是由于tick尺寸的存在，这需要对每个具有不同特征（例如流动性和价格范围）的单人进行专业化。因此，我们需要连续控制进行概括和离散控制以进行专业化。为此，我们提出了一种混合RL方法来结合两者的优势。我们首先使用连续的控制代理来范围范围，然后部署细粒代理以选择特定的限制价格。广泛的实验表明，与现有的RL算法相比，我们的方法具有更高的样本效率和更好的训练稳定性，并且显着优于先前基于学习的方法的订单执行方法。

提出了一个新颖的框架，用于使用模仿的增强学习（RL）解决最佳执行和放置问题。从拟议的框架中训练的RL代理商在执行成本中始终优于行业基准计时加权平均价格（TWAP）策略，并在样本外交易日期和股票方面表现出了巨大的概括。从三个方面实现了令人印象深刻的表现。首先，我们的RL网络架构称为双窗口Denoise PPO在嘈杂的市场环境中启用了有效的学习。其次，设计了模仿学习的奖励计划，并研究了一组全面的市场功能。第三，我们的灵活动作公式使RL代理能够解决最佳执行和放置，从而使性能更好地比分别解决个体问题。 RL代理的性能在我们的多代理现实历史限制顺序模拟器中进行了评估，在该模拟器中，对价格影响进行了准确评估。此外，还进行了消融研究，证实了我们框架的优势。

在本文中，我们开发了一个模块化框架，用于将强化学习应用于最佳贸易执行问题。该框架的设计考虑了灵活性，以便简化不同的仿真设置的实现。我们不关注代理和优化方法，而是专注于环境，并分解必要的要求，以模拟在强化学习框架下的最佳贸易执行，例如数据预处理，观察结果的构建，行动处理，儿童订单执行，模拟，模拟我们给出了每个组件的示例，探索他们的各个实现\＆它们之间的相互作用所带来的困难，并讨论每个组件在模拟中引起的不同现象，并突出了模拟与行为之间的分歧，并讨论了不同的现象。真正的市场。我们通过设置展示我们的模块化实施，该设置是按照时间加权的平均价格（TWAP）提交时间表，允许代理人专门放置限制订单，并通过迭代的迭代来模拟限制订单（LOB）（LOB）和根据相同的时间表，将奖励计算为TWAP基准算法所达到的价格的\ $改进。我们还制定了评估程序，以在培训视野的间隔内纳入给定代理的迭代重新训练和评估，并模仿代理在随着新市场数据的可用而连续再培训时的行为，并模拟算法提供者是限制的监测实践在当前的监管框架下执行。

强化学习（RL）技术在许多具有挑战性的定量交易任务（例如投资组合管理和算法交易）中取得了巨大的成功。尤其是，由于金融市场的盘中行为反映了数十亿个快速波动的首都，所以盘中交易是最有利可图和风险的任务之一。但是，绝大多数现有的RL方法都集中在相对较低的频率交易方案（例如日级），并且由于两个主要挑战而无法捕获短暂的盘中投资机会：1）如何有效地培训额外的RL额外的RL代理，以供日盘培训。投资决策，涉及高维良好的动作空间； 2）如何学习有意义的多模式市场表示，以了解tick级金融市场的盘中行为。在专业人类盘中交易者的有效工作流程中，我们提出了DeepScalper，这是一个深入的加强学习框架，用于解决上述挑战。具体而言，DeepScalper包括四个组成部分：1）针对行动分支的决斗Q-Network，以应对日内交易的大型动作空间，以进行有效的RL优化； 2）带有事后奖励的新型奖励功能，以鼓励RL代理商在整个交易日的长期范围内做出交易决策； 3）一个编码器架构架构，用于学习多模式的临时市场嵌入，其中既包含宏观级别和微型市场信息； 4）在最大化利润和最小化风险之间保持惊人平衡的风险意识辅助任务。通过对六个金融期货的三年来真实世界数据的广泛实验，我们证明，在四个财务标准方面，DeepScalper显着优于许多最先进的基线。

由于数据量增加，金融业的快速变化已经彻底改变了数据处理和数据分析的技术，并带来了新的理论和计算挑战。与古典随机控制理论和解决财务决策问题的其他分析方法相比，解决模型假设的财务决策问题，强化学习（RL）的新发展能够充分利用具有更少模型假设的大量财务数据并改善复杂的金融环境中的决策。该调查纸目的旨在审查最近的资金途径的发展和使用RL方法。我们介绍了马尔可夫决策过程，这是许多常用的RL方法的设置。然后引入各种算法，重点介绍不需要任何模型假设的基于价值和基于策略的方法。连接是用神经网络进行的，以扩展框架以包含深的RL算法。我们的调查通过讨论了这些RL算法在金融中各种决策问题中的应用，包括最佳执行，投资组合优化，期权定价和对冲，市场制作，智能订单路由和Robo-Awaring。

随着可再生能源的延伸升幅，盘中电市场在交易商和电力公用事业中录得不断增长的普及，以应对能源供应的诱导波动。通过其短途交易地平线和持续的性质，盘中市场提供了调整日前市场的交易决策的能力，或者在短期通知中降低交易风险。通过根据当前预测修改其提供的能力，可再生能源的生产者利用盘中市场降低预测风险。然而，由于电网必须保持稳定，电力仅部分可存储，因此市场动态很复杂。因此，需要在盘区市场中运营的强大和智能交易策略。在这项工作中，我们提出了一种基于深度加强学习（DRL）算法的新型自主交易方法作为可能的解决方案。为此目的，我们将盘区贸易塑造为马尔可夫决策问题（MDP），并采用近端策略优化（PPO）算法作为我们的DRL方法。介绍了一种模拟框架，使得连续盘整价格的分辨率提供一分钟步骤。从风园运营商的角度来看，我们在案例研究中测试我们的框架。我们在普通贸易信息旁边包括价格和风险预测。在2018年德国盘区交易结果的测试场景中，我们能够以至少45.24％的改进优于多个基线，显示DRL算法的优势。但是，我们还讨论了DRL代理的局限性和增强功能，以便在未来的工作中提高性能。

本文为做市商在订单驱动的市场中的行动介绍了新的代表。该代表使用缩放的beta分布，并在人工智能中采用了三种用于市场创作文献的方法：单价选择，梯子策略和“接触市场的市场制作”。梯子策略在连续价格的间隔内放置统一的体积。基于beta分布的缩放策略将这些策略推广，从而使数量在整个价格间隔内偏斜。我们证明，这种灵活性对于库存管理很有用，库存管理是做市商面临的主要挑战之一。在本文中，我们进行了三个主要实验：首先，我们将基于Beta的动作与阶梯策略的特殊情况进行比较；然后，我们研究了简单固定分布的性能；最后，我们设计和评估了一种简单而直观的动态控制政策，该政策以营销商获得的签名库存来连续调整操作。所有经验评估都基于历史数据，每一侧都有50个级别的历史数据。

资产分配（或投资组合管理）是确定如何最佳将有限预算的资金分配给一系列金融工具/资产（例如股票）的任务。这项研究调查了使用无模型的深RL代理应用于投资组合管理的增强学习（RL）的性能。我们培训了几个RL代理商的现实股票价格，以学习如何执行资产分配。我们比较了这些RL剂与某些基线剂的性能。我们还比较了RL代理，以了解哪些类别的代理表现更好。从我们的分析中，RL代理可以执行投资组合管理的任务，因为它们的表现明显优于基线代理（随机分配和均匀分配）。四个RL代理（A2C，SAC，PPO和TRPO）总体上优于最佳基线MPT。这显示了RL代理商发现更有利可图的交易策略的能力。此外，基于价值和基于策略的RL代理之间没有显着的性能差异。演员批评者的表现比其他类型的药物更好。同样，在政策代理商方面的表现要好，因为它们在政策评估方面更好，样品效率在投资组合管理中并不是一个重大问题。这项研究表明，RL代理可以大大改善资产分配，因为它们的表现优于强基础。基于我们的分析，在政策上，参与者批评的RL药物显示出最大的希望。

这篇科学论文提出了一种新型的投资组合优化模型，使用改进的深钢筋学习算法。优化模型的目标函数是投资组合累积回报的期望和价值的加权总和。所提出的算法基于参与者 - 批判性架构，其中关键网络的主要任务是使用分位数回归学习投资组合累积返回的分布，而Actor网络通过最大化上述目标函数来输出最佳投资组合权重。同时，我们利用线性转换功能来实现资产短销售。最后，使用了一种称为APE-X的多进程方法来加速深度强化学习训练的速度。为了验证我们提出的方法，我们对两个代表性的投资组合进行了重新测试，并观察到这项工作中提出的模型优于基准策略。

我们考虑单个强化学习与基于事件驱动的代理商金融市场模型相互作用时学习最佳执行代理的学习动力。交易在事件时间内通过匹配引擎进行异步进行。最佳执行代理在不同级别的初始订单尺寸和不同尺寸的状态空间上进行考虑。使用校准方法考虑了对基于代理的模型和市场的影响，该方法探讨了经验性风格化事实和价格影响曲线的变化。收敛，音量轨迹和动作痕迹图用于可视化学习动力学。这表明了最佳执行代理如何在模拟的反应性市场框架内学习最佳交易决策，以及如何通过引入战略订单分类来改变模拟市场的反反应。

本文介绍了用于交易单一资产的双重Q网络算法，即E-MINI S＆P 500连续期货合约。我们使用经过验证的设置作为我们环境的基础，并具有多个扩展。我们的贸易代理商的功能不断扩展，包括其他资产，例如商品，从而产生了四种型号。我们还应对环境条件，包括成本和危机。我们的贸易代理商首先接受了特定时间段的培训，并根据新数据进行了测试，并将其与长期策略（市场）进行了比较。我们分析了各种模型与样本中/样本外性能之间有关环境的差异。实验结果表明，贸易代理人遵循适当的行为。它可以将其政策调整为不同的情况，例如在存在交易成本时更广泛地使用中性位置。此外，净资产价值超过了基准的净值，代理商在测试集中的市场优于市场。我们使用DDQN算法对代理商在金融领域中的行为提供初步见解。这项研究的结果可用于进一步发展。

在高度波动的加密货币市场中，设计盈利和可靠的交易策略是具有挑战性的。现有作品应用了深厚的增强学习方法，并在回测的乐观上报告了利润增加，这可能会因过度拟合而造成的假积极问题。在本文中，我们提出了一种实用方法，以解决使用深度强化学习的重新测试，以解决加密货币交易。首先，我们将过度拟合的检测作为假设检测。然后，我们训练DRL代理，估计过度拟合的可能性，并拒绝过度拟合的代理商，从而增加了良好交易绩效的机会。最后，在从05/01/2022到06/27/2022（在此期间加密货币市场崩溃两次）的测试期间的10次加密货币中，我们表明，过度拟合的深度强化学习剂的尖锐比率较高。更多过度合适的代理商，同等的权重策略和标准普尔DBM指数（市场基准），对可能部署到真实市场的可能性充满信心。

More and more stock trading strategies are constructed using deep reinforcement learning (DRL) algorithms, but DRL methods originally widely used in the gaming community are not directly adaptable to financial data with low signal-to-noise ratios and unevenness, and thus suffer from performance shortcomings. In this paper, to capture the hidden information, we propose a DRL based stock trading system using cascaded LSTM, which first uses LSTM to extract the time-series features from stock daily data, and then the features extracted are fed to the agent for training, while the strategy functions in reinforcement learning also use another LSTM for training. Experiments in DJI in the US market and SSE50 in the Chinese stock market show that our model outperforms previous baseline models in terms of cumulative returns and Sharp ratio, and this advantage is more significant in the Chinese stock market, a merging market. It indicates that our proposed method is a promising way to build a automated stock trading system.

在数学金融文献中，有一个丰富的数学模型目录，用于研究算法交易问题（例如营销和最佳执行）。本文介绍了\ MBTGYM，这是一个Python模块，该模块提供了一套健身环境，用于培训强化学习（RL）代理，以解决此类基于模型的交易问题。该模块以一种可扩展的方式设置，以允许不同模型不同方面的组合。它支持对矢量化环境的高效实现，以更快地训练RL代理。在本文中，我们激发了使用RL解决此类基于模型的限制订单书籍中的挑战，我们解释了我们的健身房环境的设计，然后展示其在解决文献中解决标准和非标准问题中的用途。最后，我们为进一步开发模块的路线图制定了路线图，我们将其作为GitHub上的开源存储库提供，以便它可以作为基于模型算法交易的RL研究的焦点。

通过提供流动性，市场制造商在金融市场中发挥着关键作用。他们通常填写订单书籍，以购买和出售限额订单，以便为交易员提供替代价格水平来运营。本文精确地侧重于从基于代理人的角度研究这些市场制造商战略的研究。特别是，我们提出了加强学习（RL）在模拟股市中创建智能市场标志的应用。本研究分析了RL市场制造商代理在非竞争性（同时只有一个RL市场制造商学习）和竞争方案（同时学习的多个RL市场标记）以及如何调整其在SIM2REAL范围内的策略有很有趣的结果。此外，它涵盖了不同实验之间的政策转移的应用，描述了竞争环境对RL代理表现的影响。 RL和Deep RL技术被证明是有利可图的市场制造商方法，从而更好地了解他们在股票市场的行为。

最佳市场制造的随机控制问题是定量融资的核心问题之一。在本文中，对基于强化的学习控制器进行了培训，该控制器受到弱一致的多元鹰队基于过程的限制订单模拟器的培训，以获得市场制作控制。拟议的方法利用了蒙特卡洛进行了重新测试的优势，并有助于在弱一致的限制订单簿模型下进行市场开发的研究线。随后的深入增强学习控制器与多个市场制作基准进行了比较，结果表明，即使在大量的交易成本下，它在各种风险奖励指标方面都具有出色的性能。

近年来，许多定量金融领域的从业者试图使用深度强化学习（DRL）来建立更好的定量交易（QT）策略。然而，许多现有研究未能应对几个严重的挑战，例如非平稳财务环境以及在实际金融市场应用DRL时的偏见和差异权衡。在这项工作中，我们提出了Safe-Finrl，这是一种基于DRL的新型高FREQ股票交易策略，该策略通过近部财务环境以及低偏差和差异估算而增强。我们的主要贡献是双重的：首先，我们将漫长的财务时间序列分为近乎固定的短期环境；其次，我们通过将一般反探测器纳入软批评者中，在近部财务环境中实施Trace-SAC。对加密货币市场的广泛实验表明，避风势范围提供了稳定的价值估计，并稳定的政策改善，并在近部财务环境中显着降低了偏见和差异。

Solving portfolio management problems using deep reinforcement learning has been getting much attention in finance for a few years. We have proposed a new method using experts signals and historical price data to feed into our reinforcement learning framework. Although experts signals have been used in previous works in the field of finance, as far as we know, it is the first time this method, in tandem with deep RL, is used to solve the financial portfolio management problem. Our proposed framework consists of a convolutional network for aggregating signals, another convolutional network for historical price data, and a vanilla network. We used the Proximal Policy Optimization algorithm as the agent to process the reward and take action in the environment. The results suggested that, on average, our framework could gain 90 percent of the profit earned by the best expert.

我们提出了一种方法，用于寻找任意初始投资组合和市场国家的最佳对冲政策。我们开发了一种新型的参与者评论算法，用于解决一般的规避风险随机控制问题，并使用它同时学习跨多种风险规避水平的对冲策略。我们在随机波动性环境中以数值示例来证明该方法的有效性。

多代理系统（例如自动驾驶或工厂）作为服务的一些最相关的应用程序显示混合动机方案，代理商可能具有相互矛盾的目标。在这些环境中，代理可能会在独立学习下的合作方面学习不良的结果，例如过度贪婪的行为。在现实世界社会的动机中，在这项工作中，我们建议利用市场力量为代理商成为合作的激励措施。正如囚犯困境的迭代版本所证明的那样，拟议的市场配方可以改变游戏的动力，以始终如一地学习合作政策。此外，我们在空间和时间扩展的设置中评估了不同数量的代理的方法。我们从经验上发现，市场的存在可以通过其交易活动改善总体结果和代理人的回报。