本文提出了基于深度Q学习的金融投资组合交易深增强学习算法。该算法能够从任何大小的横截面数据集交易高维投资组合，其可以包括资产中的数据间隙和非唯一历史长度。我们通过对每种环境的一个资产进行采样，在每种环境中对所有环境进行投资来顺序设置环境，并通过“资产集合”的平均返回，从而奖励资产的退货和现金预订。这强制执行代理以战略性地将资本分配给其预测以上平均值的资产。我们在采样外部分析中应用我们的方法，以48美国股票的组合设置，在股票中的数量和交易成本水平中，在十辆高达500股的股票数量上变化。平均优势算法通过仅为所有投资组合使用一个超参数设置，通过大型边距所考虑被动和活动基准投资策略。
translated by 谷歌翻译
本文介绍了用于交易单一资产的双重Q网络算法，即E-MINI S＆P 500连续期货合约。我们使用经过验证的设置作为我们环境的基础，并具有多个扩展。我们的贸易代理商的功能不断扩展，包括其他资产，例如商品，从而产生了四种型号。我们还应对环境条件，包括成本和危机。我们的贸易代理商首先接受了特定时间段的培训，并根据新数据进行了测试，并将其与长期策略（市场）进行了比较。我们分析了各种模型与样本中/样本外性能之间有关环境的差异。实验结果表明，贸易代理人遵循适当的行为。它可以将其政策调整为不同的情况，例如在存在交易成本时更广泛地使用中性位置。此外，净资产价值超过了基准的净值，代理商在测试集中的市场优于市场。我们使用DDQN算法对代理商在金融领域中的行为提供初步见解。这项研究的结果可用于进一步发展。
translated by 谷歌翻译
More and more stock trading strategies are constructed using deep reinforcement learning (DRL) algorithms, but DRL methods originally widely used in the gaming community are not directly adaptable to financial data with low signal-to-noise ratios and unevenness, and thus suffer from performance shortcomings. In this paper, to capture the hidden information, we propose a DRL based stock trading system using cascaded LSTM, which first uses LSTM to extract the time-series features from stock daily data, and then the features extracted are fed to the agent for training, while the strategy functions in reinforcement learning also use another LSTM for training. Experiments in DJI in the US market and SSE50 in the Chinese stock market show that our model outperforms previous baseline models in terms of cumulative returns and Sharp ratio, and this advantage is more significant in the Chinese stock market, a merging market. It indicates that our proposed method is a promising way to build a automated stock trading system.
translated by 谷歌翻译
资产分配（或投资组合管理）是确定如何最佳将有限预算的资金分配给一系列金融工具/资产（例如股票）的任务。这项研究调查了使用无模型的深RL代理应用于投资组合管理的增强学习（RL）的性能。我们培训了几个RL代理商的现实股票价格，以学习如何执行资产分配。我们比较了这些RL剂与某些基线剂的性能。我们还比较了RL代理，以了解哪些类别的代理表现更好。从我们的分析中，RL代理可以执行投资组合管理的任务，因为它们的表现明显优于基线代理（随机分配和均匀分配）。四个RL代理（A2C，SAC，PPO和TRPO）总体上优于最佳基线MPT。这显示了RL代理商发现更有利可图的交易策略的能力。此外，基于价值和基于策略的RL代理之间没有显着的性能差异。演员批评者的表现比其他类型的药物更好。同样，在政策代理商方面的表现要好，因为它们在政策评估方面更好，样品效率在投资组合管理中并不是一个重大问题。这项研究表明，RL代理可以大大改善资产分配，因为它们的表现优于强基础。基于我们的分析，在政策上，参与者批评的RL药物显示出最大的希望。
translated by 谷歌翻译
这篇科学论文提出了一种新型的投资组合优化模型，使用改进的深钢筋学习算法。优化模型的目标函数是投资组合累积回报的期望和价值的加权总和。所提出的算法基于参与者 - 批判性架构，其中关键网络的主要任务是使用分位数回归学习投资组合累积返回的分布，而Actor网络通过最大化上述目标函数来输出最佳投资组合权重。同时，我们利用线性转换功能来实现资产短销售。最后，使用了一种称为APE-X的多进程方法来加速深度强化学习训练的速度。为了验证我们提出的方法，我们对两个代表性的投资组合进行了重新测试，并观察到这项工作中提出的模型优于基准策略。
translated by 谷歌翻译
在我们的论文中，我们应用了深度加强学习方法，以优化投资组合管理中的投资决策。我们做出了几种创新，例如添加短机制并设计套利机制，并应用我们的模型来为几个随机选择的投资组合进行决策优化。实验结果表明，我们的模型能够优化投资决策，并有能力获得股票市场的超额回报，优化的代理在整个交易期间以固定价值维持资产权重，并以非常低的交易成本率交易。此外，我们还重新设计了用于计算持续交易过程中的投资组合资产权重的公式，这可以使杠杆交易填补了在短路时计算了组合重量的理论差距。
translated by 谷歌翻译
由于数据量增加，金融业的快速变化已经彻底改变了数据处理和数据分析的技术，并带来了新的理论和计算挑战。与古典随机控制理论和解决财务决策问题的其他分析方法相比，解决模型假设的财务决策问题，强化学习（RL）的新发展能够充分利用具有更少模型假设的大量财务数据并改善复杂的金融环境中的决策。该调查纸目的旨在审查最近的资金途径的发展和使用RL方法。我们介绍了马尔可夫决策过程，这是许多常用的RL方法的设置。然后引入各种算法，重点介绍不需要任何模型假设的基于价值和基于策略的方法。连接是用神经网络进行的，以扩展框架以包含深的RL算法。我们的调查通过讨论了这些RL算法在金融中各种决策问题中的应用，包括最佳执行，投资组合优化，期权定价和对冲，市场制作，智能订单路由和Robo-Awaring。
translated by 谷歌翻译
强化学习（RL）技术在许多具有挑战性的定量交易任务（例如投资组合管理和算法交易）中取得了巨大的成功。尤其是，由于金融市场的盘中行为反映了数十亿个快速波动的首都，所以盘中交易是最有利可图和风险的任务之一。但是，绝大多数现有的RL方法都集中在相对较低的频率交易方案（例如日级），并且由于两个主要挑战而无法捕获短暂的盘中投资机会：1）如何有效地培训额外的RL额外的RL代理，以供日盘培训。投资决策，涉及高维良好的动作空间； 2）如何学习有意义的多模式市场表示，以了解tick级金融市场的盘中行为。在专业人类盘中交易者的有效工作流程中，我们提出了DeepScalper，这是一个深入的加强学习框架，用于解决上述挑战。具体而言，DeepScalper包括四个组成部分：1）针对行动分支的决斗Q-Network，以应对日内交易的大型动作空间，以进行有效的RL优化； 2）带有事后奖励的新型奖励功能，以鼓励RL代理商在整个交易日的长期范围内做出交易决策； 3）一个编码器架构架构，用于学习多模式的临时市场嵌入，其中既包含宏观级别和微型市场信息； 4）在最大化利润和最小化风险之间保持惊人平衡的风险意识辅助任务。通过对六个金融期货的三年来真实世界数据的广泛实验，我们证明，在四个财务标准方面，DeepScalper显着优于许多最先进的基线。
translated by 谷歌翻译
近年来，使用人工智能创造了广泛的投资模式。人工智能自动交易可以扩大交易方式的范围，例如通过授权每天24小时运行的能力以及以高频交易的能力。如果可以充分考虑过去的数据，也可以预期自动交易比使用更多信息交易。在本文中，我们提出了一种基于深度加强学习模型的投资代理，这是一个人工智能模型。该模型考虑了实际交易中涉及的交易成本，并在很长一段时间内创建交易的框架，以便它可以在单一贸易上进行大量利润。在这样做时，它可以最大限度地提高利润，同时保持交易成本低。此外，考虑到实际操作，我们使用在线学习，以便系统可以通过不断更新最新的在线数据而不是使用静态数据来继续学习。这使得可以通过始终纳入当前的市场趋势信息来贸易非静止金融市场。
translated by 谷歌翻译
在高度波动的加密货币市场中，设计盈利和可靠的交易策略是具有挑战性的。现有作品应用了深厚的增强学习方法，并在回测的乐观上报告了利润增加，这可能会因过度拟合而造成的假积极问题。在本文中，我们提出了一种实用方法，以解决使用深度强化学习的重新测试，以解决加密货币交易。首先，我们将过度拟合的检测作为假设检测。然后，我们训练DRL代理，估计过度拟合的可能性，并拒绝过度拟合的代理商，从而增加了良好交易绩效的机会。最后，在从05/01/2022到06/27/2022（在此期间加密货币市场崩溃两次）的测试期间的10次加密货币中，我们表明，过度拟合的深度强化学习剂的尖锐比率较高。更多过度合适的代理商，同等的权重策略和标准普尔DBM指数（市场基准），对可能部署到真实市场的可能性充满信心。
translated by 谷歌翻译
我们探索在线感应转移学习，通过由高斯混合模型隐藏的加工单元形成的径向基函数网络转移到直接，经常性的加固学习剂。该代理商在实验中进行工作，交易主要的现货市场货币对，我们准确地占交易和资金成本。这些利润和损失来源，包括货币市场发生的价格趋势，通过二次实用程序向代理商提供，他们将直接学习瞄准职位。我们通过学习在在线转移学习背景下瞄准风险职位之前提前改进工作。我们的代理商实现了0.52的年度组合信息比例，复合返回率为9.3％，净的执行和资金成本，超过7年的测试集;尽管在交易成本在统计上最贵的价格是最昂贵的，但仍然迫使模型在5点在5点在5月5日的交易日结束。
translated by 谷歌翻译
近年来，许多定量金融领域的从业者试图使用深度强化学习（DRL）来建立更好的定量交易（QT）策略。然而，许多现有研究未能应对几个严重的挑战，例如非平稳财务环境以及在实际金融市场应用DRL时的偏见和差异权衡。在这项工作中，我们提出了Safe-Finrl，这是一种基于DRL的新型高FREQ股票交易策略，该策略通过近部财务环境以及低偏差和差异估算而增强。我们的主要贡献是双重的：首先，我们将漫长的财务时间序列分为近乎固定的短期环境；其次，我们通过将一般反探测器纳入软批评者中，在近部财务环境中实施Trace-SAC。对加密货币市场的广泛实验表明，避风势范围提供了稳定的价值估计，并稳定的政策改善，并在近部财务环境中显着降低了偏见和差异。
translated by 谷歌翻译
随着可再生能源的延伸升幅，盘中电市场在交易商和电力公用事业中录得不断增长的普及，以应对能源供应的诱导波动。通过其短途交易地平线和持续的性质，盘中市场提供了调整日前市场的交易决策的能力，或者在短期通知中降低交易风险。通过根据当前预测修改其提供的能力，可再生能源的生产者利用盘中市场降低预测风险。然而，由于电网必须保持稳定，电力仅部分可存储，因此市场动态很复杂。因此，需要在盘区市场中运营的强大和智能交易策略。在这项工作中，我们提出了一种基于深度加强学习（DRL）算法的新型自主交易方法作为可能的解决方案。为此目的，我们将盘区贸易塑造为马尔可夫决策问题（MDP），并采用近端策略优化（PPO）算法作为我们的DRL方法。介绍了一种模拟框架，使得连续盘整价格的分辨率提供一分钟步骤。从风园运营商的角度来看，我们在案例研究中测试我们的框架。我们在普通贸易信息旁边包括价格和风险预测。在2018年德国盘区交易结果的测试场景中，我们能够以至少45.24％的改进优于多个基线，显示DRL算法的优势。但是，我们还讨论了DRL代理的局限性和增强功能，以便在未来的工作中提高性能。
translated by 谷歌翻译
具有成本效益的资产管理是多个行业的兴趣领域。具体而言，本文开发了深入的加固学习（DRL）解决方案，以自动确定不断恶化的水管的最佳康复政策。我们在在线和离线DRL设置中处理康复计划的问题。在在线DRL中，代理与具有不同长度，材料和故障率特征的多个管道的模拟环境进行交互。我们使用深Q学习（DQN）训练代理商，以最低限度的平均成本和减少故障概率学习最佳政策。在离线学习中，代理使用静态数据，例如DQN重播数据，通过保守的Q学习算法学习最佳策略，而无需与环境进行进一步的交互。我们证明，基于DRL的政策改善了标准预防，纠正和贪婪的计划替代方案。此外，从固定的DQN重播数据集中学习超过在线DQN设置。结果保证，由大型国家和行动轨迹组成的水管的现有恶化概况为在离线环境中学习康复政策提供了宝贵的途径，而无需模拟器。
translated by 谷歌翻译
The stock market prediction has been a traditional yet complex problem researched within diverse research areas and application domains due to its non-linear, highly volatile and complex nature. Existing surveys on stock market prediction often focus on traditional machine learning methods instead of deep learning methods. Deep learning has dominated many domains, gained much success and popularity in recent years in stock market prediction. This motivates us to provide a structured and comprehensive overview of the research on stock market prediction focusing on deep learning techniques. We present four elaborated subtasks of stock market prediction and propose a novel taxonomy to summarize the state-of-the-art models based on deep neural networks from 2011 to 2022. In addition, we also provide detailed statistics on the datasets and evaluation metrics commonly used in the stock market. Finally, we highlight some open issues and point out several future directions by sharing some new perspectives on stock market prediction.
translated by 谷歌翻译
Solving portfolio management problems using deep reinforcement learning has been getting much attention in finance for a few years. We have proposed a new method using experts signals and historical price data to feed into our reinforcement learning framework. Although experts signals have been used in previous works in the field of finance, as far as we know, it is the first time this method, in tandem with deep RL, is used to solve the financial portfolio management problem. Our proposed framework consists of a convolutional network for aggregating signals, another convolutional network for historical price data, and a vanilla network. We used the Proximal Policy Optimization algorithm as the agent to process the reward and take action in the environment. The results suggested that, on average, our framework could gain 90 percent of the profit earned by the best expert.
translated by 谷歌翻译
近年来，可解释的人工智能（XAI）研究因对用户社区对AI的更高透明度和信任的需求而获得了突出性。这尤其重要，因为AI在金融，医学等敏感领域采用，在这种敏感领域，对社会，道德和安全的影响是巨大的。经过彻底的系统评估，XAI的工作主要集中于机器学习（ML）进行分类，决策或行动。据我们所知，没有任何据报道提供可解释的加固学习（XRL）方法来交易金融股票的方法。在本文中，我们提议在流行的深层增强学习体系结构，深Q网络（DQN）上采用Shapley添加说明（SHAP），以解释代理商在给定实例中在金融股票交易中的行动。为了证明我们方法的有效性，我们在两个流行的数据集（即Sensex和DJIA）上对其进行了测试，并报告了结果。
translated by 谷歌翻译
从定义的福利到定义的缴款计划的过渡使从政府和机构退休的责任转移到了个人。确定个人的最佳储蓄和投资策略对于稳定的金融立场和避免在工作生活和退休期间避免贫困至关重要，这在一个世界上，这是一项特别具有挑战性的任务，在这个世界上，不同职业组经历的就业和收入轨迹是高度多样化的。我们介绍了一个模型，在该模型中，代理商学习最佳投资组合分配和储蓄策略，这些策略适合其异质概况。我们使用深度加强学习来训练代理。通过职业和年龄依赖收入演化动态校准环境。该研究的重点是取决于代理概况的异质收入轨迹，并结合了代理的行为参数化。该模型提供了一种灵活的方法，可在不同的情况下估算异构概况的终身消费和投资选择。
translated by 谷歌翻译
In this paper, we build on advances introduced by the Deep Q-Networks (DQN) approach to extend the multi-objective tabular Reinforcement Learning (RL) algorithm W-learning to large state spaces. W-learning algorithm can naturally solve the competition between multiple single policies in multi-objective environments. However, the tabular version does not scale well to environments with large state spaces. To address this issue, we replace underlying Q-tables with DQN, and propose an addition of W-Networks, as a replacement for tabular weights (W) representations. We evaluate the resulting Deep W-Networks (DWN) approach in two widely-accepted multi-objective RL benchmarks: deep sea treasure and multi-objective mountain car. We show that DWN solves the competition between multiple policies while outperforming the baseline in the form of a DQN solution. Additionally, we demonstrate that the proposed algorithm can find the Pareto front in both tested environments.
translated by 谷歌翻译
通过提供流动性，市场制造商在金融市场中发挥着关键作用。他们通常填写订单书籍，以购买和出售限额订单，以便为交易员提供替代价格水平来运营。本文精确地侧重于从基于代理人的角度研究这些市场制造商战略的研究。特别是，我们提出了加强学习（RL）在模拟股市中创建智能市场标志的应用。本研究分析了RL市场制造商代理在非竞争性（同时只有一个RL市场制造商学习）和竞争方案（同时学习的多个RL市场标记）以及如何调整其在SIM2REAL范围内的策略有很有趣的结果。此外，它涵盖了不同实验之间的政策转移的应用，描述了竞争环境对RL代理表现的影响。 RL和Deep RL技术被证明是有利可图的市场制造商方法，从而更好地了解他们在股票市场的行为。
translated by 谷歌翻译