以前关于基于人工神经网络（ANN）的自动脱机系统的研究表明，通过训练船舶停泊数据作为训练数据，展示了巨大的缺点性能。但是，由于ANN需要大量的培训数据来屈服于稳健性能，因此由于难以获得BERTHITH数据，基于ANN的自动BERTHINT系统是有些限制的。在本研究中，为了克服这种困难，提出了一种基于增强学习（RL）算法之一，近端策略优化（PPO）的自动停机系统，因为RL算法可以通过试验和错误来学习最佳控制策略通过与给定的环境进行交互并且不需要任何预先获得的培训数据，其中基于PPO的自动停机系统中的控制策略控制每秒转数（RPS）和船舵角度。最后，结果表明，所提出的基于PPO的自动包系统消除了获取训练数据集的需要，并且对实际的Berthing应用表现出很大的潜力。

小型无人驾驶飞机的障碍避免对于未来城市空袭（UAM）和无人机系统（UAS）交通管理（UTM）的安全性至关重要。有许多技术用于实时强大的无人机指导，但其中许多在离散的空域和控制中解决，这将需要额外的路径平滑步骤来为UA提供灵活的命令。为提供无人驾驶飞机的操作安全有效的计算指导，我们探讨了基于近端政策优化（PPO）的深增强学习算法的使用，以指导自主UA到其目的地，同时通过连续控制避免障碍物。所提出的场景状态表示和奖励功能可以将连续状态空间映射到连续控制，以便进行标题角度和速度。为了验证所提出的学习框架的性能，我们用静态和移动障碍进行了数值实验。详细研究了与环境和安全操作界限的不确定性。结果表明，该拟议的模型可以提供准确且强大的指导，并解决了99％以上的成功率的冲突。

Reformulating the history matching problem from a least-square mathematical optimization problem into a Markov Decision Process introduces a method in which reinforcement learning can be utilized to solve the problem. This method provides a mechanism where an artificial deep neural network agent can interact with the reservoir simulator and find multiple different solutions to the problem. Such formulation allows for solving the problem in parallel by launching multiple concurrent environments enabling the agent to learn simultaneously from all the environments at once, achieving significant speed up.

在许多机器人和工业应用中，传统的线性控制策略已经广泛研究和使用，但它们不应响应系统的总动态，以避免对非线性控制等非线性控制方案的繁琐计算，加强学习的预测控制应用可以提供替代解决方案本文介绍了在移动自拍的深度确定性政策梯度和近端策略优化的情况下实现了RL控制的实现，在移动自拍伸直倒立摆片EWIP系统这样的RL模型使得找到满意控制方案的任务更容易，并在自我调整时有效地响应动态。在本文中提供更好控制的参数，两个RL基础控制器被针对MPC控制器捕获，以基于EWIP系统的状态变量进行评估，同时遵循特定的所需轨迹

More and more stock trading strategies are constructed using deep reinforcement learning (DRL) algorithms, but DRL methods originally widely used in the gaming community are not directly adaptable to financial data with low signal-to-noise ratios and unevenness, and thus suffer from performance shortcomings. In this paper, to capture the hidden information, we propose a DRL based stock trading system using cascaded LSTM, which first uses LSTM to extract the time-series features from stock daily data, and then the features extracted are fed to the agent for training, while the strategy functions in reinforcement learning also use another LSTM for training. Experiments in DJI in the US market and SSE50 in the Chinese stock market show that our model outperforms previous baseline models in terms of cumulative returns and Sharp ratio, and this advantage is more significant in the Chinese stock market, a merging market. It indicates that our proposed method is a promising way to build a automated stock trading system.

近年来近年来，加固学习方法已经发展了一系列政策梯度方法，主要用于建模随机政策的高斯分布。然而，高斯分布具有无限的支持，而现实世界应用通常具有有限的动作空间。如果它提供有限支持，则该解剖会导致可以消除的估计偏差，因为它提出了有限的支持。在这项工作中，我们调查如何在Openai健身房的两个连续控制任务中训练该测试策略在训练时执行该测试策略。对于这两个任务来说，测试政策在代理人的最终预期奖励方面优于高斯政策，也显示出更多的稳定性和更快的培训过程融合。对于具有高维图像输入的卡路里环境，在高斯政策中，代理的成功率提高了63％。

近年来，深入的强化学习（DRL）在模拟机器人控制任务中都取得了巨大进步。然而，将DRL应用于新型机器人控制任务仍然具有挑战性，尤其是当研究人员必须设计动作和观察空间以及奖励功能时。在本文中，我们研究了部分可观察性，作为将DRL应用于机器人控制任务的潜在失败来源，当研究人员不相信观察空间是否完全代表基本状态时，可能会发生这种情况。我们比较了各种部分可观察性条件下的三种常见DRL算法TD3，SAC和PPO的性能。我们发现TD3和SAC很容易被卡在本地Optima和表现不佳的PPO中。我们提出了香草TD3和SAC的多步版本，以改善基于一步引导的部分可观察性的鲁棒性。

事件触发的模型预测控制（EMPC）是一种流行的最佳控制方法，旨在减轻MPC的计算和/或通信负担。但是，通常需要先验了解闭环系统行为以及设计事件触发策略的通信特征。本文试图通过提出有效的EMPC框架来解决这一挑战，并在随后的自动驾驶汽车路径上成功实施了该框架。首先，使用无模型的加固学习（RL）代理用于学习最佳的事件触发策略，而无需在此框架中具有完整的动态系统和通信知识。此外，还采用了包括优先经验重播（PER）缓冲区和长期术语记忆（LSTM）的技术来促进探索和提高训练效率。在本文中，我们使用提出的三种深度RL算法的拟议框架，即双Q学习（DDQN），近端策略优化（PPO）和软参与者 - 批评（SAC），以解决此问题。实验结果表明，所有三个基于RL的EMPC（DEEP-RL-EMPC）都比在自动途径下的常规阈值和以前的基于线性Q的方法获得更好的评估性能。特别是，具有LSTM和DDQN-EMPC的PPO-EMPC具有PER和LSTM的PPO-EMPC在闭环控制性能和事件触发频率之间获得了较高的平衡。关联的代码是开源的，可在以下网址提供：https：//github.com/dangfengying/rl基础基础 - event-triggered-mpc。

我们提出了一个无模型增强学习（RL）框架的案例研究，以解决预定义参数不确定性分布和部分可观察到的随机最佳控制。我们专注于强大的最佳井控制问题，这是地下储层管理领域的密集研究活动的主题。对于此问题，由于数据仅在井位置可用，因此部分观察到系统。此外，由于可用字段数据的稀疏性，模型参数高度不确定。原则上，RL算法能够学习最佳动作策略（从状态到动作的地图），以最大程度地提高数值奖励信号。在Deep RL中，使用深神经网络对从状态到动作进行参数化的映射是参数化的。在强大的最佳井控制问题的RL公式中，状态由井位的饱和度和压力值表示，而动作代表控制通过井流的阀门开口。数值奖励是指总扫描效率，不确定的模型参数是地下渗透率场。通过引入域随机化方案来处理模型参数不确定性，该方案利用群集分析其不确定性分布。我们使用两种最先进的RL算法，近端策略优化（PPO）和Advantage Actor-Critic（A2C）提出数值结果，这些结果是在两个地下流量测试用例上，这些算法代表了两个不同的不确定性分布的渗透率场。根据使用差分进化算法获得的优化结果对结果进行了测试。此外，我们通过评估从训练过程中未使用的参数不确定性分布中得出的看不见的样本中学习的控制策略，证明了对RL的鲁棒性。

学习玩乒乓球是机器人的一个具有挑战性的任务，作为所需的各种笔画。最近的进展表明，深度加强学习（RL）能够在模拟环境中成功地学习最佳动作。然而，由于高勘探努力，RL在实际情况中的适用性仍然有限。在这项工作中，我们提出了一个现实的模拟环境，其中多种模型是为球的动态和机器人的运动学而建立的。代替训练端到端的RL模型，提出了一种具有TD3骨干的新的政策梯度方法，以基于击球时间基于球的预测状态来学习球拍笔划。在实验中，我们表明，所提出的方法显着优于仿真中现有的RL方法。此外，将域从仿真跨越现实，我们采用了一个有效的再培训方法，并在三种实际情况下测试。由此产生的成功率为98％，距离误差约为24.9厘米。总培训时间约为1.5小时。

强化学习（RL）技术在许多具有挑战性的任务中引起了极大的关注，但是当应用于现实世界问题时，它们的性能急剧恶化。已经提出了各种方法，例如域随机化，以通过不同的环境设置下的培训代理来应对这种情况，因此在部署过程中可以将它们推广到不同的环境。但是，它们通常不包含与代理人正确相互作用的潜在环境因素信息，因此在面对周围环境变化时可能会过于保守。在本文中，我们首先将适应RL中的环境动态的任务形式化为使用上下文Markov决策过程（CMDP）的概括问题。然后，我们在上下文RL（AACC）中提出了不对称的参与者 - 作为处理此类概括任务的端到端参与者的方法。我们在一系列模拟环境中证明了AACC对现有基线的性能的基本改进。

Autonomous vehicles are suited for continuous area patrolling problems. However, finding an optimal patrolling strategy can be challenging for many reasons. Firstly, patrolling environments are often complex and can include unknown and evolving environmental factors. Secondly, autonomous vehicles can have failures or hardware constraints such as limited battery lives. Importantly, patrolling large areas often requires multiple agents that need to collectively coordinate their actions. In this work, we consider these limitations and propose an approach based on a distributed, model-free deep reinforcement learning based multi-agent patrolling strategy. In this approach, agents make decisions locally based on their own environmental observations and on shared information. In addition, agents are trained to automatically recharge themselves when required to support continuous collective patrolling. A homogeneous multi-agent architecture is proposed, where all patrolling agents have an identical policy. This architecture provides a robust patrolling system that can tolerate agent failures and allow supplementary agents to be added to replace failed agents or to increase the overall patrol performance. This performance is validated through experiments from multiple perspectives, including the overall patrol performance, the efficiency of the battery recharging strategy, the overall robustness of the system, and the agents' ability to adapt to environment dynamics.

In this paper, we consider the problem of path finding for a set of homogeneous and autonomous agents navigating a previously unknown stochastic environment. In our problem setting, each agent attempts to maximize a given utility function while respecting safety properties. Our solution is based on ideas from evolutionary game theory, namely replicating policies that perform well and diminishing ones that do not. We do a comprehensive comparison with related multiagent planning methods, and show that our technique beats state of the art RL algorithms in minimizing path length by nearly 30% in large spaces. We show that our algorithm is computationally faster than deep RL methods by at least an order of magnitude. We also show that it scales better with an increase in the number of agents as compared to other methods, path planning methods in particular. Lastly, we empirically prove that the policies that we learn are evolutionarily stable and thus impervious to invasion by any other policy.

深度加强学习（RL）使得可以使用神经网络作为功能近似器来解决复杂的机器人问题。然而，在从一个环境转移到另一个环境时，在普通环境中培训的政策在泛化方面受到影响。在这项工作中，我们使用强大的马尔可夫决策过程（RMDP）来训练无人机控制策略，这将思想与强大的控制和RL相结合。它选择了悲观优化，以处理从一个环境到另一个环境的策略转移之间的潜在间隙。训练有素的控制策略是关于四转位位置控制的任务。 RL代理商在Mujoco模拟器中培训。在测试期间，使用不同的环境参数（培训期间看不见）来验证训练策略的稳健性，以从一个环境转移到另一个环境。强大的政策在这些环境中表现出标准代理，表明增加的鲁棒性增加了一般性，并且可以适应非静止环境。代码：https://github.com/adipandas/gym_multirotor

增强学习（RL）是解决模型参数高度不确定的强大最佳井控制问题的有前途的工具，并且在实践中可以部分观察到系统。但是，强大的控制策略的RL通常依赖于进行大量模拟。对于具有计算密集型模拟的案例，这很容易成为计算上的棘手。为了解决这个瓶颈，引入了自适应多网格RL框架，该框架的灵感来自迭代数值算法中使用的几何多机方法原理。最初，使用基础偏微分方程（PDE）的粗电网离散化（PDE）的粗网格离散化，使用计算有效的低忠诚度模拟来学习RL控制策略。随后，模拟保真度以适应性的方式增加了对相当于模型域最优秀的最高忠诚度模拟。提出的框架使用最先进的基于策略的RL算法，即近端策略优化（PPO）算法证明。结果显示了两项案例研究的结果，该研究是由SPE-10模型2基准案例研究启发的强大最佳井控制问题。使用所提出的框架节省了其单个细网格对应物的计算成本的60-70％，可以观察到计算效率的显着提高。

安全已成为对现实世界系统应用深度加固学习的主要挑战之一。目前，诸如人类监督等外部知识的纳入唯一可以防止代理人访问灾难性状态的手段。在本文中，我们提出了一种基于安全模型的强化学习的新框架MBHI，可确保状态级安全，可以有效地避免“本地”和“非本地”灾难。监督学习者的合并在MBHI培训，以模仿人类阻止决策。类似于人类决策过程，MBHI将在执行对环境的动作之前在动态模型中推出一个想象的轨迹，并估算其安全性。当想象力遇到灾难时，MBHI将阻止当前的动作并使用高效的MPC方法来输出安全策略。我们在几个安全任务中评估了我们的方法，结果表明，与基线相比，MBHI在样品效率和灾难数方面取得了更好的性能。

奖励设计是增强学习应用的关键部分，其性能在很大程度上取决于奖励信号的效果如何，以及信号评估达到该目标的进度的程度。在许多情况下，环境提供的外部奖励（例如，胜利或丢失游戏）非常稀疏，因此很难直接训练代理商。研究人员通常通过在实践中添加一些辅助奖励来帮助学习代理商。但是，设计辅助奖励通常会转向试用搜索奖励设置，从而产生可接受的结果。在本文中，我们建议通过最大程度地提高哪些预期的累积外部奖励可以最大化，以自动生成目标的固有奖励，以学习代理。为此，我们介绍了动机的概念，该概念捕捉了最大化某些奖励并提出基于动机的奖励设计方法的基本目标。基本思想是通过最大程度地减少内在动机和外在动机之间的距离来塑造内在的奖励。我们进行了广泛的实验，并表明我们的方法在处理延迟奖励，探索和信用分配问题方面的最新方法要好。

本文介绍了一些最先进的加强学习算法的基准研究，用于解决两个模拟基于视觉的机器人问题。本研究中考虑的算法包括软演员 - 评论家（SAC），近端政策优化（PPO），内插政策梯度（IPG），以及与后敏感体验重播（她）的变体。将这些算法的性能与Pybullet的两个仿真环境进行比较，称为KukadiverseObjectenV和raceCarzedgymenv。这些环境中的状态观察以RGB图像的形式提供，并且动作空间是连续的，使得它们难以解决。建议许多策略提供在基本上单目标环境的这些问题上实施算法所需的中级后敏感目标。另外，提出了许多特征提取架构在学习过程中纳入空间和时间关注。通过严格的模拟实验，建立了这些组分实现的改进。据我们所知，这种基准测试的基础基础是基于视觉的机器人问题的基准研究，使其成为该领域的新贡献。

政策深度加强学习算法具有低数据利用率，需要重大的政策改进体验。本文提出了一种具有优先级轨迹重放（PTR-PPO）的近端策略优化算法，该轨道重播（PTR-PPO）结合了策略和违规方法来提高采样效率，通过优先考虑旧政策产生的轨迹的重播。我们首先根据轨迹的特点设计三个轨迹优先级：前两个是基于一步经验广义优势估计（GAE）值的最大和平均轨迹优先级，以及基于标准化未折衷奖励的最后一次奖励轨迹优先级。然后，我们将优先轨迹重放纳入PPO算法，提出了一个截断的重要性重量方法，克服了多步体验的大量重量引起的高方差，并在违规条件下为PPO设计了政策改进损失函数。我们评估PTR-PPO在一套ATARI离散控制任务中的性能，实现最先进的性能。此外，通过在训练期间分析优先存储器中各个位置的优先级的热图，我们发现内存大小和卷展展览长度可以对轨迹优先级的分布产生重大影响，并且因此在算法的性能上。

本文利用了强化学习和深度学习的最新发展来解决供应链库存管理（SCIM）问题，这是一个复杂的顺序决策问题，包括确定在给定时间范围内生产和运送到不同仓库的最佳产品数量。给出了随机两回波供应链环境的数学公式，该公式可以管理任意数量的仓库和产品类型。此外，开发了一个与深钢筋学习（DRL）算法接口的开源库，并公开可用于解决遇险问题。通过在合成生成的数据上进行了丰富的数值实验，比较了最新的DRL算法实现的性能。实验计划的设计和执行，包括供应链的不同结构，拓扑，需求，能力和成本。结果表明，PPO算法非常适合环境的不同特征。 VPG算法几乎总是会收敛到局部最大值，即使它通常达到可接受的性能水平。最后，A3C是最快的算法，但是就像VPG一样，与PPO相比，它从未取得最好的性能。总之，数值实验表明，DRL的性能始终如一，比标准的重新订购策略（例如静态（S，Q） - policy）更好。因此，它可以被认为是解决随机两回波问题的现实世界实例的实用和有效选择。