现代的元强化学习（META-RL）方法主要基于模型 - 不合时宜的元学习开发，该方法在跨任务中执行策略梯度步骤以最大程度地提高策略绩效。但是，在元RL中，梯度冲突问题仍然很少了解，这可能导致遇到不同任务时的性能退化。为了应对这一挑战，本文提出了一种新颖的个性化元素RL（PMETA-RL）算法，该算法汇总了特定任务的个性化政策，以更新用于所有任务的元政策，同时保持个性化的政策，以最大程度地提高每个任务的平均回报在元政策的约束下任务。我们还提供了表格设置下的理论分析，该分析证明了我们的PMETA-RL算法的收敛性。此外，我们将所提出的PMETA-RL算法扩展到基于软参与者批评的深网络版本，使其适合连续控制任务。实验结果表明，所提出的算法在健身房和Mujoco套件上的其他以前的元rl算法都优于其他以前的元素算法。

Deep reinforcement learning algorithms require large amounts of experience to learn an individual task. While in principle meta-reinforcement learning (meta-RL) algorithms enable agents to learn new skills from small amounts of experience, several major challenges preclude their practicality. Current methods rely heavily on on-policy experience, limiting their sample efficiency. The also lack mechanisms to reason about task uncertainty when adapting to new tasks, limiting their effectiveness in sparse reward problems. In this paper, we address these challenges by developing an offpolicy meta-RL algorithm that disentangles task inference and control. In our approach, we perform online probabilistic filtering of latent task variables to infer how to solve a new task from small amounts of experience. This probabilistic interpretation enables posterior sampling for structured and efficient exploration. We demonstrate how to integrate these task variables with off-policy RL algorithms to achieve both metatraining and adaptation efficiency. Our method outperforms prior algorithms in sample efficiency by 20-100X as well as in asymptotic performance on several meta-RL benchmarks.

现有的离线增强学习（RL）方法面临一些主要挑战，尤其是学识渊博的政策与行为政策之间的分配转变。离线Meta-RL正在成为应对这些挑战的一种有前途的方法，旨在从一系列任务中学习信息丰富的元基础。然而，如我们的实证研究所示，离线元RL在具有良好数据集质量的任务上的单个任务RL方法可能胜过，这表明必须在“探索”不合时宜的情况下进行精细的平衡。通过遵循元元素和“利用”离线数据集的分配状态行为，保持靠近行为策略。通过这种经验分析的激励，我们探索了基于模型的离线元RL，并具有正则政策优化（MERPO），该策略优化（MERPO）学习了一种用于有效任务结构推理的元模型，并提供了提供信息的元元素，以安全地探索过分分布状态 - 行为。特别是，我们使用保守的政策评估和正规政策改进，设计了一种新的基于元指数的基于元指数的基于元模型的参与者批判性（RAC），作为MERPO的关键构建块作为Merpo的关键构建块；而其中的内在权衡是通过在两个正规机构之间达到正确的平衡来实现的，一个是基于行为政策，另一个基于元政策。从理论上讲，我们学识渊博的政策可以保证对行为政策和元政策都有保证的改进，从而确保通过离线元RL对新任务的绩效提高。实验证实了Merpo优于现有的离线META-RL方法的出色性能。

我们考虑用于加强学习（RL）问题的模型 - 不可知的元学习（MAML）方法，其中目标是找到使用来自Markov决策过程（MDP）表示的多个任务的策略，该方法可以由随机的一步更新实现MDP的政策梯度。特别地，在MAML更新步骤中使用随机梯度对于RL问题至关重要，因为精确梯度的计算需要访问大量可能的轨迹。对于这种制剂，我们提出了一种名为随机梯度元增强学习（SG-MRL）的MAML方法的变型，并研究其收敛性。我们派生了SG-MRL的迭代和样本复杂性，以查找$ \ epsilon $ - 据我们所知，这为模型不可知的元增强学习算法提供了第一个收敛保证。我们进一步展示了我们的结果延伸到在测试时间使用多于一个随机政策梯度方法的情况的情况。最后，我们在几个深入的RL环境中凭证比较SG-MRL和MAML。

Effectively leveraging large, previously collected datasets in reinforcement learning (RL) is a key challenge for large-scale real-world applications. Offline RL algorithms promise to learn effective policies from previously-collected, static datasets without further interaction. However, in practice, offline RL presents a major challenge, and standard off-policy RL methods can fail due to overestimation of values induced by the distributional shift between the dataset and the learned policy, especially when training on complex and multi-modal data distributions. In this paper, we propose conservative Q-learning (CQL), which aims to address these limitations by learning a conservative Q-function such that the expected value of a policy under this Q-function lower-bounds its true value. We theoretically show that CQL produces a lower bound on the value of the current policy and that it can be incorporated into a policy learning procedure with theoretical improvement guarantees. In practice, CQL augments the standard Bellman error objective with a simple Q-value regularizer which is straightforward to implement on top of existing deep Q-learning and actor-critic implementations. On both discrete and continuous control domains, we show that CQL substantially outperforms existing offline RL methods, often learning policies that attain 2-5 times higher final return, especially when learning from complex and multi-modal data distributions.Preprint. Under review.

在钢筋学习中，体验重播存储过去的样本以进一步重用。优先采样是一个有希望的技术，可以更好地利用这些样品。以前的优先级标准包括TD误差，近似和纠正反馈，主要是启发式设计。在这项工作中，我们从遗憾最小化目标开始，并获得最佳的贝尔曼更新优先级探讨策略，可以直接最大化策略的返回。该理论表明，具有较高后视TD误差的数据，应在采样期间具有更高权重的重量来分配更高的Hindsight TD误差，更好的政策和更准确的Q值。因此，最先前的标准只会部分考虑这一战略。我们不仅为以前的标准提供了理论理由，还提出了两种新方法来计算优先级重量，即remern并恢复。 remern学习错误网络，而remert利用状态的时间顺序。这两种方法都以先前的优先考虑的采样算法挑战，包括Mujoco，Atari和Meta-World。

While reinforcement learning algorithms provide automated acquisition of optimal policies, practical application of such methods requires a number of design decisions, such as manually designing reward functions that not only define the task, but also provide sufficient shaping to accomplish it. In this paper, we view reinforcement learning as inferring policies that achieve desired outcomes, rather than as a problem of maximizing rewards. To solve this inference problem, we establish a novel variational inference formulation that allows us to derive a well-shaped reward function which can be learned directly from environment interactions. From the corresponding variational objective, we also derive a new probabilistic Bellman backup operator and use it to develop an off-policy algorithm to solve goal-directed tasks. We empirically demonstrate that this method eliminates the need to hand-craft reward functions for a suite of diverse manipulation and locomotion tasks and leads to effective goal-directed behaviors.

Model-free deep reinforcement learning (RL) algorithms have been demonstrated on a range of challenging decision making and control tasks. However, these methods typically suffer from two major challenges: very high sample complexity and brittle convergence properties, which necessitate meticulous hyperparameter tuning. Both of these challenges severely limit the applicability of such methods to complex, real-world domains. In this paper, we propose soft actor-critic, an offpolicy actor-critic deep RL algorithm based on the maximum entropy reinforcement learning framework. In this framework, the actor aims to maximize expected reward while also maximizing entropy. That is, to succeed at the task while acting as randomly as possible. Prior deep RL methods based on this framework have been formulated as Q-learning methods. By combining off-policy updates with a stable stochastic actor-critic formulation, our method achieves state-of-the-art performance on a range of continuous control benchmark tasks, outperforming prior on-policy and off-policy methods. Furthermore, we demonstrate that, in contrast to other off-policy algorithms, our approach is very stable, achieving very similar performance across different random seeds.

Zero-sum Markov Games (MGs) has been an efficient framework for multi-agent systems and robust control, wherein a minimax problem is constructed to solve the equilibrium policies. At present, this formulation is well studied under tabular settings wherein the maximum operator is primarily and exactly solved to calculate the worst-case value function. However, it is non-trivial to extend such methods to handle complex tasks, as finding the maximum over large-scale action spaces is usually cumbersome. In this paper, we propose the smoothing policy iteration (SPI) algorithm to solve the zero-sum MGs approximately, where the maximum operator is replaced by the weighted LogSumExp (WLSE) function to obtain the nearly optimal equilibrium policies. Specially, the adversarial policy is served as the weight function to enable an efficient sampling over action spaces.We also prove the convergence of SPI and analyze its approximation error in $\infty -$norm based on the contraction mapping theorem. Besides, we propose a model-based algorithm called Smooth adversarial Actor-critic (SaAC) by extending SPI with the function approximations. The target value related to WLSE function is evaluated by the sampled trajectories and then mean square error is constructed to optimize the value function, and the gradient-ascent-descent methods are adopted to optimize the protagonist and adversarial policies jointly. In addition, we incorporate the reparameterization technique in model-based gradient back-propagation to prevent the gradient vanishing due to sampling from the stochastic policies. We verify our algorithm in both tabular and function approximation settings. Results show that SPI can approximate the worst-case value function with a high accuracy and SaAC can stabilize the training process and improve the adversarial robustness in a large margin.

Meta-Renifiltive学习（Meta-RL）已被证明是利用事先任务的经验，以便快速学习新的相关任务的成功框架，但是，当前的Meta-RL接近在稀疏奖励环境中学习的斗争。尽管现有的Meta-RL算法可以学习适应新的稀疏奖励任务的策略，但是使用手形奖励功能来学习实际适应策略，或者需要简单的环境，其中随机探索足以遇到稀疏奖励。在本文中，我们提出了对Meta-RL的后视抢购的制定，该rl抢购了在Meta培训期间的经验，以便能够使用稀疏奖励完全学习。我们展示了我们的方法在套件挑战稀疏奖励目标达到的环境中，以前需要密集的奖励，以便在Meta训练中解决。我们的方法使用真正的稀疏奖励功能来解决这些环境，性能与具有代理密集奖励功能的培训相当。

强化学习（RL）通过与环境相互作用的试验过程解决顺序决策问题。尽管RL在玩复杂的视频游戏方面取得了巨大的成功，但在现实世界中，犯错误总是不希望的。为了提高样本效率并从而降低错误，据信基于模型的增强学习（MBRL）是一个有前途的方向，它建立了环境模型，在该模型中可以进行反复试验，而无需实际成本。在这项调查中，我们对MBRL进行了审查，重点是Deep RL的最新进展。对于非壮观环境，学到的环境模型与真实环境之间始终存在概括性错误。因此，非常重要的是分析环境模型中的政策培训与实际环境中的差异，这反过来又指导了更好的模型学习，模型使用和政策培训的算法设计。此外，我们还讨论了其他形式的RL，包括离线RL，目标条件RL，多代理RL和Meta-RL的最新进展。此外，我们讨论了MBRL在现实世界任务中的适用性和优势。最后，我们通过讨论MBRL未来发展的前景来结束这项调查。我们认为，MBRL在被忽略的现实应用程序中具有巨大的潜力和优势，我们希望这项调查能够吸引更多关于MBRL的研究。

解决稀疏奖励的多目标强化学习（RL）问题通常是具有挑战性的。现有方法利用目标依赖收集的经验，以减轻稀疏奖励提出的问题。然而，这些方法仍然有效，无法充分利用经验。在本文中，我们提出了基于模型的后敏感体验重放（MIRH），通过利用环境动态来产生虚拟实现的目标，更有效地利用更有效的体验。用从训练有素的动态模型的交互中产生的虚拟目标替换原始目标导致一种新的重定相制方法，基于模型的重新标记（MBR）。基于MBR，MEHER执行加强学习和监督学习以获得高效的政策改进。从理论上讲，我们还证明了MBR数据的目标调节监督学习的监督部分，优化了多目标RL目标的下限。基于几个点的任务和模拟机器人环境的实验结果表明，MINHER比以前的无模型和基于模型的多目标方法实现显着更高的样本效率。

元加强学习（Meta RL）作为元学习思想和强化学习（RL）的组合，使代理商能够使用一些样本适应不同的任务。但是，这种基于抽样的适应也使元rl容易受到对抗攻击的影响。通过操纵Meta RL中抽样过程的奖励反馈，攻击者可以误导代理商从培训经验中建立错误的知识，从而在适应后处理不同的任务时会恶化代理商的绩效。本文为理解这种类型的安全风险提供了游戏理论的基础。特别是，我们正式将采样攻击模型定义为攻击者和代理之间的stackelberg游戏，该游戏产生了最小值公式。它导致了两种在线攻击方案：间歇性攻击和持续攻击，这使攻击者能够学习最佳采样攻击，这是由$ \ epsilon $ -fir-first-first-fort stastary Point定义的，在$ \ MATHCAL {O}内（\ Epsilon^ {-2}）$迭代。这些攻击方案自由地学习了学习的进度，而没有与环境进行额外互动的情况。通过通过数值实验来证实收敛结果，我们观察到攻击者的较小努力可以显着恶化学习绩效，而Minimax方法也可以帮助鲁棒化元素RL算法。

Reinforcement learning (RL) problems can be challenging without well-shaped rewards. Prior work on provably efficient RL methods generally proposes to address this issue with dedicated exploration strategies. However, another way to tackle this challenge is to reformulate it as a multi-task RL problem, where the task space contains not only the challenging task of interest but also easier tasks that implicitly function as a curriculum. Such a reformulation opens up the possibility of running existing multi-task RL methods as a more efficient alternative to solving a single challenging task from scratch. In this work, we provide a theoretical framework that reformulates a single-task RL problem as a multi-task RL problem defined by a curriculum. Under mild regularity conditions on the curriculum, we show that sequentially solving each task in the multi-task RL problem is more computationally efficient than solving the original single-task problem, without any explicit exploration bonuses or other exploration strategies. We also show that our theoretical insights can be translated into an effective practical learning algorithm that can accelerate curriculum learning on simulated robotic tasks.

多智能体增强学习（Marl）最近引起了很多研究。然而，与其单一代理对应物不同，Marl的许多理论和算法方面尚未得到很好的理解。在本文中，我们使用演员 - 评论家（AC）算法研究了自主代理的协调行为的出现。具体而言，我们提出并分析了一类协调的演员 - 批评算法（CAC），其中单独的参数化政策有一个{\ IT共享}部分（其中在所有代理中共同优化）和{\ IT个性化}部分（这是只有当地优化）。这种类型的{\它部分个性化}策略允许代理通过利用同伴的过去的经验来学习协调并适应各个任务。我们设计的灵活性允许提出的Marl-CAC算法用于{\ IT完全分散}设置中使用，其中代理商只能与其邻居通信，以及偶尔代理的{\ IT联合}设置与服务器通信，同时优化其（部分个性化）本地模型。从理论上讲，在一些标准规律性假设下，所提出的Marl-CAC算法需要$ \ mathcal {o}（\ epsilon ^ { - \ frac {5} {2}}）$样本来实现$ \ epsilon $ - 固定式解决方案（定义为目标函数梯度的平方标准的解决方案小于$ \ epsilon $）。据我们所知，这项工作为具有部分个性化策略的分散式交流算法提供了第一个有限的样本保证。

在许多顺序决策问题（例如，机器人控制，游戏播放，顺序预测），人类或专家数据可用包含有关任务的有用信息。然而，来自少量专家数据的模仿学习（IL）可能在具有复杂动态的高维环境中具有挑战性。行为克隆是一种简单的方法，由于其简单的实现和稳定的收敛而被广泛使用，但不利用涉及环境动态的任何信息。由于对奖励和政策近似器或偏差，高方差梯度估计器，难以在实践中难以在实践中努力训练的许多现有方法。我们介绍了一种用于动态感知IL的方法，它通过学习单个Q函数来避免对抗训练，隐含地代表奖励和策略。在标准基准测试中，隐式学习的奖励显示与地面真实奖励的高正面相关性，说明我们的方法也可以用于逆钢筋学习（IRL）。我们的方法，逆软Q学习（IQ-Learn）获得了最先进的结果，在离线和在线模仿学习设置中，显着优于现有的现有方法，这些方法都在所需的环境交互和高维空间中的可扩展性中，通常超过3倍。

Meta强化学习（META-RL）旨在学习一项政策，同时并迅速适应新任务。它需要大量从培训任务中汲取的数据，以推断任务之间共享的共同结构。如果没有沉重的奖励工程，长期任务中的稀疏奖励加剧了元RL样品效率的问题。 Meta-RL中的另一个挑战是任务之间难度级别的差异，这可能会导致一个简单的任务主导共享策略的学习，从而排除政策适应新任务。这项工作介绍了一个新颖的目标功能，可以在培训任务中学习动作翻译。从理论上讲，我们可以验证带有操作转换器的传输策略的值可以接近源策略的值和我们的目标函数（大约）上限的值差。我们建议将动作转换器与基于上下文的元元算法相结合，以更好地收集数据，并在元训练期间更有效地探索。我们的方法从经验上提高了稀疏奖励任务上元RL算法的样本效率和性能。

采用合理的策略是具有挑战性的，但对于智能代理商的智能代理人至关重要，其资源有限，在危险，非结构化和动态环境中工作，以改善系统实用性，降低整体成本并增加任务成功概率。深度强化学习（DRL）帮助组织代理的行为和基于其状态的行为，并代表复杂的策略（行动的组成）。本文提出了一种基于贝叶斯链条的新型分层策略分解方法，将复杂的政策分为几个简单的子手段，并将其作为贝叶斯战略网络（BSN）组织。我们将这种方法整合到最先进的DRL方法中，软演奏者 - 批评者（SAC），并通过组织几个子主管作为联合政策来构建相应的贝叶斯软演奏者（BSAC）模型。我们将建议的BSAC方法与标准连续控制基准（Hopper-V2，Walker2D-V2和Humanoid-V2）在SAC和其他最先进的方法（例如TD3，DDPG和PPO）中进行比较 - Mujoco与Openai健身房环境。结果表明，BSAC方法的有希望的潜力可显着提高训练效率。可以从https://github.com/herolab-uga/bsac访问BSAC的开源代码。

我们讨论了这项工作中分散的多智能经纪增强学习（Marl）的问题。在我们的环境中，假设全局状态，行动和奖励是完全可观察的，而当地政策受到每个特工的保护，因此无法与他人分享。存在通信图，其中代理可以与其邻居交换信息。代理人使个人决定并合作达到更高的累计奖励。为此，我们首先提出了一个分散的演员 - 评论家（AC）设定。然后，策略评估和策略改进算法分别为离散和连续的状态 - 动作空间马尔可夫决策过程（MDP）设计。此外，在离散空间案件下给出了会聚分析，保证了通过在政策评估和政策改进的过程之间交替来加强政策。为了验证算法的有效性，我们设计实验并将它们与先前的算法进行比较，例如Q-Learning \ Cite {Watkins1992Q}和Maddpg \ Cite {Lowe2017Multi}。结果表明，我们的算法从学习速度和最终性能的各个方面表现出更好。此外，算法可以以违规方式执行，这大大提高了与策略算法相比的数据效率。

在许多增强学习（RL）应用中，观察空间由人类开发人员指定并受到物理实现的限制，因此可能会随时间的巨大变化（例如，观察特征的数量增加）。然而，当观察空间发生变化时，前一项策略可能由于输入特征不匹配而失败，并且另一个策略必须从头开始培训，这在计算和采样复杂性方面效率低。在理论上见解之后，我们提出了一种新颖的算法，该算法提取源任务中的潜在空间动态，并将动态模型传送到目标任务用作基于模型的常规程序。我们的算法适用于观察空间的彻底变化（例如，从向量的基于矢量的观察到图像的观察），没有任何任务映射或目标任务的任何先前知识。实证结果表明，我们的算法显着提高了目标任务中学习的效率和稳定性。