强化学习（RL）需要访问刺激行为正确的行为的奖励功能，但这些都是非常难以指定复杂的任务。基于偏好RL提供了一种替代方案：用学习老师的偏好，而不用预先定义的奖励，从而克服与奖赏有关的工程关注的政策。然而，这是很难量化基于偏好-RL的进展，由于缺乏一个普遍采用的基准。在本文中，我们介绍了B-县：基准专为基于偏好-RL设计。这样的标杆的一个关键挑战是提供快速评估候选算法的能力，这使得依靠真正的人类输入的评价望而却步。与此同时，人类模拟输入作为给完美的喜好地面实况奖励功能是不现实的。 B-县通过一系列广泛的非理性的模拟教师缓解这一，并提出不仅仅是性能也为稳健性这些潜在的不合理性指标。我们用它来分析算法的设计选择，如选择信息查询，为国家的最先进的基于偏好的RL算法展示B-县的效用。我们希望B-县可以作为起点，以诚为本偏好研究RL更系统常见的。源代码可以在https://github.com/rll-research/B-Pref。

While reinforcement learning (RL) has become a more popular approach for robotics, designing sufficiently informative reward functions for complex tasks has proven to be extremely difficult due their inability to capture human intent and policy exploitation. Preference based RL algorithms seek to overcome these challenges by directly learning reward functions from human feedback. Unfortunately, prior work either requires an unreasonable number of queries implausible for any human to answer or overly restricts the class of reward functions to guarantee the elicitation of the most informative queries, resulting in models that are insufficiently expressive for realistic robotics tasks. Contrary to most works that focus on query selection to \emph{minimize} the amount of data required for learning reward functions, we take an opposite approach: \emph{expanding} the pool of available data by viewing human-in-the-loop RL through the more flexible lens of multi-task learning. Motivated by the success of meta-learning, we pre-train preference models on prior task data and quickly adapt them for new tasks using only a handful of queries. Empirically, we reduce the amount of online feedback needed to train manipulation policies in Meta-World by 20$\times$, and demonstrate the effectiveness of our method on a real Franka Panda Robot. Moreover, this reduction in query-complexity allows us to train robot policies from actual human users. Videos of our results and code can be found at https://sites.google.com/view/few-shot-preference-rl/home.

社会意识的机器人导航，其中需要机器人来优化其轨迹，除了到达没有碰撞的目标的目标外，还可以保持与人类的舒适和柔顺的空间互动，是人类背景下导航机器人的基本尚容的任务-robot互动。随着基于学习的方法已经实现了比以前的基于模型的方法更好的性能，它们仍然存在一些缺点：加强学习方法，在手工制作的奖励中回复优化，不太可能全面地模拟社会合会，可以导致奖励剥削问题;通过人类示范学习政策的反增强学习方法遭受昂贵的和部分样本，并且需要广泛的特征工程来合理。在本文中，我们提出了Fapl，一种反馈高效的互动强化学习方法，蒸煮了人的偏好和舒适性，成为奖励模型，作为指导代理人探索社会合准性的潜在方面的教师。介绍了混合体验和违规学习，以提高样品和人体反馈的效率。广泛的模拟实验证明了FAPPL的优势。用户学习，在现实世界中，在现实世界的情况下与人类导航的情况，进一步评估了定性地评估了学习机器人行为的好处。

Current advances in recommender systems have been remarkably successful in optimizing immediate engagement. However, long-term user engagement, a more desirable performance metric, remains difficult to improve. Meanwhile, recent reinforcement learning (RL) algorithms have shown their effectiveness in a variety of long-term goal optimization tasks. For this reason, RL is widely considered as a promising framework for optimizing long-term user engagement in recommendation. Despite being a promising approach, the application of RL heavily relies on well-designed rewards, but designing rewards related to long-term user engagement is quite difficult. To mitigate the problem, we propose a novel paradigm, Preference-based Recommender systems (PrefRec), which allows RL recommender systems to learn from preferences about users' historical behaviors rather than explicitly defined rewards. Such preferences are easily accessible through techniques such as crowdsourcing, as they do not require any expert knowledge. With PrefRec, we can fully exploit the advantages of RL in optimizing long-term goals, while avoiding complex reward engineering. PrefRec uses the preferences to automatically train a reward function in an end-to-end manner. The reward function is then used to generate learning signals to train the recommendation policy. Furthermore, we design an effective optimization method for PrefRec, which uses an additional value function, expectile regression and reward model pre-training to improve the performance. Extensive experiments are conducted on a variety of long-term user engagement optimization tasks. The results show that PrefRec significantly outperforms previous state-of-the-art methods in all the tasks.

尽管在许多具有挑战性的问题中取得了成功，但增强学习（RL）仍然面临样本效率低下，可以通过将先验知识引入代理人来缓解。但是，在加强学习方面的许多转移技术使教师是专家的局限性假设。在本文中，我们将增强学习中的行动作为推理框架 - 即，在每个状态下的行动分布，类似于教师政策，而不是贝叶斯的先验 - 恢复最先进的策略蒸馏技术。然后，我们提出了一类自适应方法，这些方法可以通过结合奖励成型和辅助正则化损失来鲁sumply动作先验。与先前的工作相反，我们开发了利用次优的动作先验的算法，这些算法可能仍然传授有价值的知识 - 我们称之为软动作先验。拟议的算法通过根据教师在每个州的有用性的估计来调整教师反馈的强度来适应。我们执行表格实验，这表明所提出的方法达到了最先进的性能，在从次优先的先验中学习时超过了它。最后，我们证明了自适应算法在连续动作中的鲁棒性深度RL问题，与现有的策略蒸馏方法相比，自适应算法显着提高了稳定性。

离线强化学习在利用大型预采用的数据集进行政策学习方面表现出了巨大的希望，使代理商可以放弃经常廉价的在线数据收集。但是，迄今为止，离线强化学习的探索相对较小，并且缺乏对剩余挑战所在的何处的了解。在本文中，我们试图建立简单的基线以在视觉域中连续控制。我们表明，对两个基于最先进的在线增强学习算法，Dreamerv2和DRQ-V2进行了简单的修改，足以超越事先工作并建立竞争性的基准。我们在现有的离线数据集中对这些算法进行了严格的评估，以及从视觉观察结果中进行离线强化学习的新测试台，更好地代表现实世界中离线增强学习问题中存在的数据分布，并开放我们的代码和数据以促进此方面的进度重要领域。最后，我们介绍并分析了来自视觉观察的离线RL所独有的几个关键Desiderata，包括视觉分散注意力和动态视觉上可识别的变化。

元强化学习（RL）方法可以使用比标准RL少的数据级的元培训策略，但元培训本身既昂贵又耗时。如果我们可以在离线数据上进行元训练，那么我们可以重复使用相同的静态数据集，该数据集将一次标记为不同任务的奖励，以在元测试时间适应各种新任务的元训练策略。尽管此功能将使Meta-RL成为现实使用的实用工具，但离线META-RL提出了除在线META-RL或标准离线RL设置之外的其他挑战。 Meta-RL学习了一种探索策略，该策略收集了用于适应的数据，并元培训策略迅速适应了新任务的数据。由于该策略是在固定的离线数据集上进行了元训练的，因此当适应学识渊博的勘探策略收集的数据时，它可能表现得不可预测，这与离线数据有系统地不同，从而导致分布变化。我们提出了一种混合脱机元元素算法，该算法使用带有奖励的脱机数据来进行自适应策略，然后收集其他无监督的在线数据，而无需任何奖励标签来桥接这一分配变化。通过不需要在线收集的奖励标签，此数据可以便宜得多。我们将我们的方法比较了在模拟机器人的运动和操纵任务上进行离线元rl的先前工作，并发现使用其他无监督的在线数据收集可以显着提高元训练政策的自适应能力，从而匹配完全在线的表现。在一系列具有挑战性的域上，需要对新任务进行概括。

强化学习（RL）和脑电脑接口（BCI）是过去十年一直在增长的两个领域。直到最近，这些字段彼此独立操作。随着对循环（HITL）应用的兴趣升高，RL算法已经适用于人类指导，从而产生互动强化学习（IRL）的子领域。相邻的，BCI应用一直很感兴趣在人机交互期间从神经活动中提取内在反馈。这两个想法通过将BCI集成到IRL框架中，将RL和BCI设置在碰撞过程中，通过将内在反馈可用于帮助培训代理商来帮助框架。这种交叉点被称为内在的IRL。为了进一步帮助，促进BCI和IRL的更深层次，我们对内在IRILL的审查有着重点在于其母体领域的反馈驱动的IRL，同时还提供有关有效性，挑战和未来研究方向的讨论。

资产分配（或投资组合管理）是确定如何最佳将有限预算的资金分配给一系列金融工具/资产（例如股票）的任务。这项研究调查了使用无模型的深RL代理应用于投资组合管理的增强学习（RL）的性能。我们培训了几个RL代理商的现实股票价格，以学习如何执行资产分配。我们比较了这些RL剂与某些基线剂的性能。我们还比较了RL代理，以了解哪些类别的代理表现更好。从我们的分析中，RL代理可以执行投资组合管理的任务，因为它们的表现明显优于基线代理（随机分配和均匀分配）。四个RL代理（A2C，SAC，PPO和TRPO）总体上优于最佳基线MPT。这显示了RL代理商发现更有利可图的交易策略的能力。此外，基于价值和基于策略的RL代理之间没有显着的性能差异。演员批评者的表现比其他类型的药物更好。同样，在政策代理商方面的表现要好，因为它们在政策评估方面更好，样品效率在投资组合管理中并不是一个重大问题。这项研究表明，RL代理可以大大改善资产分配，因为它们的表现优于强基础。基于我们的分析，在政策上，参与者批评的RL药物显示出最大的希望。

Model-free deep reinforcement learning (RL) algorithms have been demonstrated on a range of challenging decision making and control tasks. However, these methods typically suffer from two major challenges: very high sample complexity and brittle convergence properties, which necessitate meticulous hyperparameter tuning. Both of these challenges severely limit the applicability of such methods to complex, real-world domains. In this paper, we propose soft actor-critic, an offpolicy actor-critic deep RL algorithm based on the maximum entropy reinforcement learning framework. In this framework, the actor aims to maximize expected reward while also maximizing entropy. That is, to succeed at the task while acting as randomly as possible. Prior deep RL methods based on this framework have been formulated as Q-learning methods. By combining off-policy updates with a stable stochastic actor-critic formulation, our method achieves state-of-the-art performance on a range of continuous control benchmark tasks, outperforming prior on-policy and off-policy methods. Furthermore, we demonstrate that, in contrast to other off-policy algorithms, our approach is very stable, achieving very similar performance across different random seeds.

从演示和成对偏好推断奖励功能是对准与人类意图的强化学习（RL）代理的吉祥方法。然而，最先进的方法通常专注于学习单一奖励模型，从而使得难以从多个专家兑换不同的奖励功能。我们提出了多目标加强主动学习（道德），这是一种将社会规范多样化示范与帕累托最优政策相结合的新方法。通过维持分布在标量化权重，我们的方法能够以各种偏好交互地调整深度RL代理，同时消除了计算多个策略的需求。我们经验展示了道德在两种情景中的有效性，该方案模拟了需要代理人在规范冲突的情况下采取行动的交付和紧急任务。总体而言，我们认为我们的研究迈出了多目标RL的一步，具有学习奖励，弥合当前奖励学习和机器伦理文学之间的差距。

无模型的深度增强学习（RL）已成功应用于挑战连续控制域。然而，较差的样品效率可防止这些方法广泛用于现实世界领域。我们通过提出一种新的无模型算法，现实演员 - 评论家（RAC）来解决这个问题，旨在通过学习关于Q函数的各种信任的政策家庭来解决价值低估和高估之间的权衡。我们构建不确定性惩罚Q-Learning（UPQ），该Q-Learning（UPQ）使用多个批评者的合并来控制Q函数的估计偏差，使Q函数平稳地从低于更高的置信范围偏移。随着这些批评者的指导，RAC采用通用价值函数近似器（UVFA），同时使用相同的神经网络学习许多乐观和悲观的政策。乐观的政策会产生有效的探索行为，而悲观政策会降低价值高估的风险，以确保稳定的策略更新和Q函数。该方法可以包含任何违规的演员 - 评论家RL算法。我们的方法实现了10倍的样本效率和25 \％的性能改进与SAC在最具挑战性的人形环境中，获得了11107美元的集中奖励1107美元，价格为10 ^ 6美元。所有源代码都可以在https://github.com/ihuhuhu/rac获得。

Learning from visual observations is a fundamental yet challenging problem in Reinforcement Learning (RL). Although algorithmic advances combined with convolutional neural networks have proved to be a recipe for success, current methods are still lacking on two fronts: (a) data-efficiency of learning and (b) generalization to new environments. To this end, we present Reinforcement Learning with Augmented Data (RAD), a simple plug-and-play module that can enhance most RL algorithms. We perform the first extensive study of general data augmentations for RL on both pixel-based and state-based inputs, and introduce two new data augmentations -random translate and random amplitude scale. We show that augmentations such as random translate, crop, color jitter, patch cutout, random convolutions, and amplitude scale can enable simple RL algorithms to outperform complex state-of-the-art methods across common benchmarks. RAD sets a new state-of-the-art in terms of data-efficiency and final performance on the DeepMind Control Suite benchmark for pixel-based control as well as Ope-nAI Gym benchmark for state-based control. We further demonstrate that RAD significantly improves test-time generalization over existing methods on several OpenAI ProcGen benchmarks. Our RAD module and training code are available at https://www.github.com/MishaLaskin/rad.

我们为模仿学习提供了一个新的框架 - 将模仿视为政策和奖励之间的基于两人排名的游戏。在这个游戏中，奖励代理商学会了满足行为之间的成对性能排名，而政策代理人则学会最大程度地提高这种奖励。在模仿学习中，很难获得近乎最佳的专家数据，即使在无限数据的限制下，也不能像偏好一样对轨迹进行总订购。另一方面，仅从偏好中学习就具有挑战性，因为需要大量偏好来推断高维奖励功能，尽管偏好数据通常比专家演示更容易收集。经典的逆增强学习（IRL）的配方从专家演示中学习，但没有提供从离线偏好中纳入学习的机制，反之亦然。我们将提出的排名游戏框架实例化，并具有新颖的排名损失，从而使算法可以同时从专家演示和偏好中学习，从而获得两种方式的优势。我们的实验表明，所提出的方法可实现最新的样本效率，并可以从观察（LFO）设置中学习以前无法解决的任务。

最近无监督的预训练方法已证明通过学习多个下游任务的有用表示，对语言和视觉域有效。在本文中，我们研究了这种无监督的预训练方法是否也可以有效地基于视觉的增强学习（RL）。为此，我们介绍了一个框架，该框架学习了通过视频的生成预训练来理解动态的表示形式。我们的框架由两个阶段组成：我们预先培训无动作的潜在视频预测模型，然后利用预训练的表示形式在看不见的环境上有效地学习动作条件的世界模型。为了在微调过程中纳入其他动作输入，我们引入了一种新的体系结构，该结构将动作条件潜在预测模型堆叠在预先训练的无动作预测模型之上。此外，为了更好地探索，我们提出了一种基于视频的内在奖励，以利用预培训的表示。我们证明，在各种操纵和运动任务中，我们的框架显着改善了基于视力的RL的最终性能和样本效率。代码可在https://github.com/younggyoseo/apv上找到。

深入学习的强化学习（RL）的结合导致了一系列令人印象深刻的壮举，许多相信（深）RL提供了一般能力的代理。然而，RL代理商的成功往往对培训过程中的设计选择非常敏感，这可能需要繁琐和易于易于的手动调整。这使得利用RL对新问题充满挑战，同时也限制了其全部潜力。在许多其他机器学习领域，AutomL已经示出了可以自动化这样的设计选择，并且在应用于RL时也会产生有希望的初始结果。然而，自动化强化学习（AutorL）不仅涉及Automl的标准应用，而且还包括RL独特的额外挑战，其自然地产生了不同的方法。因此，Autorl已成为RL中的一个重要研究领域，提供来自RNA设计的各种应用中的承诺，以便玩游戏等游戏。鉴于RL中考虑的方法和环境的多样性，在不同的子领域进行了大部分研究，从Meta学习到进化。在这项调查中，我们寻求统一自动的领域，我们提供常见的分类法，详细讨论每个区域并对研究人员来说是一个兴趣的开放问题。

Deep reinforcement learning algorithms have succeeded in several challenging domains. Classic Online RL job schedulers can learn efficient scheduling strategies but often takes thousands of timesteps to explore the environment and adapt from a randomly initialized DNN policy. Existing RL schedulers overlook the importance of learning from historical data and improving upon custom heuristic policies. Offline reinforcement learning presents the prospect of policy optimization from pre-recorded datasets without online environment interaction. Following the recent success of data-driven learning, we explore two RL methods: 1) Behaviour Cloning and 2) Offline RL, which aim to learn policies from logged data without interacting with the environment. These methods address the challenges concerning the cost of data collection and safety, particularly pertinent to real-world applications of RL. Although the data-driven RL methods generate good results, we show that the performance is highly dependent on the quality of the historical datasets. Finally, we demonstrate that by effectively incorporating prior expert demonstrations to pre-train the agent, we short-circuit the random exploration phase to learn a reasonable policy with online training. We utilize Offline RL as a \textbf{launchpad} to learn effective scheduling policies from prior experience collected using Oracle or heuristic policies. Such a framework is effective for pre-training from historical datasets and well suited to continuous improvement with online data collection.

在本文中，我们提出了一种用于增强学习（RL）的最大熵框架，以克服在无模型基于样本的学习中实现最大熵RL的软演员 - 评论权（SAC）算法的限制。尽管在未来的最大熵RL指南学习政策中，未来的高熵达到国家，所提出的MAX-MIN熵框架旨在学会访问低熵的国家，并最大限度地提高这些低熵状态的熵，以促进更好的探索。对于一般马尔可夫决策过程（MDP），基于勘探和剥削的解剖学，在提议的MAX-MIN熵框架下构建了一种有效的算法。数值结果表明，该算法对目前最先进的RL算法产生了剧烈性能改进。

设计加固学习（RL）代理通常是一个艰难的过程，需要大量的设计迭代。由于多种原因，学习可能会失败，并且标准RL方法提供的工具太少，无法洞悉确切原因。在本文中，我们展示了如何将价值分解整合到一类广泛的参与者批评算法中，并使用它来协助迭代代理设计过程。价值分解将奖励函数分为不同的组件，并学习每个组件的价值估计值。这些价值估计提供了对代理商的学习和决策过程的见解，并使新的培训方法可以减轻常见问题。作为演示，我们介绍了SAC-D，这是一种适合价值分解的软角色批评（SAC）的变体。 SAC-D保持与SAC相似的性能，同时学习一组更大的价值预测。我们还介绍了基于分解的工具来利用此信息，包括新的奖励影响指标，该指标衡量了每个奖励组件对代理决策的影响。使用这些工具，我们提供了分解用于识别和解决环境和代理设计问题的几种证明。价值分解广泛适用，易于将其纳入现有算法和工作流程中，使其成为RL从业人员的工具箱中的强大工具。

对于许多强化学习（RL）应用程序，指定奖励是困难的。本文考虑了一个RL设置，其中代理仅通过查询可以询问可以的专家来获取有关奖励的信息，例如，评估单个状态或通过轨迹提供二进制偏好。从如此昂贵的反馈中，我们的目标是学习奖励的模型，允许标准RL算法实现高预期的回报，尽可能少的专家查询。为此，我们提出了信息定向奖励学习（IDRL），它使用奖励的贝叶斯模型，然后选择要最大化信息增益的查询，这些查询是有关合理的最佳策略之间的返回差异的差异。与针对特定类型查询设计的先前主动奖励学习方法相比，IDRL自然地适应不同的查询类型。此外，它通过将焦点转移降低奖励近似误差来实现类似或更好的性能，从而降低奖励近似误差，以改善奖励模型引起的策略。我们支持我们的调查结果，在多个环境中进行广泛的评估，并具有不同的查询类型。