从演示和成对偏好推断奖励功能是对准与人类意图的强化学习（RL）代理的吉祥方法。然而，最先进的方法通常专注于学习单一奖励模型，从而使得难以从多个专家兑换不同的奖励功能。我们提出了多目标加强主动学习（道德），这是一种将社会规范多样化示范与帕累托最优政策相结合的新方法。通过维持分布在标量化权重，我们的方法能够以各种偏好交互地调整深度RL代理，同时消除了计算多个策略的需求。我们经验展示了道德在两种情景中的有效性，该方案模拟了需要代理人在规范冲突的情况下采取行动的交付和紧急任务。总体而言，我们认为我们的研究迈出了多目标RL的一步，具有学习奖励，弥合当前奖励学习和机器伦理文学之间的差距。

强化学习（RL）和脑电脑接口（BCI）是过去十年一直在增长的两个领域。直到最近，这些字段彼此独立操作。随着对循环（HITL）应用的兴趣升高，RL算法已经适用于人类指导，从而产生互动强化学习（IRL）的子领域。相邻的，BCI应用一直很感兴趣在人机交互期间从神经活动中提取内在反馈。这两个想法通过将BCI集成到IRL框架中，将RL和BCI设置在碰撞过程中，通过将内在反馈可用于帮助培训代理商来帮助框架。这种交叉点被称为内在的IRL。为了进一步帮助，促进BCI和IRL的更深层次，我们对内在IRILL的审查有着重点在于其母体领域的反馈驱动的IRL，同时还提供有关有效性，挑战和未来研究方向的讨论。

对于许多强化学习（RL）应用程序，指定奖励是困难的。本文考虑了一个RL设置，其中代理仅通过查询可以询问可以的专家来获取有关奖励的信息，例如，评估单个状态或通过轨迹提供二进制偏好。从如此昂贵的反馈中，我们的目标是学习奖励的模型，允许标准RL算法实现高预期的回报，尽可能少的专家查询。为此，我们提出了信息定向奖励学习（IDRL），它使用奖励的贝叶斯模型，然后选择要最大化信息增益的查询，这些查询是有关合理的最佳策略之间的返回差异的差异。与针对特定类型查询设计的先前主动奖励学习方法相比，IDRL自然地适应不同的查询类型。此外，它通过将焦点转移降低奖励近似误差来实现类似或更好的性能，从而降低奖励近似误差，以改善奖励模型引起的策略。我们支持我们的调查结果，在多个环境中进行广泛的评估，并具有不同的查询类型。

While reinforcement learning (RL) has become a more popular approach for robotics, designing sufficiently informative reward functions for complex tasks has proven to be extremely difficult due their inability to capture human intent and policy exploitation. Preference based RL algorithms seek to overcome these challenges by directly learning reward functions from human feedback. Unfortunately, prior work either requires an unreasonable number of queries implausible for any human to answer or overly restricts the class of reward functions to guarantee the elicitation of the most informative queries, resulting in models that are insufficiently expressive for realistic robotics tasks. Contrary to most works that focus on query selection to \emph{minimize} the amount of data required for learning reward functions, we take an opposite approach: \emph{expanding} the pool of available data by viewing human-in-the-loop RL through the more flexible lens of multi-task learning. Motivated by the success of meta-learning, we pre-train preference models on prior task data and quickly adapt them for new tasks using only a handful of queries. Empirically, we reduce the amount of online feedback needed to train manipulation policies in Meta-World by 20$\times$, and demonstrate the effectiveness of our method on a real Franka Panda Robot. Moreover, this reduction in query-complexity allows us to train robot policies from actual human users. Videos of our results and code can be found at https://sites.google.com/view/few-shot-preference-rl/home.

机器学习算法中多个超参数的最佳设置是发出大多数可用数据的关键。为此目的，已经提出了几种方法，例如进化策略，随机搜索，贝叶斯优化和启发式拇指规则。在钢筋学习（RL）中，学习代理在与其环境交互时收集的数据的信息内容严重依赖于许多超参数的设置。因此，RL算法的用户必须依赖于基于搜索的优化方法，例如网格搜索或Nelder-Mead单简单算法，这对于大多数R1任务来说是非常效率的，显着减慢学习曲线和离开用户的速度有目的地偏见数据收集的负担。在这项工作中，为了使RL算法更加用户独立，提出了一种使用贝叶斯优化的自主超参数设置的新方法。来自过去剧集和不同的超参数值的数据通过执行行为克隆在元学习水平上使用，这有助于提高最大化获取功能的加强学习变体的有效性。此外，通过紧密地整合在加强学习代理设计中的贝叶斯优化，还减少了收敛到给定任务的最佳策略所需的状态转换的数量。与其他手动调整和基于优化的方法相比，计算实验显示了有希望的结果，这突出了改变算法超级参数来增加所生成数据的信息内容的好处。

由于数据量增加，金融业的快速变化已经彻底改变了数据处理和数据分析的技术，并带来了新的理论和计算挑战。与古典随机控制理论和解决财务决策问题的其他分析方法相比，解决模型假设的财务决策问题，强化学习（RL）的新发展能够充分利用具有更少模型假设的大量财务数据并改善复杂的金融环境中的决策。该调查纸目的旨在审查最近的资金途径的发展和使用RL方法。我们介绍了马尔可夫决策过程，这是许多常用的RL方法的设置。然后引入各种算法，重点介绍不需要任何模型假设的基于价值和基于策略的方法。连接是用神经网络进行的，以扩展框架以包含深的RL算法。我们的调查通过讨论了这些RL算法在金融中各种决策问题中的应用，包括最佳执行，投资组合优化，期权定价和对冲，市场制作，智能订单路由和Robo-Awaring。

本文解决了逆增强学习（IRL）的问题 - 从观察其行为中推断出代理的奖励功能。 IRL可以为学徒学习提供可概括和紧凑的代表，并能够准确推断人的偏好以帮助他们。 ％并提供更准确的预测。但是，有效的IRL具有挑战性，因为许多奖励功能可以与观察到的行为兼容。我们专注于如何利用先前的强化学习（RL）经验，以使学习这些偏好更快，更高效。我们提出了IRL算法基础（通过样本中的连续功能意图推断行为获取行为），该算法利用多任务RL预培训和后继功能，使代理商可以为跨越可能的目标建立强大的基础，从而跨越可能的目标。给定的域。当仅接触一些专家演示以优化新颖目标时，代理商会使用其基础快速有效地推断奖励功能。我们的实验表明，我们的方法非常有效地推断和优化显示出奖励功能，从而准确地从少于100个轨迹中推断出奖励功能。

尽管深度强化学习（RL）最近取得了许多成功，但其方法仍然效率低下，这使得在数据方面解决了昂贵的许多问题。我们的目标是通过利用未标记的数据中的丰富监督信号来进行学习状态表示，以解决这一问题。本文介绍了三种不同的表示算法，可以访问传统RL算法使用的数据源的不同子集使用：（i）GRICA受到独立组件分析（ICA）的启发，并训练深层神经网络以输出统计独立的独立特征。输入。 Grica通过最大程度地减少每个功能与其他功能之间的相互信息来做到这一点。此外，格里卡仅需要未分类的环境状态。 （ii）潜在表示预测（LARP）还需要更多的上下文：除了要求状态作为输入外，它还需要先前的状态和连接它们的动作。该方法通过预测当前状态和行动的环境的下一个状态来学习状态表示。预测器与图形搜索算法一起使用。 （iii）重新培训通过训练深层神经网络来学习国家表示，以学习奖励功能的平滑版本。该表示形式用于预处理输入到深度RL，而奖励预测指标用于奖励成型。此方法仅需要环境中的状态奖励对学习表示表示。我们发现，每种方法都有其优势和缺点，并从我们的实验中得出结论，包括无监督的代表性学习在RL解决问题的管道中可以加快学习的速度。

With the development of deep representation learning, the domain of reinforcement learning (RL) has become a powerful learning framework now capable of learning complex policies in high dimensional environments. This review summarises deep reinforcement learning (DRL) algorithms and provides a taxonomy of automated driving tasks where (D)RL methods have been employed, while addressing key computational challenges in real world deployment of autonomous driving agents. It also delineates adjacent domains such as behavior cloning, imitation learning, inverse reinforcement learning that are related but are not classical RL algorithms. The role of simulators in training agents, methods to validate, test and robustify existing solutions in RL are discussed.

Current approaches to multi-agent cooperation rely heavily on centralized mechanisms or explicit communication protocols to ensure convergence. This paper studies the problem of distributed multi-agent learning without resorting to centralized components or explicit communication. It examines the use of distribution matching to facilitate the coordination of independent agents. In the proposed scheme, each agent independently minimizes the distribution mismatch to the corresponding component of a target visitation distribution. The theoretical analysis shows that under certain conditions, each agent minimizing its individual distribution mismatch allows the convergence to the joint policy that generated the target distribution. Further, if the target distribution is from a joint policy that optimizes a cooperative task, the optimal policy for a combination of this task reward and the distribution matching reward is the same joint policy. This insight is used to formulate a practical algorithm (DM$^2$), in which each individual agent matches a target distribution derived from concurrently sampled trajectories from a joint expert policy. Experimental validation on the StarCraft domain shows that combining (1) a task reward, and (2) a distribution matching reward for expert demonstrations for the same task, allows agents to outperform a naive distributed baseline. Additional experiments probe the conditions under which expert demonstrations need to be sampled to obtain the learning benefits.

深度强化学习（RL）导致了许多最近和开创性的进步。但是，这些进步通常以培训的基础体系结构的规模增加以及用于训练它们的RL算法的复杂性提高，而均以增加规模的成本。这些增长反过来又使研究人员更难迅速原型新想法或复制已发表的RL算法。为了解决这些问题，这项工作描述了ACME，这是一个用于构建新型RL算法的框架，这些框架是专门设计的，用于启用使用简单的模块化组件构建的代理，这些组件可以在各种执行范围内使用。尽管ACME的主要目标是为算法开发提供一个框架，但第二个目标是提供重要或最先进算法的简单参考实现。这些实现既是对我们的设计决策的验证，也是对RL研究中可重复性的重要贡献。在这项工作中，我们描述了ACME内部做出的主要设计决策，并提供了有关如何使用其组件来实施各种算法的进一步详细信息。我们的实验为许多常见和最先进的算法提供了基准，并显示了如何为更大且更复杂的环境扩展这些算法。这突出了ACME的主要优点之一，即它可用于实现大型，分布式的RL算法，这些算法可以以较大的尺度运行，同时仍保持该实现的固有可读性。这项工作提出了第二篇文章的版本，恰好与模块化的增加相吻合，对离线，模仿和从演示算法学习以及作为ACME的一部分实现的各种新代理。

Deep reinforcement learning is poised to revolutionise the field of AI and represents a step towards building autonomous systems with a higher level understanding of the visual world. Currently, deep learning is enabling reinforcement learning to scale to problems that were previously intractable, such as learning to play video games directly from pixels. Deep reinforcement learning algorithms are also applied to robotics, allowing control policies for robots to be learned directly from camera inputs in the real world. In this survey, we begin with an introduction to the general field of reinforcement learning, then progress to the main streams of value-based and policybased methods. Our survey will cover central algorithms in deep reinforcement learning, including the deep Q-network, trust region policy optimisation, and asynchronous advantage actor-critic. In parallel, we highlight the unique advantages of deep neural networks, focusing on visual understanding via reinforcement learning. To conclude, we describe several current areas of research within the field.

当从人类行为中推断出奖励功能（无论是演示，比较，物理校正或电子停靠点）时，它已证明对人类进行建模作为做出嘈杂的理性选择，并具有“合理性系数”，以捕获多少噪声或熵我们希望看到人类的行为。无论人类反馈的类型或质量如何，许多现有作品都选择修复此系数。但是，在某些情况下，进行演示可能要比回答比较查询要困难得多。在这种情况下，我们应该期望在示范中看到比比较中更多的噪音或次级临时性，并且应该相应地解释反馈。在这项工作中，我们提倡，将每种反馈类型的实际数据中的理性系数扎根，而不是假设默认值，对奖励学习具有重大的积极影响。我们在模拟反馈以及用户研究的实验中测试了这一点。我们发现，从单一反馈类型中学习时，高估人类理性可能会对奖励准确性和遗憾产生可怕的影响。此外，我们发现合理性层面会影响每种反馈类型的信息性：令人惊讶的是，示威并不总是最有用的信息 - 当人类的行为非常卑鄙时，即使在合理性水平相同的情况下，比较实际上就变得更加有用。 。此外，当机器人确定要要求的反馈类型时，它可以通过准确建模每种类型的理性水平来获得很大的优势。最终，我们的结果强调了关注假定理性级别的重要性，不仅是在从单个反馈类型中学习时，尤其是当代理商从多种反馈类型中学习时，尤其是在学习时。

对于任何负责满足人类价值观或偏好的人工智能而言，平衡多个竞争和冲突目标是一项重要任务。冲突既是由于具有竞争价值的个体之间的错位而引起的，也是一个人之间的冲突价值体系之间的不对准。从规避损失的原则开始，我们设计了一组软目标决策的软最大化功能。在一组先前开发的环境中，板凳标记了这些功能，我们发现一种新的方法特别是“分裂功能exp-log averver over over over over over”（SFELLA），学习的速度比最先进的阈值对准目标方法\引用{vamplew_potential的_2021}对其进行了测试的四个任务中的三个，并在学习后达到了相同的最佳性能。 SFELLA还显示出相对鲁棒性的改善，以抵抗客观量表的变化，这可能突出了涉及环境动态分布变化的优势。必须从预印本中省略进一步的工作，但是在最终发布的版本中，我们将进一步将SFELLA与多目标奖励指数（更多）方法进行比较，表明SFELLA在简单的先前描述的觅食任务中的性能类似，但是，在经纪人工作时没有耗尽的新资源的经过修改的觅食环境中，SFELLA收集了更多的新资源，而在旧资源方面几乎没有成本。总体而言，我们发现SFELLA对于避免有时以阈值方法出现的问题而有用，并且在保留其保守的，避开逆转损失的激励结构的同时，比更多的奖励响应响应。

我们为模仿学习提供了一个新的框架 - 将模仿视为政策和奖励之间的基于两人排名的游戏。在这个游戏中，奖励代理商学会了满足行为之间的成对性能排名，而政策代理人则学会最大程度地提高这种奖励。在模仿学习中，很难获得近乎最佳的专家数据，即使在无限数据的限制下，也不能像偏好一样对轨迹进行总订购。另一方面，仅从偏好中学习就具有挑战性，因为需要大量偏好来推断高维奖励功能，尽管偏好数据通常比专家演示更容易收集。经典的逆增强学习（IRL）的配方从专家演示中学习，但没有提供从离线偏好中纳入学习的机制，反之亦然。我们将提出的排名游戏框架实例化，并具有新颖的排名损失，从而使算法可以同时从专家演示和偏好中学习，从而获得两种方式的优势。我们的实验表明，所提出的方法可实现最新的样本效率，并可以从观察（LFO）设置中学习以前无法解决的任务。

强化学习（RL）需要访问刺激行为正确的行为的奖励功能，但这些都是非常难以指定复杂的任务。基于偏好RL提供了一种替代方案：用学习老师的偏好，而不用预先定义的奖励，从而克服与奖赏有关的工程关注的政策。然而，这是很难量化基于偏好-RL的进展，由于缺乏一个普遍采用的基准。在本文中，我们介绍了B-县：基准专为基于偏好-RL设计。这样的标杆的一个关键挑战是提供快速评估候选算法的能力，这使得依靠真正的人类输入的评价望而却步。与此同时，人类模拟输入作为给完美的喜好地面实况奖励功能是不现实的。 B-县通过一系列广泛的非理性的模拟教师缓解这一，并提出不仅仅是性能也为稳健性这些潜在的不合理性指标。我们用它来分析算法的设计选择，如选择信息查询，为国家的最先进的基于偏好的RL算法展示B-县的效用。我们希望B-县可以作为起点，以诚为本偏好研究RL更系统常见的。源代码可以在https://github.com/rll-research/B-Pref。

强化学习的标准制定缺乏指定禁止和禁止行为的实用方式。最常见的是，从业者通过手动工程来指定行为规范的任务，这是一个需要几个迭代的反向直观的过程，并且易于奖励代理人。在这项工作中，我们认为，几乎完全用于安全RL的受限制的RL，也有可能大大减少应用加强学习项目中奖励规范所花费的工作量。为此，我们建议在CMDP框架中指定行为偏好，并使用拉格朗日方法，该方法寻求解决代理程序的策略和拉格朗日乘法器之间的最小问题，以自动称量每个行为约束。具体而言，我们研究了如何调整CMDP，以便解决基于目标的任务，同时遵守一组行为约束，并提出对Sac-Lagrangian算法的修改以处理若干约束的具有挑战性的情况。我们对这一框架进行了一系列持续控制任务，该任务与用于视频游戏中NPC设计的加固学习应用相关。

奖励设计是强化学习（RL）的根本问题。错过或设计不佳的奖励可能导致样品效率低和不期望的行为。在本文中，我们提出了\ texit {programmatic奖励设计}的想法，即使用程序在RL环境中指定奖励函数。程序允许人工工程师以结构化和可意识的方式表达子目标和复杂的任务场景。然而，程序奖励设计的挑战是，虽然人类可以提供高级结构，适当地设置低级细节，例如对特定子任务的正确奖励量仍然困难。本文的主要贡献是概率框架，可以从专家演示中推断出最佳候选程序奖励功能。灵感来自最近的生成 - 对策方法，我们的框架{搜索最有可能的编程奖励功能，在那时最佳生成的轨迹无法与所公示的轨迹界别区别}。实验结果表明，使用此框架学习的编程奖励功能可以显着优于使用现有奖励学习算法的学习者，并使RL代理能够在高度复杂的任务上实现最先进的性能。

Imitation learning techniques aim to mimic human behavior in a given task. An agent (a learning machine) is trained to perform a task from demonstrations by learning a mapping between observations and actions. The idea of teaching by imitation has been around for many years, however, the field is gaining attention recently due to advances in computing and sensing as well as rising demand for intelligent applications. The paradigm of learning by imitation is gaining popularity because it facilitates teaching complex tasks with minimal expert knowledge of the tasks. Generic imitation learning methods could potentially reduce the problem of teaching a task to that of providing demonstrations; without the need for explicit programming or designing reward functions specific to the task. Modern sensors are able to collect and transmit high volumes of data rapidly, and processors with high computational power allow fast processing that maps the sensory data to actions in a timely manner. This opens the door for many potential AI applications that require real-time perception and reaction such as humanoid robots, self-driving vehicles, human computer interaction and computer games to name a few. However, specialized algorithms are needed to effectively and robustly learn models as learning by imitation poses its own set of challenges. In this paper, we survey imitation learning methods and present design options in different steps of the learning process. We introduce a background and motivation for the field as well as highlight challenges specific to the imitation problem. Methods for designing and evaluating imitation learning tasks are categorized and reviewed. Special attention is given to learning methods in robotics and games as these domains are the most popular in the literature and provide a wide array of problems and methodologies. We extensively discuss combining imitation learning approaches using different sources and methods, as well as incorporating other motion learning methods to enhance imitation. We also discuss the potential impact on industry, present major applications and highlight current and future research directions.

Adequately assigning credit to actions for future outcomes based on their contributions is a long-standing open challenge in Reinforcement Learning. The assumptions of the most commonly used credit assignment method are disadvantageous in tasks where the effects of decisions are not immediately evident. Furthermore, this method can only evaluate actions that have been selected by the agent, making it highly inefficient. Still, no alternative methods have been widely adopted in the field. Hindsight Credit Assignment is a promising, but still unexplored candidate, which aims to solve the problems of both long-term and counterfactual credit assignment. In this thesis, we empirically investigate Hindsight Credit Assignment to identify its main benefits, and key points to improve. Then, we apply it to factored state representations, and in particular to state representations based on the causal structure of the environment. In this setting, we propose a variant of Hindsight Credit Assignment that effectively exploits a given causal structure. We show that our modification greatly decreases the workload of Hindsight Credit Assignment, making it more efficient and enabling it to outperform the baseline credit assignment method on various tasks. This opens the way to other methods based on given or learned causal structures.