交互式增强学习建议使用外部信息，以加快学习过程。当与学习者互动时，人类可以提供评估或有益的建议。先前的研究通过在交互式增强学习过程中包括实时反馈，专门旨在提高代理商的学习速度，同时最大程度地减少对人类的时间的需求，从而重点关注人类建议的效果。这项工作重点是回答两种评估或信息性的方法中的哪种是人类的首选教学方法。此外，这项工作为人类试验提供了实验设置，旨在比较人们用来提供人类参与建议的方法。获得的结果表明，向学习者提供信息的用户提供了更准确的建议，愿意在更长的时间内为学习者提供帮助，并每集提供更多建议。此外，使用信息丰富的方法的参与者的自我评估表明，与提供评估建议的人相比，代理商遵循建议的能力更高，因此，他们认为自己的建议的准确性更高。

深度加强学习（DEEPRL）方法已广泛用于机器人学，以了解环境，自主获取行为。深度互动强化学习（Deepirl）包括来自外部培训师或专家的互动反馈，提供建议，帮助学习者选择采取行动以加快学习过程。但是，目前的研究仅限于仅为特工现任提供可操作建议的互动。另外，在单个使用之后，代理丢弃该信息，该用途在为Revisit以相同状态引起重复过程。在本文中，我们提出了广泛的建议（BPA），这是一种广泛的持久的咨询方法，可以保留并重新使用加工信息。它不仅可以帮助培训师提供与类似状态相关的更一般性建议，而不是仅仅是当前状态，而且还允许代理加快学习过程。我们在两个连续机器人场景中测试提出的方法，即购物车极衡任务和模拟机器人导航任务。所得结果表明，使用BPA的代理的性能在于与深层方法相比保持培训师所需的相互作用的数量。

The reinforcement learning paradigm is a popular way to address problems that have only limited environmental feedback, rather than correctly labeled examples, as is common in other machine learning contexts. While significant progress has been made to improve learning in a single task, the idea of transfer learning has only recently been applied to reinforcement learning tasks. The core idea of transfer is that experience gained in learning to perform one task can help improve learning performance in a related, but different, task. In this article we present a framework that classifies transfer learning methods in terms of their capabilities and goals, and then use it to survey the existing literature, as well as to suggest future directions for transfer learning work.

在本文中，我们研究了不确定性下的顺序决策任务中可读性的概念。以前的作品将易读性扩展到了机器人运动以外的方案，要么集中在确定性设置上，要么在计算上太昂贵。我们提出的称为POL-MDP的方法能够处理不确定性，同时保持计算障碍。在几种不同复杂性的模拟场景中，我们建立了反对最新方法的方法的优势。我们还展示了将我们的清晰政策用作反向加强学习代理的示范，并根据最佳政策建立了他们的优越性。最后，我们通过用户研究评估计算政策的可读性，在该研究中，要求人们通过观察其行动来推断移动机器人的目标。

可接受的是指对象允许的可能动作的感知。尽管其与人计算机相互作用有关，但没有现有理论解释了支撑无力形成的机制;也就是说，通过交互发现和适应的充分性。基于认知科学的加固学习理论，提出了一种综合性的无力形成理论。关键假设是用户学习在存在增强信号（成功/故障）时将有前途的电机动作与经验相关联。他们还学会分类行动（例如，“旋转”拨号），使他们能够命名和理由的能力。在遇到新颖的小部件时，他们概括这些行动的能力决定了他们感受到的能力。我们在虚拟机器人模型中实现了这个理论，它展示了在交互式小部件任务中的人性化适应性。虽然其预测与人类数据的趋势对齐，但人类能够更快地适应能力，表明存在额外机制。

Curiosity for machine agents has been a focus of lively research activity. The study of human and animal curiosity, particularly specific curiosity, has unearthed several properties that would offer important benefits for machine learners, but that have not yet been well-explored in machine intelligence. In this work, we conduct a comprehensive, multidisciplinary survey of the field of animal and machine curiosity. As a principal contribution of this work, we use this survey as a foundation to introduce and define what we consider to be five of the most important properties of specific curiosity: 1) directedness towards inostensible referents, 2) cessation when satisfied, 3) voluntary exposure, 4) transience, and 5) coherent long-term learning. As a second main contribution of this work, we show how these properties may be implemented together in a proof-of-concept reinforcement learning agent: we demonstrate how the properties manifest in the behaviour of this agent in a simple non-episodic grid-world environment that includes curiosity-inducing locations and induced targets of curiosity. As we would hope, our example of a computational specific curiosity agent exhibits short-term directed behaviour while updating long-term preferences to adaptively seek out curiosity-inducing situations. This work, therefore, presents a landmark synthesis and translation of specific curiosity to the domain of machine learning and reinforcement learning and provides a novel view into how specific curiosity operates and in the future might be integrated into the behaviour of goal-seeking, decision-making computational agents in complex environments.

深度强化学习（RL）涉及使用深神经网络（DNN）来做出顺序决策，以最大程度地提高奖励。对于许多任务，由深度RL政策产生的一系列动作顺序对于人类来说可能是漫长而难以理解的。人类解释的一个关键组成部分是选择性，仅叙述关键决定和原因。使深层RL代理具有这种能力，将使他们的产生政策从人的角度更容易理解，并产生一套简洁的指示，以帮助学习未来的代理商。为此，我们使用具有情节内存系统的深度RL代理来识别和叙述策略执行期间的关键决策。我们表明，这些决策形成了一个简短的可读解释，也可以用来以算法独立的方式加快对天真的深度RL代理的学习。

强化学习（RL）已在机器人控制中广泛采用。尽管取得了许多成功，但一个主要的持续问题可能是数据效率非常低。一种解决方案是交互式反馈，已证明可以大大加速RL。结果，有很多不同的策略，但是，这些策略主要是在离散的网格世界和小规模最佳控制场景上进行测试的。在文献中，关于哪种反馈频率是最佳的，或者当时反馈是最有益的。为了解决这些差异，我们分离并量化了具有连续状态和动作空间的机器人任务中反馈频率的影响。这些实验包括不同复杂性的机器人操纵臂的逆运动学学习。我们表明，看似矛盾的报道现象在不同的​​复杂程度下发生。此外，我们的结果表明，没有任何理想的反馈频率存在。相反，随着代理商在任务的熟练程度的提高，反馈频率应更改。

强化学习（RL）和脑电脑接口（BCI）是过去十年一直在增长的两个领域。直到最近，这些字段彼此独立操作。随着对循环（HITL）应用的兴趣升高，RL算法已经适用于人类指导，从而产生互动强化学习（IRL）的子领域。相邻的，BCI应用一直很感兴趣在人机交互期间从神经活动中提取内在反馈。这两个想法通过将BCI集成到IRL框架中，将RL和BCI设置在碰撞过程中，通过将内在反馈可用于帮助培训代理商来帮助框架。这种交叉点被称为内在的IRL。为了进一步帮助，促进BCI和IRL的更深层次，我们对内在IRILL的审查有着重点在于其母体领域的反馈驱动的IRL，同时还提供有关有效性，挑战和未来研究方向的讨论。

Imitation learning techniques aim to mimic human behavior in a given task. An agent (a learning machine) is trained to perform a task from demonstrations by learning a mapping between observations and actions. The idea of teaching by imitation has been around for many years, however, the field is gaining attention recently due to advances in computing and sensing as well as rising demand for intelligent applications. The paradigm of learning by imitation is gaining popularity because it facilitates teaching complex tasks with minimal expert knowledge of the tasks. Generic imitation learning methods could potentially reduce the problem of teaching a task to that of providing demonstrations; without the need for explicit programming or designing reward functions specific to the task. Modern sensors are able to collect and transmit high volumes of data rapidly, and processors with high computational power allow fast processing that maps the sensory data to actions in a timely manner. This opens the door for many potential AI applications that require real-time perception and reaction such as humanoid robots, self-driving vehicles, human computer interaction and computer games to name a few. However, specialized algorithms are needed to effectively and robustly learn models as learning by imitation poses its own set of challenges. In this paper, we survey imitation learning methods and present design options in different steps of the learning process. We introduce a background and motivation for the field as well as highlight challenges specific to the imitation problem. Methods for designing and evaluating imitation learning tasks are categorized and reviewed. Special attention is given to learning methods in robotics and games as these domains are the most popular in the literature and provide a wide array of problems and methodologies. We extensively discuss combining imitation learning approaches using different sources and methods, as well as incorporating other motion learning methods to enhance imitation. We also discuss the potential impact on industry, present major applications and highlight current and future research directions.

在本文中，我们为Pavlovian信号传达的多方面的研究 - 一个过程中学到的一个过程，一个代理商通过另一个代理商通知决策的时间扩展预测。信令紧密连接到时间和时间。在生成和接收信号的服务中，已知人类和其他动物代表时间，确定自过去事件以来的时间，预测到未来刺激的时间，并且都识别和生成展开时间的模式。我们调查通过引入部分可观察到的决策域来对学习代理之间的影响和信令在我们称之为霜冻空心的情况下如何影响学习代理之间的影响和信令。在该域中，预测学习代理和加强学习代理被耦合到两部分决策系统，该系统可以在避免时间条件危险时获取稀疏奖励。我们评估了两个域变型：机器代理在七态线性步行中交互，以及虚拟现实环境中的人机交互。我们的结果展示了帕夫洛维亚信号传导的学习速度，对药剂 - 代理协调具有不同时间表示（并且不）的影响，以及颞次锯齿对药剂和人毒剂相互作用的影响方式不同。作为主要贡献，我们将Pavlovian信号传导为固定信号范例与两个代理之间完全自适应通信学习之间的天然桥梁。我们进一步展示了如何从固定的信令过程计算地构建该自适应信令处理，其特征在于，通过快速的连续预测学习和对接收信号的性质的最小限制。因此，我们的结果表明了加固学习代理之间的沟通学习的可行建设者的途径。

In recent years, unmanned aerial vehicle (UAV) related technology has expanded knowledge in the area, bringing to light new problems and challenges that require solutions. Furthermore, because the technology allows processes usually carried out by people to be automated, it is in great demand in industrial sectors. The automation of these vehicles has been addressed in the literature, applying different machine learning strategies. Reinforcement learning (RL) is an automation framework that is frequently used to train autonomous agents. RL is a machine learning paradigm wherein an agent interacts with an environment to solve a given task. However, learning autonomously can be time consuming, computationally expensive, and may not be practical in highly-complex scenarios. Interactive reinforcement learning allows an external trainer to provide advice to an agent while it is learning a task. In this study, we set out to teach an RL agent to control a drone using reward-shaping and policy-shaping techniques simultaneously. Two simulated scenarios were proposed for the training; one without obstacles and one with obstacles. We also studied the influence of each technique. The results show that an agent trained simultaneously with both techniques obtains a lower reward than an agent trained using only a policy-based approach. Nevertheless, the agent achieves lower execution times and less dispersion during training.

Safe Reinforcement Learning can be defined as the process of learning policies that maximize the expectation of the return in problems in which it is important to ensure reasonable system performance and/or respect safety constraints during the learning and/or deployment processes. We categorize and analyze two approaches of Safe Reinforcement Learning. The first is based on the modification of the optimality criterion, the classic discounted finite/infinite horizon, with a safety factor. The second is based on the modification of the exploration process through the incorporation of external knowledge or the guidance of a risk metric. We use the proposed classification to survey the existing literature, as well as suggesting future directions for Safe Reinforcement Learning.

创建可以自然与人类互动的代理是人工智能（AI）研究中的共同目标。但是，评估这些互动是具有挑战性的：收集在线人类代理相互作用缓慢而昂贵，但更快的代理指标通常与交互式评估相关。在本文中，我们评估了这些现有评估指标的优点，并提出了一种新颖的评估方法，称为标准化测试套件（STS）。 STS使用从真实人类交互数据中挖掘出的行为方案。代理商请参阅重播方案上下文，接收指令，然后将控制权控制以脱机完成交互。记录这些代理的延续并将其发送给人类注释者以将其标记为成功或失败，并且根据其成功的连续性比例对代理进行排名。最终的ST是自然主义相互作用的快速，控制，可解释的和代表的。总的来说，STS巩固了我们许多标准评估指标中所需的许多值，从而使我们能够加速研究进展，以生产可以自然与人类互动的代理。可以在https://youtu.be/yr1tnggorgq上找到视频。

事实证明，在学习环境中，社会智能代理（SIA）的部署在不同的应用领域具有多个优势。社会代理创作工具使场景设计师能够创造出对SIAS行为的高度控制的量身定制体验，但是，另一方面，这是有代价的，因为该方案及其创作的复杂性可能变得霸道。在本文中，我们介绍了可解释的社会代理创作工具的概念，目的是分析社会代理的创作工具是否可以理解和解释。为此，我们检查了创作工具Fatima-Toolkit是否可以理解，并且从作者的角度来看，其创作步骤可以解释。我们进行了两项用户研究，以定量评估Fatima-Toolkit的解释性，可理解性和透明度，从场景设计师的角度来看。关键发现之一是，法蒂玛 - 库尔基特（Fatima-Toolkit）的概念模型通常是可以理解的，但是基于情感的概念并不那么容易理解和使用。尽管关于Fatima-Toolkit的解释性有一些积极的方面，但仍需要取得进展，以实现完全可以解释的社会代理商创作工具。我们提供一组关键概念和可能的解决方案，可以指导开发人员构建此类工具。

可解释的人工智能是一个研究领域，试图为自动智能系统提供更透明度。已经使用了解释性，尤其是在强化学习和机器人场景中，以更好地了解机器人决策过程。然而，以前的工作已广泛专注于提供技术解释，而不是非专家最终用户可以更好地理解的技术解释。在这项工作中，我们利用从成功的可能性中构建的类似人类的解释来完成自主机器人执行动作后显示的目标。这些解释旨在由没有或很少有人工智能方法经验的人来理解。本文提出了一项用户试验，以研究这些解释的重点是成功实现其目标的概率的解释是否构成了非专家最终用户的合适解释。获得的结果表明，与Q值产生的技术解释相比，非专业参与者的评分机器人的解释侧重于更高的成功概率和差异的差异，并且也赞成反事实解释而不是独立解释。

在空间显式的基于个别模型中捕获和模拟智能自适应行为仍然是研究人员持续的挑战。虽然收集了不断增长的现实行为数据，但存在很少的方法，可以量化和正式化关键的个人行为以及它们如何改变空间和时间。因此，通常使用的常用代理决策框架（例如事件条件 - 行动规则）通常只需要仅关注狭窄的行为范围。我们认为，这些行为框架通常不会反映现实世界的情景，并且未能捕捉如何以响应刺激而发展行为。对机器学习方法的兴趣增加了近年来模拟智能自适应行为的兴趣。在该区域中开始获得牵引的一种方法是增强学习（RL）。本文探讨了如何使用基于简单的捕食者 - 猎物代理的模型（ABM）来应用RL创建紧急代理行为。运行一系列模拟，我们证明了使用新型近端政策优化（PPO）算法培训的代理以展示现实世界智能自适应行为的性质，例如隐藏，逃避和觅食。

随着自动驾驶行业的发展，自动驾驶汽车群体的潜在相互作用也随之增长。结合人工智能和模拟的进步，可以模拟此类组，并且可以学习控制内部汽车的安全模型。这项研究将强化学习应用于多代理停车场的问题，在那里，汽车旨在有效地停车，同时保持安全和理性。利用强大的工具和机器学习框架，我们以马尔可夫决策过程的形式与独立学习者一起设计和实施灵活的停车环境，从而利用多代理通信。我们实施了一套工具来进行大规模执行实验，从而取得了超过98.1％成功率的高达7辆汽车的模型，从而超过了现有的单代机构模型。我们还获得了与汽车在我们环境中表现出的竞争性和协作行为有关的几个结果，这些行为的密度和沟通水平各不相同。值得注意的是，我们发现了一种没有竞争的合作形式，以及一种“泄漏”的合作形式，在没有足够状态的情况下，代理商进行了协作。这种工作在自动驾驶和车队管理行业中具有许多潜在的应用，并为将强化学习应用于多机构停车场提供了几种有用的技术和基准。

在过去的十年中，多智能经纪人强化学习（Marl）已经有了重大进展，但仍存在许多挑战，例如高样本复杂性和慢趋同稳定的政策，在广泛的部署之前需要克服，这是可能的。然而，在实践中，许多现实世界的环境已经部署了用于生成策略的次优或启发式方法。一个有趣的问题是如何最好地使用这些方法作为顾问，以帮助改善多代理领域的加强学习。在本文中，我们提供了一个原则的框架，用于将动作建议纳入多代理设置中的在线次优顾问。我们描述了在非传记通用随机游戏环境中提供多种智能强化代理（海军上将）的问题，并提出了两种新的基于Q学习的算法：海军上将决策（海军DM）和海军上将 - 顾问评估（Admiral-AE） ，这使我们能够通过适当地纳入顾问（Admiral-DM）的建议来改善学习，并评估顾问（Admiral-AE）的有效性。我们从理论上分析了算法，并在一般加上随机游戏中提供了关于他们学习的定点保证。此外，广泛的实验说明了这些算法：可以在各种环境中使用，具有对其他相关基线的有利相比的性能，可以扩展到大状态行动空间，并且对来自顾问的不良建议具有稳健性。

工人花费大量时间学习如何做出正确的决定。但是，评估给定决策的功效可能很复杂 - 例如，决策结果通常是长期的，并且以复杂的方式与原始决策有关。令人惊讶的是，即使学习良好的决策策略很困难，它们通常可以以简单明了的形式表达。为了关注顺序决策，我们设计了一种新颖的机器学习算法，该算法能够从跟踪数据中提取“最佳实践”，并以可解释的“提示”的形式向人类传达其见解。我们的算法选择了最能弥合人类工人所采取的行动与最佳政策所采取的行动之间差距的提示，以说明行动对实现更高绩效的影响的方式。我们通过一系列参与者管理虚拟厨房的一系列随机对照实验来评估我们的方法。我们的实验表明，我们算法产生的提示可以显着改善相对于直观基准的人类性能。此外，我们讨论了许多经验见解，这些见解可以帮助告知针对人类界面的算法设计。例如，我们发现参与者不仅盲目地遵循我们的技巧的证据。相反，他们将他们与自己的经验结合在一起，以发现改善性能的其他策略。