Knowledge of the symmetries of reinforcement learning (RL) systems can be used to create compressed and semantically meaningful representations of a low-level state space. We present a method of automatically detecting RL symmetries directly from raw trajectory data without requiring active control of the system. Our method generates candidate symmetries and trains a recurrent neural network (RNN) to discriminate between the original trajectories and the transformed trajectories for each candidate symmetry. The RNN discriminator's accuracy for each candidate reveals how symmetric the system is under that transformation. This information can be used to create high-level representations that are invariant to all symmetries on a dataset level and to communicate properties of the RL behavior to users. We show in experiments on two simulated RL use cases (a pusher robot and a UAV flying in wind) that our method can determine the symmetries underlying both the environment physics and the trained RL policy.

Hidden parameters are latent variables in reinforcement learning (RL) environments that are constant over the course of a trajectory. Understanding what, if any, hidden parameters affect a particular environment can aid both the development and appropriate usage of RL systems. We present an unsupervised method to map RL trajectories into a feature space where distance represents the relative difference in system behavior due to hidden parameters. Our approach disentangles the effects of hidden parameters by leveraging a recurrent neural network (RNN) world model as used in model-based RL. First, we alter the standard world model training algorithm to isolate the hidden parameter information in the world model memory. Then, we use a metric learning approach to map the RNN memory into a space with a distance metric approximating a bisimulation metric with respect to the hidden parameters. The resulting disentangled feature space can be used to meaningfully relate trajectories to each other and analyze the hidden parameter. We demonstrate our approach on four hidden parameters across three RL environments. Finally we present two methods to help identify and understand the effects of hidden parameters on systems.

Imitation learning techniques aim to mimic human behavior in a given task. An agent (a learning machine) is trained to perform a task from demonstrations by learning a mapping between observations and actions. The idea of teaching by imitation has been around for many years, however, the field is gaining attention recently due to advances in computing and sensing as well as rising demand for intelligent applications. The paradigm of learning by imitation is gaining popularity because it facilitates teaching complex tasks with minimal expert knowledge of the tasks. Generic imitation learning methods could potentially reduce the problem of teaching a task to that of providing demonstrations; without the need for explicit programming or designing reward functions specific to the task. Modern sensors are able to collect and transmit high volumes of data rapidly, and processors with high computational power allow fast processing that maps the sensory data to actions in a timely manner. This opens the door for many potential AI applications that require real-time perception and reaction such as humanoid robots, self-driving vehicles, human computer interaction and computer games to name a few. However, specialized algorithms are needed to effectively and robustly learn models as learning by imitation poses its own set of challenges. In this paper, we survey imitation learning methods and present design options in different steps of the learning process. We introduce a background and motivation for the field as well as highlight challenges specific to the imitation problem. Methods for designing and evaluating imitation learning tasks are categorized and reviewed. Special attention is given to learning methods in robotics and games as these domains are the most popular in the literature and provide a wide array of problems and methodologies. We extensively discuss combining imitation learning approaches using different sources and methods, as well as incorporating other motion learning methods to enhance imitation. We also discuss the potential impact on industry, present major applications and highlight current and future research directions.

近年来，在可解释的AI中取得了重大进展，因为了解深度学习模型的需求已成为人们对AI的信任和道德规范的越来越重要的重要性。顺序决策任务的可理解模型是一个特殊的挑战，因为它们不仅需要了解个人预测，而且需要了解与环境动态相互作用的一系列预测。我们提出了一个框架，用于学习顺序决策任务的可理解模型，在该模型中，使用时间逻辑公式对代理策略进行表征。给定一组试剂痕迹，我们首先使用一种捕获频繁的动作模式的新型嵌入方法聚集痕迹。然后，我们搜索逻辑公式，以解释不同簇中的代理策略。我们使用手工制作的专家政策和受过训练的强化学习代理商的痕迹评估了《星际争霸II》（SC2）中战斗场景的框架。我们为SC2环境实现了一个功能提取器，该功能提取器将痕迹作为高级特征的序列，描述了环境状态和代理重播中代理的本地行为。我们进一步设计了一个可视化工具，描述了环境中单元的运动，这有助于了解不同的任务条件如何导致每个跟踪群集中不同的代理行为模式。实验结果表明，我们的框架能够将试剂痕迹分离为不同的行为群体，我们的战略推理方法会产生一致，有意义且易于理解的策略描述。

从意外的外部扰动中恢复的能力是双模型运动的基本机动技能。有效的答复包括不仅可以恢复平衡并保持稳定性的能力，而且在平衡恢复物质不可行时，也可以保证安全的方式。对于与双式运动有关的机器人，例如人形机器人和辅助机器人设备，可帮助人类行走，设计能够提供这种稳定性和安全性的控制器可以防止机器人损坏或防止伤害相关的医疗费用。这是一个具有挑战性的任务，因为它涉及用触点产生高维，非线性和致动系统的高动态运动。尽管使用基于模型和优化方法的前进方面，但诸如广泛领域知识的要求，诸如较大的计算时间和有限的动态变化的鲁棒性仍然会使这个打开问题。在本文中，为了解决这些问题，我们开发基于学习的算法，能够为两种不同的机器人合成推送恢复控制政策：人形机器人和有助于双模型运动的辅助机器人设备。我们的工作可以分为两个密切相关的指示：1）学习人形机器人的安全下降和预防策略，2）使用机器人辅助装置学习人类的预防策略。为实现这一目标，我们介绍了一套深度加强学习（DRL）算法，以学习使用这些机器人时提高安全性的控制策略。

训练与人交往的机器人具有挑战性。直接让人们参与培训过程是昂贵的，这需要大量的数据样本。本文提出了解决此问题的另一种方法。我们提出了一个人类路径预测网络（HPPN），该网络基于连续的神经网络结构来基于连续机器人动作和人类响应生成用户的未来轨迹。随后，出现了一种基于进化 - 策略的机器人训练方法，仅使用使用HPPN生成的虚拟人类运动。证明我们提出的方法允许对视力受损的人进行机器人指南的样品培训。通过仅收集来自真实用户的1.5 K剧集，我们能够训练HPPN并生成训练机器人所需的100 k个虚拟剧集。训练有素的机器人精确地沿着目标路径蒙住眼睛。此外，使用虚拟情节，我们研究了一种新的奖励设计，该设计在机器人的指导中优先考虑人类的舒适性，而不会产生额外的费用。预计这种样品效率的训练方法将广泛适用于未来与人体互动的机器人。

深度加强学习（RL）使得可以使用神经网络作为功能近似器来解决复杂的机器人问题。然而，在从一个环境转移到另一个环境时，在普通环境中培训的政策在泛化方面受到影响。在这项工作中，我们使用强大的马尔可夫决策过程（RMDP）来训练无人机控制策略，这将思想与强大的控制和RL相结合。它选择了悲观优化，以处理从一个环境到另一个环境的策略转移之间的潜在间隙。训练有素的控制策略是关于四转位位置控制的任务。 RL代理商在Mujoco模拟器中培训。在测试期间，使用不同的环境参数（培训期间看不见）来验证训练策略的稳健性，以从一个环境转移到另一个环境。强大的政策在这些环境中表现出标准代理，表明增加的鲁棒性增加了一般性，并且可以适应非静止环境。代码：https://github.com/adipandas/gym_multirotor

每年，在越来越复杂的多种域名，包括GO，Poker和Starcraft II在内的著名示例中都能达到专家级的性能。这种快速的进步伴随着相应的需求，以更好地了解这种代理如何实现这种绩效，以实现其安全的部署，确定局限性并揭示其改善它们的潜力。在本文中，我们从以性能为中心的多种学习中退后一步，而是将注意力转向代理行为分析。我们介绍了一种模型 - 反应方法，用于使用变异推理在多种基因域中发现行为簇，以学习关节和局部代理水平的行为层次结构。我们的框架没有对代理的基础学习算法的假设，不需要访问其潜在状态或模型，并且可以使用完全离线观察数据进行培训。我们说明了我们方法在联合和地方代理层面上对行为的耦合理解的有效性，在整个培训过程中检测行为变更点，发现核心行为概念（例如，那些促进更高回报的核心行为概念）的有效性，并证明了方法的可扩展性高维的多基金会木叶控制结构域。

在这项工作中，我们建立了对砂桩镶嵌的不均匀区域的解说中的自治控制的启发式和学习策略。我们将问题正式化为马尔可夫决策过程，设计了一个演示了代理环境交互的模拟，最后将我们的模拟器与真正的Dozer原型进行了比较。我们使用钢筋学习，行为克隆和对比学习的方法来培训混合政策。我们的培训代理AGPNET达到人力级性能，优于自主分级任务的当前最先进的机器学习方法。此外，我们的代理能够从随机情景中推广到看不见的世界问题。

我们开发了一种通用机制，用于从概率的驾驶行为基础模型中生成车辆型特定路线序列。许多基础行为模型都经过了不包括车辆信息的数据培训，这些数据限制了其在下游应用程序（例如计划）中的实用性。我们的新方法有条件地将这种行为预测模型专门为媒介物类型，通过利用用于生产特定车辆控制器的增强学习算法的副产品。我们展示了如何使用通用的概率行为模型组成车辆特定的价值函数估计，以生成车辆型特定的路线序列，而这些序列序列更可能在物理上是可行的，而不是其车辆敏捷的序列。

随着自动驾驶行业的发展，自动驾驶汽车群体的潜在相互作用也随之增长。结合人工智能和模拟的进步，可以模拟此类组，并且可以学习控制内部汽车的安全模型。这项研究将强化学习应用于多代理停车场的问题，在那里，汽车旨在有效地停车，同时保持安全和理性。利用强大的工具和机器学习框架，我们以马尔可夫决策过程的形式与独立学习者一起设计和实施灵活的停车环境，从而利用多代理通信。我们实施了一套工具来进行大规模执行实验，从而取得了超过98.1％成功率的高达7辆汽车的模型，从而超过了现有的单代机构模型。我们还获得了与汽车在我们环境中表现出的竞争性和协作行为有关的几个结果，这些行为的密度和沟通水平各不相同。值得注意的是，我们发现了一种没有竞争的合作形式，以及一种“泄漏”的合作形式，在没有足够状态的情况下，代理商进行了协作。这种工作在自动驾驶和车队管理行业中具有许多潜在的应用，并为将强化学习应用于多机构停车场提供了几种有用的技术和基准。

建立可以探索开放式环境的自主机器，发现可能的互动，自主构建技能的曲目是人工智能的一般目标。发展方法争辩说，这只能通过可以生成，选择和学习解决自己问题的自主和本质上动机的学习代理人来实现。近年来，我们已经看到了发育方法的融合，特别是发展机器人，具有深度加强学习（RL）方法，形成了发展机器学习的新领域。在这个新域中，我们在这里审查了一组方法，其中深入RL算法训练，以解决自主获取的开放式曲目的发展机器人问题。本质上动机的目标条件RL算法训练代理商学习代表，产生和追求自己的目标。自我生成目标需要学习紧凑的目标编码以及它们的相关目标 - 成就函数，这导致与传统的RL算法相比，这导致了新的挑战，该算法设计用于使用外部奖励信号解决预定义的目标集。本文提出了在深度RL和发育方法的交叉口中进行了这些方法的类型，调查了最近的方法并讨论了未来的途径。

这项调查回顾了对基于视觉的自动驾驶系统进行行为克隆训练的解释性方法。解释性的概念具有多个方面，并且需要解释性的驾驶强度是一种安全至关重要的应用。从几个研究领域收集贡献，即计算机视觉，深度学习，自动驾驶，可解释的AI（X-AI），这项调查可以解决几点。首先，它讨论了从自动驾驶系统中获得更多可解释性和解释性的定义，上下文和动机，以及该应用程序特定的挑战。其次，以事后方式为黑盒自动驾驶系统提供解释的方法是全面组织和详细的。第三，详细介绍和讨论了旨在通过设计构建更容易解释的自动驾驶系统的方法。最后，确定并检查了剩余的开放挑战和潜在的未来研究方向。

我们研究了复杂几何物体的机器人堆叠问题。我们提出了一个挑战和多样化的这些物体，这些物体被精心设计，以便要求超出简单的“拾取”解决方案之外的策略。我们的方法是加强学习（RL）方法与基于视觉的互动政策蒸馏和模拟到现实转移相结合。我们的学习政策可以有效地处理现实世界中的多个对象组合，并展示各种各样的堆叠技能。在一个大型的实验研究中，我们调查在模拟中学习这种基于视觉的基于视觉的代理的选择，以及对真实机器人的最佳转移产生了什么影响。然后，我们利用这些策略收集的数据并通过离线RL改善它们。我们工作的视频和博客文章作为补充材料提供。

基于模型的强化学习和控制已经在各种顺序决策问题领域（包括机器人设置）中表现出巨大的潜力。但是，现实世界中的机器人系统通常会提出限制这些方法的适用性的挑战。特别是，我们注意到在许多工业系统中共同发生的两个问题：1）不规则/异步观察和动作以及2）环境动力学从发作到另一个事件的急剧变化（例如，有效载荷有效惯用属性不同）。我们提出了一个通用框架，该框架通过元学习自适应动力学模型来克服这些困难，以进行连续的时间预测和控制。我们在模拟工业机器人上评估了建议的方法。在此预印的将来迭代中，将添加对实际机器人系统的评估。

自2015年首次介绍以来，深入增强学习（DRL）方案的使用已大大增加。尽管在许多不同的应用中使用了使用，但他们仍然存在缺乏可解释性的问题。面包缺乏对研究人员和公众使用DRL解决方案的使用。为了解决这个问题，已经出现了可解释的人工智能（XAI）领域。这是各种不同的方法，它们希望打开DRL黑框，范围从使用可解释的符号决策树到诸如Shapley值之类的数值方法。这篇评论研究了使用哪些方法以及使用了哪些应用程序。这样做是为了确定哪些模型最适合每个应用程序，或者是否未充分利用方法。

Many works in explainable AI have focused on explaining black-box classification models. Explaining deep reinforcement learning (RL) policies in a manner that could be understood by domain users has received much less attention. In this paper, we propose a novel perspective to understanding RL policies based on identifying important states from automatically learned meta-states. The key conceptual difference between our approach and many previous ones is that we form meta-states based on locality governed by the expert policy dynamics rather than based on similarity of actions, and that we do not assume any particular knowledge of the underlying topology of the state space. Theoretically, we show that our algorithm to find meta-states converges and the objective that selects important states from each meta-state is submodular leading to efficient high quality greedy selection. Experiments on four domains (four rooms, door-key, minipacman, and pong) and a carefully conducted user study illustrate that our perspective leads to better understanding of the policy. We conjecture that this is a result of our meta-states being more intuitive in that the corresponding important states are strong indicators of tractable intermediate goals that are easier for humans to interpret and follow.

在过去的几年中，逆增强学习（\ textit {irl}）问题已经迅速发展，在机器人技术，认知和健康等领域中具有重要的应用。在这项工作中，我们探讨了当前IRL方法从描述长马，复杂的顺序任务的专家轨迹中学习代理奖励函数的效率低下。我们假设，将IRL模型带入捕获基本任务的结构图案可以实现和提高其性能。随后，我们提出了一种新颖的IRL方法Smirl，该方法首先学习任务的（近似）结构为有限状态-Satate-automaton（FSA），然后使用结构基序来解决IRL问题。我们在离散网格世界和高维连续域环境上测试我们的模型。我们从经验上表明，我们提出的方法成功地学习了所有四个复杂的任务，其中两个基础IRL基准失败了。我们的模型还优于简单的玩具任务中样本效率的基准。我们进一步在具有组成奖励函数的任务上的经过修改的连续域中显示了有希望的测试结果。

机器人的培训数据传输是一种在学习和基于视觉的机器人控制中的一点探索主题。因此，我们提出了一种具有较低自由度（DOF）动作的机器人的转移方法，其与利用全向相机的更高的DOF。机器人相机的虚拟旋转使得在该传输学习过程中能够进行数据增强。在这项研究中，使用由仅具有三个DOF的差分轮式地机器人收集的数据集进行6-DOF机器人的基于视觉控制策略。在机器人操纵中的应用，我们还使用具有不同视图的多个策略来展示6-DOF ARM机器人的控制系统，以实现对象达到任务。

背景信息：在过去几年中，机器学习（ML）一直是许多创新的核心。然而，包括在所谓的“安全关键”系统中，例如汽车或航空的系统已经被证明是非常具有挑战性的，因为ML的范式转变为ML带来完全改变传统认证方法。目的：本文旨在阐明与ML为基础的安全关键系统认证有关的挑战，以及文献中提出的解决方案，以解决它们，回答问题的问题如何证明基于机器学习的安全关键系统？'方法：我们开展2015年至2020年至2020年之间发布的研究论文的系统文献综述（SLR），涵盖了与ML系统认证有关的主题。总共确定了217篇论文涵盖了主题，被认为是ML认证的主要支柱：鲁棒性，不确定性，解释性，验证，安全强化学习和直接认证。我们分析了每个子场的主要趋势和问题，并提取了提取的论文的总结。结果：单反结果突出了社区对该主题的热情，以及在数据集和模型类型方面缺乏多样性。它还强调需要进一步发展学术界和行业之间的联系，以加深域名研究。最后，它还说明了必须在上面提到的主要支柱之间建立连接的必要性，这些主要柱主要主要研究。结论：我们强调了目前部署的努力，以实现ML基于ML的软件系统，并讨论了一些未来的研究方向。