该项目提出了一种自动生成视频游戏动态描述的动作模型的方法，以及与计划代理的集成，以执行和监控计划。规划者使用这些动作模型来获得许多不同视频游戏中的代理的审议行为，并与反应模块组合，解决确定性和无确定级别。实验结果验证了该方法的方法，并证明了知识工程师的努力在这种复杂域的定义中可以大大减少。此外，域名的基准已经制定，这可能对国际规划社会评估国际规划竞赛中的规划者感兴趣。

行为树（BT）是一种在自主代理中（例如机器人或计算机游戏中的虚拟实体）之间在不同任务之间进行切换的方法。 BT是创建模块化和反应性的复杂系统的一种非常有效的方法。这些属性在许多应用中至关重要，这导致BT从计算机游戏编程到AI和机器人技术的许多分支。在本书中，我们将首先对BTS进行介绍，然后我们描述BTS与早期切换结构的关系，并且在许多情况下如何概括。然后，这些想法被用作一套高效且易于使用的设计原理的基础。安全性，鲁棒性和效率等属性对于自主系统很重要，我们描述了一套使用BTS的状态空间描述正式分析这些系统的工具。借助新的分析工具，我们可以对BTS如何推广早期方法的形式形式化。我们还显示了BTS在自动化计划和机器学习中的使用。最后，我们描述了一组扩展的工具，以捕获随机BT的行为，其中动作的结果由概率描述。这些工具可以计算成功概率和完成时间。

本文介绍了多代理系统中混合代理的开发的尴尬架构。尴尬的代理商可以实时重新配置他们的计划，以便在不断变化的环境和社会环境下与社会角色要求保持一致。拟议的混合体系结构利用面向行为的设计（BOD）来开发具有反应性计划和完善的歌剧框架的代理，以提供组织，社交和互动定义，以验证和调整代理的行为。 Opera和Bod可以共同实现代理计划的实时调整，以实现不断发展的社会角色，同时为促进各个代理商的行为变化的互动提供了透明度的额外好处。我们介绍了这种体系结构，以激发传统的符号和基于行为的AI社区之间的桥接，在该社区中，这种合并的解决方案可以帮助MAS研究人员追求建立更强大，更强大的智能代理团队。我们使用DOTA2，这是一种成功取决于社交互动的游戏，作为证明我们提出的混合体系结构的示例实现的媒介。

Monte Carlo Tree Search (MCTS) is a recently proposed search method that combines the precision of tree search with the generality of random sampling. It has received considerable interest due to its spectacular success in the difficult problem of computer Go, but has also proved beneficial in a range of other domains. This paper is a survey of the literature to date, intended to provide a snapshot of the state of the art after the first five years of MCTS research. We outline the core algorithm's derivation, impart some structure on the many variations and enhancements that have been proposed, and summarise the results from the key game and non-game domains to which MCTS methods have been applied. A number of open research questions indicate that the field is ripe for future work.

蒙特卡洛树搜索（MCT）是设计游戏机器人或解决顺序决策问题的强大方法。该方法依赖于平衡探索和开发的智能树搜索。MCT以模拟的形式进行随机抽样，并存储动作的统计数据，以在每个随后的迭代中做出更有教育的选择。然而，该方法已成为组合游戏的最新技术，但是，在更复杂的游戏（例如那些具有较高的分支因素或实时系列的游戏）以及各种实用领域（例如，运输，日程安排或安全性）有效的MCT应用程序通常需要其与问题有关的修改或与其他技术集成。这种特定领域的修改和混合方法是本调查的主要重点。最后一项主要的MCT调查已于2012年发布。自发布以来出现的贡献特别感兴趣。

近年来，游戏AI研究取得了巨大的突破，尤其是在增强学习（RL）中。尽管他们成功了，但基础游戏通常是通过自己的预设环境和游戏机制实现的，因此使研究人员难以创建不同的游戏环境。但是，测试RL代理对各种游戏环境的测试对于最近努力研究RL的概括并避免可能发生过度拟合的问题至关重要。在本文中，我们将Gridd呈现为游戏AI研究的新平台，该平台提供了高度可配置的游戏，不同的观察者类型和有效的C ++核心引擎的独特组合。此外，我们提出了一系列基线实验，以研究RL剂的不同观察构构和泛化能力的影响。

最近的自主代理和机器人的应用，如自动驾驶汽车，情景的培训师，勘探机器人和服务机器人带来了关注与当前生成人工智能（AI）系统相关的至关重要的信任相关挑战。尽管取得了巨大的成功，基于连接主义深度学习神经网络方法的神经网络方法缺乏解释他们对他人的决策和行动的能力。没有符号解释能力，它们是黑色盒子，这使得他们的决定或行动不透明，这使得难以信任它们在安全关键的应用中。最近对AI系统解释性的立场目睹了可解释的人工智能（XAI）的几种方法;然而，大多数研究都专注于应用于计算科学中的数据驱动的XAI系统。解决越来越普遍的目标驱动器和机器人的研究仍然缺失。本文评论了可解释的目标驱动智能代理和机器人的方法，重点是解释和沟通代理人感知功能的技术（示例，感官和愿景）和认知推理（例如，信仰，欲望，意图，计划和目标）循环中的人类。审查强调了强调透明度，可辨与和持续学习以获得解释性的关键策略。最后，本文提出了解释性的要求，并提出了用于实现有效目标驱动可解释的代理和机器人的路线图。

分层任务网络（HTN）计划者使用具有额外域知识的分解过程生成计划，以指导搜索计划任务。尽管域专家会开发HTN描述，但他们可能会反复描述相同的先决条件或很少使用或可能被分解的方法。通过利用三阶段的编译器设计，我们可以轻松地支持更多的语言描述和预处理优化，这些优化可以极大地提高此类域中的运行时效率。在本文中，我们使用HTN IPC 2020中使用的高血压HTN计划者评估了这种优化。

In this article we introduce the Arcade Learning Environment (ALE): both a challenge problem and a platform and methodology for evaluating the development of general, domain-independent AI technology. ALE provides an interface to hundreds of Atari 2600 game environments, each one different, interesting, and designed to be a challenge for human players. ALE presents significant research challenges for reinforcement learning, model learning, model-based planning, imitation learning, transfer learning, and intrinsic motivation. Most importantly, it provides a rigorous testbed for evaluating and comparing approaches to these problems. We illustrate the promise of ALE by developing and benchmarking domain-independent agents designed using well-established AI techniques for both reinforcement learning and planning. In doing so, we also propose an evaluation methodology made possible by ALE, reporting empirical results on over 55 different games. All of the software, including the benchmark agents, is publicly available.

深度强化学习（RL）的进展是通过用于培训代理商的具有挑战性的基准的可用性来驱动。但是，社区广泛采用的基准未明确设计用于评估RL方法的特定功能。虽然存在用于评估RL的特定打开问题的环境（例如探索，转移学习，无监督环境设计，甚至语言辅助RL），但一旦研究超出证明，通常难以将这些更富有，更复杂的环境 - 概念结果。我们展示了一个强大的沙箱框架，用于易于设计新颖的RL环境。 Minihack是一个停止商店，用于RL实验，环境包括从小房间到复杂的，程序生成的世界。通过利用来自Nethack的全套实体和环境动态，MiniHack是最富有的基网上的视频游戏之一，允许设计快速方便的定制RL测试台。使用这种沙箱框架，可以轻松设计新颖的环境，可以使用人类可读的描述语言或简单的Python接口来设计。除了各种RL任务和基线外，Minihack还可以包装现有的RL基准，并提供无缝添加额外复杂性的方法。

在上一篇论文中，我们提出了一组概念，即公理架构和算法，这些算法可以被代理商用于学习描述其行为，目标，能力和环境。当前的论文提出了一组新的概念，即公理架构和算法，使代理商可以学习对观察到的行为（例如，困惑行为），其参与者（例如，不受欢迎的命题或动作）及其环境的新描述（例如，不兼容的命题）。每个学习的描述（例如，某个动作都可以防止将来执行另一个动作）由实体之间的关系（命题或动作）之间的关系表示，并且由代理人，仅通过观察，使用独立于域的公理模式来学习或学习算法。代理人用来表示他们学到的描述的关系受到了修辞学理论（RST）的启发。该论文的主要贡献是关系家族，尽管受到首次关系特许权的启发。家庭关系的准确定义虽然涉及一组悬浮概念，它们的定义和相应的算法被提出。尽管家庭的关系一旦从代理商的观察中提取出来，就会对观察到的行为感到惊讶，并在某些情况下为此提供了理由。本文使用实施的软件在演示方案中显示了提出的提案的结果。

从制造环境到个人房屋的最终用户任务的巨大多样性使得预编程机器人非常具有挑战性。事实上，教学机器人从划痕的新行动可以重复使用以前看不见的任务仍然是一个艰难的挑战，一般都留给了机器人专家。在这项工作中，我们展示了Iropro，这是一个交互式机器人编程框架，允许最终用户没有技术背景，以教授机器人新的可重用行动。我们通过演示和自动规划技术将编程结合起来，以允许用户通过通过动力学示范教授新的行动来构建机器人的知识库。这些行动是概括的，并重用任务计划程序来解决用户定义的先前未经调查的问题。我们将iropro作为Baxter研究机器人的端到端系统实施，同时通过演示通过示范来教授低级和高级操作，以便用户可以通过图形用户界面自定义以适应其特定用例。为了评估我们的方法的可行性，我们首先进行了预设计实验，以更好地了解用户采用所涉及的概念和所提出的机器人编程过程。我们将结果与设计后实验进行比较，在那里我们进行了用户学习，以验证我们对真实最终用户的方法的可用性。总体而言，我们展示了具有不同编程水平和教育背景的用户可以轻松学习和使用Iropro及其机器人编程过程。

在AI研究中，到目前为止，尽管这一方面在智能系统的功能中突出特征，但对功能和负担的表征和代表的表征和代表的关注一直是零星和稀疏的。迄今为止，零星和稀疏的稀疏努力是对功能和负担的表征和理解，也没有一般框架可以统一与功能概念的表示和应用有关的所有不同使用域和情况。本文开发了这样的一般框架，一种方法强调了一个事实，即所涉及的表示必须是明确的认知和概念性的，它们还必须包含有关涉及的事件和过程的因果特征，并采用了概念上的结构，这些概念结构是扎根的为了达到最大的通用性，他们所指的指南。描述了基本的一般框架，以及一组有关功能表示的基本指南原则。为了正确，充分地表征和表示功能，需要一种描述性表示语言。该语言是定义和开发的，并描述了其使用的许多示例。一般框架是基于一般语言含义表示代表框架的概念依赖性的扩展而开发的。为了支持功能的一般表征和表示，基本的概念依赖框架通过称为结构锚和概念依赖性阐述的代表性设备以及一组地面概念的定义来增强。这些新颖的代表性构建体得到了定义，开发和描述。处理功能的一般框架将代表实现人工智能的重大步骤。

AI的蓬勃发展提示建议，AI技术应该是“以人为本”。然而，没有明确的定义，对人工人工智能或短，HCAI的含义。本文旨在通过解决HCAI的一些基础方面来改善这种情况。为此，我们介绍了术语HCAI代理商，以指配备有AI组件的任何物理或软件计算代理，并与人类交互和/或协作。本文识别参与HCAI代理的五个主要概念组件：观察，要求，行动，解释和模型。我们看到HCAI代理的概念，以及其组件和功能，作为弥合人以人为本的AI技术和非技术讨论的一种方式。在本文中，我们专注于采用在人类存在的动态环境中运行的单一代理的情况分析。

我们提出了一种新颖的通用方法，该方法可以找到动作的，离散的对象和效果类别，并为非平凡的行动计划建立概率规则。我们的机器人使用原始操作曲目与对象进行交互，该曲目被认为是早先获取的，并观察到它在环境中可以产生的效果。为了形成动作界面的对象，效果和关系类别，我们在预测性的，深的编码器折线网络中采用二进制瓶颈层，该网络以场景的形象和应用为输入应用的动作，并在场景中生成结果效果在像素坐标中。学习后，二进制潜在向量根据机器人的相互作用体验代表动作驱动的对象类别。为了将神经网络代表的知识提炼成对符号推理有用的规则，对决策树进行了训练以复制其解码器功能。概率规则是从树的决策路径中提取的，并在概率计划域定义语言（PPDDL）中表示，允许现成的计划者根据机器人的感觉运动体验所提取的知识进行操作。模拟机器人操纵器的建议方法的部署使发现对象属性的离散表示，例如``滚动''和``插入''。反过来，将这些表示形式用作符号可以生成有效的计划来实现目标，例如建造所需高度的塔楼，证明了多步物体操纵方法的有效性。最后，我们证明了系统不仅通过评估其对MNIST 8个式式域的适用性来限于机器人域域，在该域​​中，学习的符号允许生成将空图块移至任何给定位置的计划。

事实证明，在学习环境中，社会智能代理（SIA）的部署在不同的应用领域具有多个优势。社会代理创作工具使场景设计师能够创造出对SIAS行为的高度控制的量身定制体验，但是，另一方面，这是有代价的，因为该方案及其创作的复杂性可能变得霸道。在本文中，我们介绍了可解释的社会代理创作工具的概念，目的是分析社会代理的创作工具是否可以理解和解释。为此，我们检查了创作工具Fatima-Toolkit是否可以理解，并且从作者的角度来看，其创作步骤可以解释。我们进行了两项用户研究，以定量评估Fatima-Toolkit的解释性，可理解性和透明度，从场景设计师的角度来看。关键发现之一是，法蒂玛 - 库尔基特（Fatima-Toolkit）的概念模型通常是可以理解的，但是基于情感的概念并不那么容易理解和使用。尽管关于Fatima-Toolkit的解释性有一些积极的方面，但仍需要取得进展，以实现完全可以解释的社会代理商创作工具。我们提供一组关键概念和可能的解决方案，可以指导开发人员构建此类工具。

Recent progress in artificial intelligence (AI) has renewed interest in building systems that learn and think like people. Many advances have come from using deep neural networks trained end-to-end in tasks such as object recognition, video games, and board games, achieving performance that equals or even beats humans in some respects. Despite their biological inspiration and performance achievements, these systems differ from human intelligence in crucial ways. We review progress in cognitive science suggesting that truly human-like learning and thinking machines will have to reach beyond current engineering trends in both what they learn, and how they learn it. Specifically, we argue that these machines should (a) build causal models of the world that support explanation and understanding, rather than merely solving pattern recognition problems; (b) ground learning in intuitive theories of physics and psychology, to support and enrich the knowledge that is learned; and (c) harness compositionality and learning-to-learn to rapidly acquire and generalize knowledge to new tasks and situations. We suggest concrete challenges and promising routes towards these goals that can combine the strengths of recent neural network advances with more structured cognitive models.

Keke AI竞赛介绍了游戏Baba的人造代理竞赛是您 - 像索托班一样的益智游戏，玩家可以创建影响游戏机制的规则。更改规则可能会导致可能是解决方案空间的一部分的其余级别的暂时或永久效应。这些动态规则的性质和游戏的确定性方面为AI构成了一个挑战，即适应各种机械组合以解决一个水平。本文介绍了用于对提交代理进行排名的框架和评估指标，以及样本搜索剂的基线结果。

当前独立于域的经典计划者需要问题域和实例作为输入的符号模型，从而导致知识采集瓶颈。同时，尽管深度学习在许多领域都取得了重大成功，但知识是在与符号系统（例如计划者）不兼容的亚符号表示中编码的。我们提出了Latplan，这是一种无监督的建筑，结合了深度学习和经典计划。只有一组未标记的图像对，显示了环境中允许的过渡子集（训练输入），Latplan学习了环境的完整命题PDDL动作模型。稍后，当给出代表初始状态和目标状态（计划输入）的一对图像时，Latplan在符号潜在空间中找到了目标状态的计划，并返回可视化的计划执行。我们使用6个计划域的基于图像的版本来评估LATPLAN：8个插头，15个式嘴，Blockworld，Sokoban和两个LightsOut的变体。

事实证明，基于文本的模拟环境是机器学习方法的有效测试床。可负担提取的过程可用于在这种环境中生成可能的互动操作。在本文中，研究了在负担能力提取过程中利用外部知识数据库（特别是概念网）的功能和挑战。在交互式小说（IF）平台Textworld和Jericho上引入和评估了一种用于自动负担提取的算法。为此，将收集的负担转换为IF代理的文本命令。为了探究自动评估过程的质量，进行了另外的人类基线研究。该论文说明，尽管有一些挑战，但原则上可以将外部数据库用于负担得出。本文以进一步修改和改进过程的建议结束。