如何构建理解人类意图的AI，并利用这些知识与人合作？我们描述了用于评估3D电动机动作域中的目标推断模型的计算框架，其接收代理机构的3D坐标，以及可能的目标，以产生预期目标的连续更新的推断。我们在使用新的目标达到任务中评估我们三个行为实验中的框架，其中人类观察者推断出在分散注意力中达到目标的参与者的意图。我们描述了使用贝叶斯逆计划和逆体运动学预测该域中的人类意图推理。我们将模型与三种启发式进行比较，这将使用简单的假设对演员的约束的简单假设来形成最少的原则，而无需使用逆计划。尽管具有更高的计算方式，但是生成的身体运动学模型在某些场景中优于诸如障碍物的环境，并且在actor与预期目标相对远的时候达到动作的开始。启发式在达到动作的后期阶段越来越准确，例如，当预期的目标关闭时，可以通过推断手腕轨迹来推断。我们的结果确定了逆体运动学对意图推理的上下文。我们表明，人类观察者确实依赖于这种情景中的逆体运动学，这表明建模体运动可以提高推理算法的性能。

从意外的外部扰动中恢复的能力是双模型运动的基本机动技能。有效的答复包括不仅可以恢复平衡并保持稳定性的能力，而且在平衡恢复物质不可行时，也可以保证安全的方式。对于与双式运动有关的机器人，例如人形机器人和辅助机器人设备，可帮助人类行走，设计能够提供这种稳定性和安全性的控制器可以防止机器人损坏或防止伤害相关的医疗费用。这是一个具有挑战性的任务，因为它涉及用触点产生高维，非线性和致动系统的高动态运动。尽管使用基于模型和优化方法的前进方面，但诸如广泛领域知识的要求，诸如较大的计算时间和有限的动态变化的鲁棒性仍然会使这个打开问题。在本文中，为了解决这些问题，我们开发基于学习的算法，能够为两种不同的机器人合成推送恢复控制政策：人形机器人和有助于双模型运动的辅助机器人设备。我们的工作可以分为两个密切相关的指示：1）学习人形机器人的安全下降和预防策略，2）使用机器人辅助装置学习人类的预防策略。为实现这一目标，我们介绍了一套深度加强学习（DRL）算法，以学习使用这些机器人时提高安全性的控制策略。

我们的世界越来越被具有不同自治程度的智能机器人所笼罩。为了将自己无缝整合到我们的社会中，即使在没有人类的直接投入的情况下，这些机器也应具有导航日常工作复杂性的能力。换句话说，我们希望这些机器人了解其合作伙伴的意图，以预测帮助他们的最佳方法。在本文中，我们介绍了Casper（社会感知和在机器人中参与的认知体系结构）：一种象征性认知体系结构，使用定性的空间推理来预测另一个代理的追求目标并计算最佳的协作行为。这是通过平行过程的集合来执行的，该过程对低级动作识别和高级目标理解进行建模，这两者都经过正式验证。我们已经在模拟的厨房环境中测试了这种体系结构，我们收集的结果表明，机器人能够认识到一个持续的目标并适当合作实现其成就。这证明了对定性空间关系的新使用，该空间关系应用于人类机器人相互作用领域的意图阅读问题。

多年来，运动规划，映射和人类轨迹预测的单独领域显着提出。然而，在提供能够使移动操纵器能够执行全身运动并考虑移动障碍物的预测运动时，文献在提供实际框架方面仍然稀疏。基于以前的优化的运动计划方法，使用距离字段遭受更新环境表示所需的高计算成本。我们证明，与从头划痕计算距离场相比，GPU加速预测的复合距离场显着降低计算时间。我们将该技术与完整的运动规划和感知框架集成，其占据动态环境中的人类的预测运动，从而实现了包含预测动作的反应性和先发制人的运动规划。为实现这一目标，我们提出并实施了一种新颖的人类轨迹预测方法，该方法结合了基于轨迹优化的运动规划的意图识别。我们在现实世界丰田人类支持机器人（HSR）上验证了我们的由Onboard Camera的现场RGB-D传感器数据验证了我们的结果框架。除了在公开的数据集提供分析外，我们还释放了牛津室内人类运动（牛津-IHM）数据集，并在人类轨迹预测中展示了最先进的性能。牛津-IHM数据集是一个人类轨迹预测数据集，人们在室内环境中的兴趣区域之间行走。静态和机器人安装的RGB-D相机都观察了用运动捕获系统跟踪的人员。

当代机器人主义者的主要目标之一是使智能移动机器人能够在共享的人类机器人环境中平稳运行。为此目标服务的最基本必要的功能之一是在这种“社会”背景下有效的导航。结果，最近的一般社会导航的研究激增，尤其是如何处理社会导航代理之间的冲突。这些贡献介绍了各种模型，算法和评估指标，但是由于该研究领域本质上是跨学科的，因此许多相关论文是不可比较的，并且没有共同的标准词汇。这项调查的主要目标是通过引入这种通用语言，使用它来调查现有工作并突出开放问题来弥合这一差距。它首先定义社会导航的冲突，并提供其组成部分的详细分类学。然后，这项调查将现有工作映射到了本分类法中，同时使用其框架讨论论文。最后，本文提出了一些未来的研究方向和开放问题，这些方向目前正在社会导航的边界，以帮助集中于正在进行的和未来的研究。

Recent progress in artificial intelligence (AI) has renewed interest in building systems that learn and think like people. Many advances have come from using deep neural networks trained end-to-end in tasks such as object recognition, video games, and board games, achieving performance that equals or even beats humans in some respects. Despite their biological inspiration and performance achievements, these systems differ from human intelligence in crucial ways. We review progress in cognitive science suggesting that truly human-like learning and thinking machines will have to reach beyond current engineering trends in both what they learn, and how they learn it. Specifically, we argue that these machines should (a) build causal models of the world that support explanation and understanding, rather than merely solving pattern recognition problems; (b) ground learning in intuitive theories of physics and psychology, to support and enrich the knowledge that is learned; and (c) harness compositionality and learning-to-learn to rapidly acquire and generalize knowledge to new tasks and situations. We suggest concrete challenges and promising routes towards these goals that can combine the strengths of recent neural network advances with more structured cognitive models.

在本文中，我们使用人造风险领域的概念来预测人类操作员如何控制车辆以应对即将到来的道路情况。风险领域将非负风险措施分配给系统状态，以模拟该状态与违反安全财产的距离，例如击中障碍或离开道路。使用风险字段，我们构建了操作员的随机模型，该模型从状态映射到可能的行动。我们在驾驶任务上展示了我们的方法，其中要求人类受试者在逼真的驾驶模拟器中驾驶汽车，同时避免在道路上遇到障碍。我们表明，通过解决凸优化问题，可以获得驾驶数据最有可能的风险字段。接下来，我们将推断的风险领域应用于产生不同的驾驶行为，同时将预测的轨迹与地面真相测量进行比较。我们观察到，风险场在预测未来的轨迹分布方面非常出色，预测精度高达二十秒预测范围。同时，我们观察到一些挑战，例如无法说明驾驶员如何根据道路条件选择加速/减速。

灵活的目标指导行为是人类生活的一个基本方面。基于自由能最小化原理，主动推断理论从计算神经科学的角度正式产生了这种行为。基于该理论，我们介绍了一个输出型，时间预测的，模块化的人工神经网络体系结构，该建筑处理感觉运动信息，渗透到世界上与行为相关的方面，并引起高度灵活的，目标定向的行为。我们表明，我们的建筑经过端对端训练，以最大程度地减少自由能的近似值，它会发展出可以将其解释为负担能力地图的潜在状态。也就是说，新兴的潜在状态表明哪种行动导致哪些效果取决于局部环境。结合主动推断，我们表明可以调用灵活的目标指导行为，并结合新兴的负担能力图。结果，我们的模拟代理会在连续的空间中灵活地转向，避免与障碍物发生碰撞，并且更喜欢高确定性地导致目标的途径。此外，我们表明，学识渊博的代理非常适合跨环境的零拍概括：在训练少数固定环境中的代理商在具有障碍和其他影响其行为的固定环境中，它在程序生成的环境中表现出色，其中包含不同量的环境不同位置的各种尺寸的障碍和地形。

为了实现对日常生活的人类常识，机器学习系统必须理解和理解环境中其他代理人的目标，偏好和行动。在他们的第一年的生命结束时，人类婴儿直观地实现了如此常识，这些认知成就为人类丰富而复杂地了解他人的心理状态。Can Machines可以实现更广泛的，致辞推理对人类婴儿这样的其他药剂吗？婴儿直觉的基准（围兜）挑战机器，以预测代理人行为的合理性，基于其行动的基本原因。由于BIB的内容和范式从发育认知科学中采用，因此BIB允许在人类和机器性能之间直接比较。尽管如此，最近提出的深度学习的机构推理模型未能表现出婴儿的推理，让围兜成为一个开放的挑战。

许多社会机器人技术研究人员正在解决的一个问题是如何在机器人中创建更类似人类的行为，以使人类与机器人之间对人类伴侣更直观的合作。但是，为了开发类似人类的协作机器人系统，首先必须更好地理解人类的协作。人类的合作是我们所有人都熟悉的事情，但是从运动学的角度来看，对此并不了解。例如，一种尚未进行彻底研究的动态，但自然而然地发生在人类的合作中，例如领导者追随者的动态。在我们先前的研究中，我们解决了在协作达到任务期间人类二元组中领导者的角色分配的问题，结果暗示，在个人实验中表现较高的受试者自然会在身体协作中承担领导者的角色。在这项研究中，我们通过观察协作任务变得更加复杂时观察到领导者的前进动力如何改变了人类二元组中的领导者角色分配研究。在这里，这项研究是针对达到任务的，在执行2D达到任务时，二元组中的一个主题面临着避免障碍的额外任务，而他们的伴侣则不知道障碍。我们发现，受试者在整个任务中都改变了角色，以便成功完成任务，但是考虑到整个任务领导者，表现较高的人总是在表现较低的人中始终占主导地位，无论他们是否知道其他任务是否避免障碍。

在复杂的协作任务上共同努力需要代理商协调他们的行为。在实际交互之前明确或完全执行此操作并不总是可能也不充分。代理人还需要不断了解他人的当前行动，并迅速适应自己的行为。在这里，我们调查我们称之为信仰共鸣的精神状态（意图，目标）的效率，自动协调过程如何导致协作的解决问题。我们为协作剂（HAICA）提出了分层有源推断的模型。它将高效的贝叶斯理论与基于预测处理和主动推断的感知动作系统相结合。通过让一个药物的推断精神状态影响另一个代理人的预测信念来实现信仰共振，从而实现了他自己的目标和意图。这样，推断的精神状态影响了代理人自己的任务行为，没有明确的协作推理。我们在超核域中实施和评估此模型，其中两个代理具有不同程度的信仰共振组合，以满足膳食订单。我们的结果表明，基于HAICA的代理商实现了与最近现有技术方法相当的团队表现，同时产生了更低的计算成本。我们还表明，信仰共振在环境中特别有益，代理商是对环境的不对称知识。结果表明，信仰共振和有效推断允许快速高效的代理协调，因此可以用作合作认知剂的结构块。

We present a retrospective on the state of Embodied AI research. Our analysis focuses on 13 challenges presented at the Embodied AI Workshop at CVPR. These challenges are grouped into three themes: (1) visual navigation, (2) rearrangement, and (3) embodied vision-and-language. We discuss the dominant datasets within each theme, evaluation metrics for the challenges, and the performance of state-of-the-art models. We highlight commonalities between top approaches to the challenges and identify potential future directions for Embodied AI research.

我们提出了一种基于对齐的新型重定向步行控制器，允许用户探索大型和复杂的虚拟环境，同时最小化物理环境中的障碍物的碰撞次数。我们基于对齐的重定向控制器，弧形，使用户带动，使其对物理环境中的障碍物的邻近符合虚拟环境中的障碍物尽可能接近。为了在复杂环境中量化控制器的性能，我们引入了新的公制，复杂度（CR），以测量相对环境复杂性，并表征物理和虚拟环境之间的导航复杂性差异。通过广泛的仿真实验，我们表明电弧显着优于最新的最先进的控制器，其能够将用户转向无碰撞路径。我们还通过对具有许多障碍物的复杂环境中的具有稳健性的定量和定性措施来展示。我们的方法适用于任意环境，并且除了环境布局之外，没有任何用户输入或参数调整。我们在Oculus Quest头戴式显示器上实施了我们的算法，并在具有不同复杂性的环境中进行了评估其性能。我们的项目网站是在https://gamma.umd.edu/arc/提供的。

可接受的是指对象允许的可能动作的感知。尽管其与人计算机相互作用有关，但没有现有理论解释了支撑无力形成的机制;也就是说，通过交互发现和适应的充分性。基于认知科学的加固学习理论，提出了一种综合性的无力形成理论。关键假设是用户学习在存在增强信号（成功/故障）时将有前途的电机动作与经验相关联。他们还学会分类行动（例如，“旋转”拨号），使他们能够命名和理由的能力。在遇到新颖的小部件时，他们概括这些行动的能力决定了他们感受到的能力。我们在虚拟机器人模型中实现了这个理论，它展示了在交互式小部件任务中的人性化适应性。虽然其预测与人类数据的趋势对齐，但人类能够更快地适应能力，表明存在额外机制。

Teleperation已成为全自动系统，以实现人类机器人的人体水平能力的替代解决方案。具体而言，全身控制的远程运行是指挥类人动物的有前途的无提手术策略，但需要更多的身体和心理努力。为了减轻这一限制，研究人员提出了共享控制方法，结合了机器人决策，以帮助人类完成低级任务，从而进一步减少了运营工作。然而，尚未探索用于全身级别的人型类人形端粒体的共享控制方法。在这项工作中，我们研究了全身反馈如何影响不同环境中不同共享控制方法的性能。提出了时间衍生的Sigmoid功能（TDSF），以产生障碍物的更直观的力反馈。进行了全面的人类实验，结果得出的结论是，力反馈增强了在不熟悉的环境中的全身端粒化表现，但可以在熟悉的环境中降低性能。通过触觉传达机器人的意图显示出进一步的改进，因为操作员可以将力反馈用于短途计划和视觉反馈进行长距离计划。

在本文中，我们在人工代理中介绍了活跃的自我的计算建模叙述。特别是，我们专注于代理人如何配备控制意识以及它在自主位于行动中的方式以及反过来，影响行动控制。我们认为这需要铺设一个体现的认知模型，将自下而上的过程（传感器学习和对控制的细粒度适应）与自上而下的过程（战略选择和决策的认知过程）。我们基于预测处理和自由能量最小化的原理提出了这种概念计算架构。使用此常规模型，我们描述了控制层次结构的级别的控制感以及如何支持在不可预测的环境中的动作控制。我们在模型的实施以及模拟任务场景中的第一评估，其中自主代理必须应对不可预测的情况并经历相应的控制感。我们探讨了不同的型号参数设置，导致不同方式结合低电平和高级动作控制。结果表明，在低/高级动作控制需求的情况下适当加权信息的重要性，并且他们证明了控制的感觉如何促进这一点。

尽管当前的视觉算法在许多具有挑战性的任务上都表现出色，但尚不清楚他们如何理解现实世界环境的物理动态。在这里，我们介绍了Physion，一种数据集和基准，用于严格评估预测物理场景如何随着时间而发展的能力。我们的数据集具有对各种物理现象的现实模拟，包括刚性和软体体碰撞，稳定的多对象配置，滚动，滑动和弹丸运动，因此比以前的基准提供了更全面的挑战。我们使用Physion来基准一套模型，其体系结构，学习目标，投入输出结构和培训数据各不相同。同时，我们在同一场景上获得了人类预测行为的精确测量，从而使我们能够直接评估任何模型能够近似人类行为的效果。我们发现，学习以对象为中心的表示的视觉算法通常优于那些没有人的表现，但仍未达到人类绩效。另一方面，绘制具有直接访问物理状态信息的神经网络的表现效果更好，并且做出与人类制作的预测更相似。这些结果表明，提取场景的物理表征是在视力算法中实现人类水平和类似人类的物理理解的主要瓶颈。我们已公开发布了所有数据和代码，以促进使用物理以完全可重现的方式对其他模型进行基准测试，从而使对视觉算法的进度进行系统的评估，这些算法像人们一样坚固地了解物理环境。

嘈杂的传感，不完美的控制和环境变化是许多现实世界机器人任务的定义特征。部分可观察到的马尔可夫决策过程（POMDP）提供了一个原则上的数学框架，用于建模和解决不确定性下的机器人决策和控制任务。在过去的十年中，它看到了许多成功的应用程序，涵盖了本地化和导航，搜索和跟踪，自动驾驶，多机器人系统，操纵和人类机器人交互。这项调查旨在弥合POMDP模型的开发与算法之间的差距，以及针对另一端的不同机器人决策任务的应用。它分析了这些任务的特征，并将它们与POMDP框架的数学和算法属性联系起来，以进行有效的建模和解决方案。对于从业者来说，调查提供了一些关键任务特征，以决定何时以及如何成功地将POMDP应用于机器人任务。对于POMDP算法设计师，该调查为将POMDP应用于机器人系统的独特挑战提供了新的见解，并指出了有希望的新方向进行进一步研究。

本文展示了单个机制如何通过直接从代理的原始传感器流流层构建层。这种机制，一般值函数（GVF）或“预测”，捕获高级，抽象知识，作为一组关于现有特征和知识的一组预测，其专门基于代理的低级感官和动作。因此，预测提供了将原始传感器数据组织成有用的抽象的表示 - 通过无限数量的层 - AI和认知科学的长寻求目标。本文的核心是一个详细的思想实验，提供了一个具体，逐步的正式说明，逐步的人工代理商如何从其原始的传感器体验中构建真实，有用的抽象知识。知识表示为关于代理人的观察到其行为后果的一组分层预测（预测）。该图示出了十二个独立的图层：最低的原始像素，触摸和力传感器以及少量动作;较高层次增加抽象，最终导致了对代理商世界的丰富知识，对应于门口，墙壁，房间和平面图。然后，我认为这种一般机制可以允许表示广泛的日常人类知识。

尽管移动操作在工业和服务机器人技术方面都重要，但仍然是一个重大挑战，因为它需要将最终效应轨迹的无缝整合与导航技能以及对长匹马的推理。现有方法难以控制大型配置空间，并导航动态和未知环境。在先前的工作中，我们建议将移动操纵任务分解为任务空间中最终效果的简化运动生成器，并将移动设备分解为训练有素的强化学习代理，以说明移动基础的运动基础，以说明运动的运动可行性。在这项工作中，我们引入了移动操作的神经导航（n $^2 $ m $^2 $），该导航将这种分解扩展到复杂的障碍环境，并使其能够解决现实世界中的广泛任务。最终的方法可以在未探索的环境中执行看不见的长马任务，同时立即对动态障碍和环境变化做出反应。同时，它提供了一种定义新的移动操作任务的简单方法。我们证明了我们提出的方法在多个运动学上多样化的移动操纵器上进行的广泛模拟和现实实验的能力。代码和视频可在http://mobile-rl.cs.uni-freiburg.de上公开获得。