开发智能和自治机器人的主要组成部分是一个合适的知识表示，从中机器人可以获得有关其行为或世界的知识。然而，与人类不同，机器人不能创造性地适应新颖的情景，因为他们的知识和环境严格定义。为了解决叫做任务树的新颖和灵活的任务计划的问题，我们探讨我们如何通过最初在机器人知识库中获得概念的计划。知识图形形式的现有知识用作引用的基本，以创建以新对象或状态组合修改的任务树。为了展示我们方法的灵活性，我们从Recipe1M + DataSet中随机选择了食谱并生成了其任务树。然后用可视化工具彻底检查任务树，该工具描绘了每个成分如何随着每个动作而改变以产生所需的膳食。我们的结果表明，即使对于从未出现之前的成分组合，该方法也可以以高精度生产任务计划。

灵活的任务计划继续对机器人构成艰巨的挑战，在这种机器人中，机器人无法创造性地将其任务计划改编成新的或看不见的问题，这主要是由于它对其行动和世界的知识有限。通过人类适应能力的激励，我们探索了如何从知识图（称为功能对象的网络（FOON））中获得的任务计划，可以用于针对需要在其知识库中不容易获得机器人可用概念的新型问题的新问题。来自140种烹饪食谱的知识是在FOON知识图中构造的，该图用于获取称为任务树的任务计划序列。可以修改任务树以以Foon知识图格式复制配方，这对于通过依靠语义相似性来丰富FOON的新食谱很有用。我们演示了任务树生成的力量，可以在食谱中从食谱中看到的1M+数据集中的食谱中看到，从未见过的成分和状态组合创建任务树的功能，我们根据它们的精确描述了新添加的成分的方式来评估树的质量。我们的实验结果表明，我们的系统能够提供76％正确性的任务序列。

Flexible task planning is still a significant challenge for robots. The inability of robots to creatively adapt their task plans to new or unforeseen challenges is largely attributable to their limited understanding of their activities and the environment. Cooking, for example, requires a person to occasionally take risks that a robot would find extremely dangerous. We may obtain manipulation sequences by employing knowledge that is drawn from numerous video sources thanks to knowledge retrieval through graph search.

We have designed three search methods for producing the task trees for the provided goal nodes using the Functional Object-Oriented Network. This paper details the strategy, the procedure, and the outcomes.

在对关节对象表示表示的工作之后，引入了面向对象的网络（FOON）作为机器人的知识图表示。以双方图的形式，Foon包含符号（高级）概念，可用于机器人对任务及其对象级别计划的环境的理解及其环境。在本文之前，几乎没有做任何事情来证明如何通过任务树检索从FOON获取的任务计划如何由机器人执行，因为Foon中的概念太抽象了，无法立即执行。我们提出了一种分层任务计划方法，该方法将FOON图转换为基于PDDL的域知识表示操作计划的表示。由于这个过程，可以获取一个任务计划，即机器人可以从头到尾执行，以利用动态运动原始功能（DMP）的形式使用动作上下文和技能。我们演示了从计划到使用Coppeliasim执行的整个管道，并展示如何将学习的动作上下文扩展到从未见过的场景。

Search algorithms are applied where data retrieval with specified specifications is required. The motivation behind developing search algorithms in Functional Object-Oriented Networks is that most of the time, a certain recipe needs to be retrieved or ingredients for a certain recipe needs to be determined. According to the introduction, there is a time when execution of an entire recipe is not available for a robot thus prompting the need to retrieve a certain recipe or ingredients. With a quality FOON, robots can decipher a task goal, find the correct objects at the required states on which to operate and output a sequence of proper manipulation motions. This paper shows several proposed weighted FOON and task planning algorithms that allow a robot and a human to successfully complete complicated tasks together with higher success rates than a human doing them alone.

Robotic agents often perform tasks that transform sets of input objects into output objects through functional motions. This work describes the FOON knowledge representation model for robotic tasks. We define the structure and key components of FOON and describe the process we followed to create our universal FOON dataset. The paper describes various search algorithms and heuristic functions we used to search for objects within the FOON. We performed multiple searches on our universal FOON using these algorithms and discussed the effectiveness of each algorithm.

Robots can complete all human-performed tasks, but due to their current lack of knowledge, some tasks still cannot be completed by them with a high degree of success. However, with the right knowledge, these tasks can be completed by robots with a high degree of success, reducing the amount of human effort required to complete daily tasks. In this paper, the FOON, which describes the robot action success rate, is discussed. The functional object-oriented network (FOON) is a knowledge representation for symbolic task planning that takes the shape of a graph. It is to demonstrate the adaptability of FOON in developing a novel and adaptive method of solving a problem utilizing knowledge obtained from various sources, a graph retrieval methodology is shown to produce manipulation motion sequences from the FOON to accomplish a desired aim. The outcomes are illustrated using motion sequences created by the FOON to complete the desired objectives in a simulated environment.

我们提出了一个新问题：代理可以学习如何将以前任务中的动作结合起来，以完成新任务，就像人类一样？与模仿学习相反，没有专家数据，只有通过环境探索收集的数据。与离线增强学习相比，数据分配转移的问题更为严重。由于解决新任务的动作顺序可能是多个培训任务的轨迹段的组合，换句话说，测试任务和求解策略不直接存在于培训数据中。这使问题更加困难。我们提出了一种与内存相关的多任务方法（M3）来解决此问题。该方法包括三个阶段。首先，进行任务不足的探索以收集数据。与以前的方法不同，我们将探索数据组织到知识图中。我们根据勘探数据设计一个模型，以提取动作效果功能并将其保存在记忆中，同时训练了动作预测模型。其次，对于新任务，存储在内存中的动作效应特征用于通过基于特征分解的方法来生成候选动作。最后，一个多尺度的候选动作池和动作预测模型融合在一起，以生成完成任务的策略。实验结果表明，与基线相比，我们提出的方法的性能得到了显着提高。

行为树（BT）是一种在自主代理中（例如机器人或计算机游戏中的虚拟实体）之间在不同任务之间进行切换的方法。 BT是创建模块化和反应性的复杂系统的一种非常有效的方法。这些属性在许多应用中至关重要，这导致BT从计算机游戏编程到AI和机器人技术的许多分支。在本书中，我们将首先对BTS进行介绍，然后我们描述BTS与早期切换结构的关系，并且在许多情况下如何概括。然后，这些想法被用作一套高效且易于使用的设计原理的基础。安全性，鲁棒性和效率等属性对于自主系统很重要，我们描述了一套使用BTS的状态空间描述正式分析这些系统的工具。借助新的分析工具，我们可以对BTS如何推广早期方法的形式形式化。我们还显示了BTS在自动化计划和机器学习中的使用。最后，我们描述了一组扩展的工具，以捕获随机BT的行为，其中动作的结果由概率描述。这些工具可以计算成功概率和完成时间。

工业机器人操纵器（例如柯机）的应用可能需要在具有静态和非静态障碍物组合的环境中有效的在线运动计划。当可用的计算时间受到限制或无法完全产生解决方案时，现有的通用计划方法通常会产生较差的质量解决方案。我们提出了一个新的运动计划框架，旨在在用户定义的任务空间中运行，而不是机器人的工作空间，该框架有意将工作空间一般性交易，以计划和执行时间效率。我们的框架自动构建在线查询的轨迹库，类似于利用离线计算的以前方法。重要的是，我们的方法还提供了轨迹长度上有限的次级优势保证。关键的想法是建立称为$ \ epsilon $ -Gromov-Hausdorff近似值的近似异构体，以便在任务空间附近的点也很接近配置空间。这些边界关系进一步意味着可以平稳地串联轨迹，这使我们的框架能够解决批次查询方案，目的是找到最小长度的轨迹顺序，这些轨迹访问一组无序的目标。我们通过几种运动型配置评估了模拟框架，包括安装在移动基础上的操纵器。结果表明，我们的方法可实现可行的实时应用，并为扩展其功能提供了有趣的机会。

A robot finds it really hard to learn creatively and adapt to new unseen challenges. This is mainly because of the minimal information it has access to or experience towards. Paulius et al. [1] presented a way to construct functional graphs that encapsulate. Sakib et al. [2] further expanded FOON objects for robotic cooking. This paper presents a comparative study of Breadth First Search (BFS), Greedy Breadth First search (GBFS) with two heuristic functions, and Iterative Depth First Search (IDFS) and provides a comparison of their performance.

A critical step in sharing semantic content online is to map the structural data source to a public domain ontology. This problem is denoted as the Relational-To-Ontology Mapping Problem (Rel2Onto). A huge effort and expertise are required for manually modeling the semantics of data. Therefore, an automatic approach for learning the semantics of a data source is desirable. Most of the existing work studies the semantic annotation of source attributes. However, although critical, the research for automatically inferring the relationships between attributes is very limited. In this paper, we propose a novel method for semantically annotating structured data sources using machine learning, graph matching and modified frequent subgraph mining to amend the candidate model. In our work, Knowledge graph is used as prior knowledge. Our evaluation shows that our approach outperforms two state-of-the-art solutions in tricky cases where only a few semantic models are known.

人们经常在网上观看视频，以学习如何烹饪新食谱，组装家具或维修计算机。我们希望启用具有相同功能的机器人。这是具有挑战性的；操作动作的差异很大，有些视频甚至涉及多个人，他们通过共享和交换对象和工具来协作。此外，学习的表示形式需要足够通用才能转移到机器人系统中。另一方面，以前的工作表明，人类操纵动作的空间具有语言，层次结构，将动作与操纵对象和工具联系起来。在这种行动的语言理论的基础上，我们提出了一个系统，以理解和执行从网络上的全长真实烹饪视频中展示的动作序列。该系统将输入作为一个新的，以前看不见的烹饪视频，并用对象标签和边界框注释，并为一个或多个机器人臂输出协作操作操作计划。我们在100个YouTube烹饪视频的标准化数据集以及六个完整的YouTube视频中演示了该系统的性能，其中包括两个参与者之间的协作动作。我们将系统与由最先进的动作检测基线组成的基线系统进行比较，并显示我们的系统达到了更高的动作检测准确性。我们还提出了一个开源平台，用于在模拟环境以及实际机器人部门中执行学习的计划。

在本文中，我们提出了操纵关系图（MRG），这是一种小型可供表现，它捕获了任意场景的底层操纵关系。要从原始视觉观察构建此类图，介绍了名为AR-Net的深形环境网络。它由属性模块和上下文模块组成，该上下文模块分别指导对象和子图水平的关系学习。我们在名为SMRD的新颖操作关系数据集中定量验证了我们的方法。为了评估所提出的模型和表示的性能，进行视觉感知和物理操纵实验。总体而言，AR-NET与MRG优于所有基线，在任务完成（TR）的任务关系识别（TRR）上取得88.89％的成功率（TRR）和73.33％

机器人通常需要解决路径规划问题，而环境的基本和离散方面则可以观察到。这引入了多模式，机器人必须能够观察并推断其环境状态。为了解决这个问题，我们介绍了计划在信仰空间中的路径树的路径优化（PTO）算法。路径树是一种类似树状的运动，具有分支点，机器人会收到可导致信仰状态更新的观察结果。机器人取决于收到的观察结果。该算法有三个主要步骤。首先，在状态空间上生长了快速探索的随机图（RRG）。其次，通过查询观察模型，将RRG扩展到信仰空间图。在第三步中，在信仰空间图上执行动态编程以提取路径树。最终的路径树结合了探索与剥削，即它平衡了获得有关环境的知识的需求，并需要达到目标。我们在导航和移动操作任务上演示了算法功能，并在最佳和运行时使用任务和运动计划方法（TAMP）表现出比基线的优势。

我们为具有高维状态空间的复杂操纵任务的视觉动作计划提供了一个框架，重点是操纵可变形物体。我们为任务计划提出了一个潜在的空间路线图（LSR），这是一个基于图的结构，在全球范围内捕获了低维潜在空间中的系统动力学。我们的框架由三个部分组成：（1）映射模块（mm），该模块以图像的形式映射观测值，以提取各个状态的结构化潜在空间，并从潜在状态产生观测值，（2）LSR，LSR的LSR构建并连接包含相似状态的群集，以找到MM提取的开始和目标状态之间的潜在计划，以及（3）与LSR相应的潜在计划与相应的操作相辅相成的动作提案模块。我们对模拟的盒子堆叠和绳索/盒子操纵任务进行了彻底的调查，以及在真实机器人上执行的折叠任务。

在工厂或房屋等环境中协助我们的机器人必须学会使用对象作为执行任务的工具，例如使用托盘携带对象。我们考虑了学习常识性知识何时可能有用的问题，以及如何与其他工具一起使用其使用以完成由人类指示的高级任务。具体而言，我们引入了一种新型的神经模型，称为Tooltango，该模型首先预测要使用的下一个工具，然后使用此信息来预测下一项动作。我们表明，该联合模型可以告知学习精细的策略，从而使机器人可以顺序使用特定工具，并在使模型更加准确的情况下增加了重要价值。 Tooltango使用图神经网络编码世界状态，包括对象和它们之间的符号关系，并使用人类教师的演示进行了培训，这些演示是指导物理模拟器中的虚拟机器人的演示。该模型学会了使用目标和动作历史的知识来参加场景，最终将符号动作解码为执行。至关重要的是，我们解决了缺少一些已知工具的看不见的环境的概括，但是存在其他看不见的工具。我们表明，通过通过从知识库中得出的预训练的嵌入来增强环境的表示，该模型可以有效地将其推广到新的环境中。实验结果表明，在预测具有看不见对象的新型环境中模拟移动操纵器的成功符号计划时，至少48.8-58.1％的绝对改善对基准的绝对改善。这项工作朝着使机器人能够快速合成复杂任务的强大计划的方向，尤其是在新颖的环境中

3D场景图（3DSG）是新兴的描述；统一符号，拓扑和度量场景表示。但是，典型的3DSG即使在小环境中包含数百个对象和符号。完整图上的任务计划是不切实际的。我们构建任务法，这是第一个大规模的机器人任务计划基准3DSGS。尽管大多数基准在该领域的基准努力都集中在基于愿景的计划上，但我们系统地研究了符号计划，以使计划绩效与视觉表示学习相结合。我们观察到，在现有方法中，基于经典和学习的计划者都不能在完整的3DSG上实时计划。实现实时计划需要（a）稀疏3DSG进行可拖动计划的进展，以及（b）设计更好利用3DSG层次结构的计划者。针对前一个目标，我们提出了磨砂膏，这是一种由任务条件的3DSG稀疏方法。使经典计划者能够匹配，在某些情况下可以超过最新的学习计划者。我们提出寻求后一个目标，这是一种使学习计划者能够利用3DSG结构的程序，从而减少了当前最佳方法所需的重型查询数量的数量级。我们将开放所有代码和基线，以刺激机器人任务计划，学习和3DSGS的交叉点进行进一步的研究。

我们的世界越来越被具有不同自治程度的智能机器人所笼罩。为了将自己无缝整合到我们的社会中，即使在没有人类的直接投入的情况下，这些机器也应具有导航日常工作复杂性的能力。换句话说，我们希望这些机器人了解其合作伙伴的意图，以预测帮助他们的最佳方法。在本文中，我们介绍了Casper（社会感知和在机器人中参与的认知体系结构）：一种象征性认知体系结构，使用定性的空间推理来预测另一个代理的追求目标并计算最佳的协作行为。这是通过平行过程的集合来执行的，该过程对低级动作识别和高级目标理解进行建模，这两者都经过正式验证。我们已经在模拟的厨房环境中测试了这种体系结构，我们收集的结果表明，机器人能够认识到一个持续的目标并适当合作实现其成就。这证明了对定性空间关系的新使用，该空间关系应用于人类机器人相互作用领域的意图阅读问题。