灵活的任务计划继续对机器人构成艰巨的挑战，在这种机器人中，机器人无法创造性地将其任务计划改编成新的或看不见的问题，这主要是由于它对其行动和世界的知识有限。通过人类适应能力的激励，我们探索了如何从知识图（称为功能对象的网络（FOON））中获得的任务计划，可以用于针对需要在其知识库中不容易获得机器人可用概念的新型问题的新问题。来自140种烹饪食谱的知识是在FOON知识图中构造的，该图用于获取称为任务树的任务计划序列。可以修改任务树以以Foon知识图格式复制配方，这对于通过依靠语义相似性来丰富FOON的新食谱很有用。我们演示了任务树生成的力量，可以在食谱中从食谱中看到的1M+数据集中的食谱中看到，从未见过的成分和状态组合创建任务树的功能，我们根据它们的精确描述了新添加的成分的方式来评估树的质量。我们的实验结果表明，我们的系统能够提供76％正确性的任务序列。
translated by 谷歌翻译
开发智能和自治机器人的主要组成部分是一个合适的知识表示，从中机器人可以获得有关其行为或世界的知识。然而，与人类不同，机器人不能创造性地适应新颖的情景，因为他们的知识和环境严格定义。为了解决叫做任务树的新颖和灵活的任务计划的问题，我们探讨我们如何通过最初在机器人知识库中获得概念的计划。知识图形形式的现有知识用作引用的基本，以创建以新对象或状态组合修改的任务树。为了展示我们方法的灵活性，我们从Recipe1M + DataSet中随机选择了食谱并生成了其任务树。然后用可视化工具彻底检查任务树，该工具描绘了每个成分如何随着每个动作而改变以产生所需的膳食。我们的结果表明，即使对于从未出现之前的成分组合，该方法也可以以高精度生产任务计划。
translated by 谷歌翻译
We have designed three search methods for producing the task trees for the provided goal nodes using the Functional Object-Oriented Network. This paper details the strategy, the procedure, and the outcomes.
translated by 谷歌翻译
Flexible task planning is still a significant challenge for robots. The inability of robots to creatively adapt their task plans to new or unforeseen challenges is largely attributable to their limited understanding of their activities and the environment. Cooking, for example, requires a person to occasionally take risks that a robot would find extremely dangerous. We may obtain manipulation sequences by employing knowledge that is drawn from numerous video sources thanks to knowledge retrieval through graph search.
translated by 谷歌翻译
在对关节对象表示表示的工作之后，引入了面向对象的网络（FOON）作为机器人的知识图表示。以双方图的形式，Foon包含符号（高级）概念，可用于机器人对任务及其对象级别计划的环境的理解及其环境。在本文之前，几乎没有做任何事情来证明如何通过任务树检索从FOON获取的任务计划如何由机器人执行，因为Foon中的概念太抽象了，无法立即执行。我们提出了一种分层任务计划方法，该方法将FOON图转换为基于PDDL的域知识表示操作计划的表示。由于这个过程，可以获取一个任务计划，即机器人可以从头到尾执行，以利用动态运动原始功能（DMP）的形式使用动作上下文和技能。我们演示了从计划到使用Coppeliasim执行的整个管道，并展示如何将学习的动作上下文扩展到从未见过的场景。
translated by 谷歌翻译
Robotic agents often perform tasks that transform sets of input objects into output objects through functional motions. This work describes the FOON knowledge representation model for robotic tasks. We define the structure and key components of FOON and describe the process we followed to create our universal FOON dataset. The paper describes various search algorithms and heuristic functions we used to search for objects within the FOON. We performed multiple searches on our universal FOON using these algorithms and discussed the effectiveness of each algorithm.
translated by 谷歌翻译
Search algorithms are applied where data retrieval with specified specifications is required. The motivation behind developing search algorithms in Functional Object-Oriented Networks is that most of the time, a certain recipe needs to be retrieved or ingredients for a certain recipe needs to be determined. According to the introduction, there is a time when execution of an entire recipe is not available for a robot thus prompting the need to retrieve a certain recipe or ingredients. With a quality FOON, robots can decipher a task goal, find the correct objects at the required states on which to operate and output a sequence of proper manipulation motions. This paper shows several proposed weighted FOON and task planning algorithms that allow a robot and a human to successfully complete complicated tasks together with higher success rates than a human doing them alone.
translated by 谷歌翻译
行为树（BT）是一种在自主代理中（例如机器人或计算机游戏中的虚拟实体）之间在不同任务之间进行切换的方法。 BT是创建模块化和反应性的复杂系统的一种非常有效的方法。这些属性在许多应用中至关重要，这导致BT从计算机游戏编程到AI和机器人技术的许多分支。在本书中，我们将首先对BTS进行介绍，然后我们描述BTS与早期切换结构的关系，并且在许多情况下如何概括。然后，这些想法被用作一套高效且易于使用的设计原理的基础。安全性，鲁棒性和效率等属性对于自主系统很重要，我们描述了一套使用BTS的状态空间描述正式分析这些系统的工具。借助新的分析工具，我们可以对BTS如何推广早期方法的形式形式化。我们还显示了BTS在自动化计划和机器学习中的使用。最后，我们描述了一组扩展的工具，以捕获随机BT的行为，其中动作的结果由概率描述。这些工具可以计算成功概率和完成时间。
translated by 谷歌翻译
从制造环境到个人房屋的最终用户任务的巨大多样性使得预编程机器人非常具有挑战性。事实上，教学机器人从划痕的新行动可以重复使用以前看不见的任务仍然是一个艰难的挑战，一般都留给了机器人专家。在这项工作中，我们展示了Iropro，这是一个交互式机器人编程框架，允许最终用户没有技术背景，以教授机器人新的可重用行动。我们通过演示和自动规划技术将编程结合起来，以允许用户通过通过动力学示范教授新的行动来构建机器人的知识库。这些行动是概括的，并重用任务计划程序来解决用户定义的先前未经调查的问题。我们将iropro作为Baxter研究机器人的端到端系统实施，同时通过演示通过示范来教授低级和高级操作，以便用户可以通过图形用户界面自定义以适应其特定用例。为了评估我们的方法的可行性，我们首先进行了预设计实验，以更好地了解用户采用所涉及的概念和所提出的机器人编程过程。我们将结果与设计后实验进行比较，在那里我们进行了用户学习，以验证我们对真实最终用户的方法的可用性。总体而言，我们展示了具有不同编程水平和教育背景的用户可以轻松学习和使用Iropro及其机器人编程过程。
translated by 谷歌翻译
在本文中，我们提出了操纵关系图（MRG），这是一种小型可供表现，它捕获了任意场景的底层操纵关系。要从原始视觉观察构建此类图，介绍了名为AR-Net的深形环境网络。它由属性模块和上下文模块组成，该上下文模块分别指导对象和子图水平的关系学习。我们在名为SMRD的新颖操作关系数据集中定量验证了我们的方法。为了评估所提出的模型和表示的性能，进行视觉感知和物理操纵实验。总体而言，AR-NET与MRG优于所有基线，在任务完成（TR）的任务关系识别（TRR）上取得88.89％的成功率（TRR）和73.33％
translated by 谷歌翻译
我们提出了一个新问题：代理可以学习如何将以前任务中的动作结合起来，以完成新任务，就像人类一样？与模仿学习相反，没有专家数据，只有通过环境探索收集的数据。与离线增强学习相比，数据分配转移的问题更为严重。由于解决新任务的动作顺序可能是多个培训任务的轨迹段的组合，换句话说，测试任务和求解策略不直接存在于培训数据中。这使问题更加困难。我们提出了一种与内存相关的多任务方法（M3）来解决此问题。该方法包括三个阶段。首先，进行任务不足的探索以收集数据。与以前的方法不同，我们将探索数据组织到知识图中。我们根据勘探数据设计一个模型，以提取动作效果功能并将其保存在记忆中，同时训练了动作预测模型。其次，对于新任务，存储在内存中的动作效应特征用于通过基于特征分解的方法来生成候选动作。最后，一个多尺度的候选动作池和动作预测模型融合在一起，以生成完成任务的策略。实验结果表明，与基线相比，我们提出的方法的性能得到了显着提高。
translated by 谷歌翻译
Robots can complete all human-performed tasks, but due to their current lack of knowledge, some tasks still cannot be completed by them with a high degree of success. However, with the right knowledge, these tasks can be completed by robots with a high degree of success, reducing the amount of human effort required to complete daily tasks. In this paper, the FOON, which describes the robot action success rate, is discussed. The functional object-oriented network (FOON) is a knowledge representation for symbolic task planning that takes the shape of a graph. It is to demonstrate the adaptability of FOON in developing a novel and adaptive method of solving a problem utilizing knowledge obtained from various sources, a graph retrieval methodology is shown to produce manipulation motion sequences from the FOON to accomplish a desired aim. The outcomes are illustrated using motion sequences created by the FOON to complete the desired objectives in a simulated environment.
translated by 谷歌翻译
在工厂或房屋等环境中协助我们的机器人必须学会使用对象作为执行任务的工具，例如使用托盘携带对象。我们考虑了学习常识性知识何时可能有用的问题，以及如何与其他工具一起使用其使用以完成由人类指示的高级任务。具体而言，我们引入了一种新型的神经模型，称为Tooltango，该模型首先预测要使用的下一个工具，然后使用此信息来预测下一项动作。我们表明，该联合模型可以告知学习精细的策略，从而使机器人可以顺序使用特定工具，并在使模型更加准确的情况下增加了重要价值。 Tooltango使用图神经网络编码世界状态，包括对象和它们之间的符号关系，并使用人类教师的演示进行了培训，这些演示是指导物理模拟器中的虚拟机器人的演示。该模型学会了使用目标和动作历史的知识来参加场景，最终将符号动作解码为执行。至关重要的是，我们解决了缺少一些已知工具的看不见的环境的概括，但是存在其他看不见的工具。我们表明，通过通过从知识库中得出的预训练的嵌入来增强环境的表示，该模型可以有效地将其推广到新的环境中。实验结果表明，在预测具有看不见对象的新型环境中模拟移动操纵器的成功符号计划时，至少48.8-58.1％的绝对改善对基准的绝对改善。这项工作朝着使机器人能够快速合成复杂任务的强大计划的方向，尤其是在新颖的环境中
translated by 谷歌翻译
工业机器人操纵器（例如柯机）的应用可能需要在具有静态和非静态障碍物组合的环境中有效的在线运动计划。当可用的计算时间受到限制或无法完全产生解决方案时，现有的通用计划方法通常会产生较差的质量解决方案。我们提出了一个新的运动计划框架，旨在在用户定义的任务空间中运行，而不是机器人的工作空间，该框架有意将工作空间一般性交易，以计划和执行时间效率。我们的框架自动构建在线查询的轨迹库，类似于利用离线计算的以前方法。重要的是，我们的方法还提供了轨迹长度上有限的次级优势保证。关键的想法是建立称为$ \ epsilon $ -Gromov-Hausdorff近似值的近似异构体，以便在任务空间附近的点也很接近配置空间。这些边界关系进一步意味着可以平稳地串联轨迹，这使我们的框架能够解决批次查询方案，目的是找到最小长度的轨迹顺序，这些轨迹访问一组无序的目标。我们通过几种运动型配置评估了模拟框架，包括安装在移动基础上的操纵器。结果表明，我们的方法可实现可行的实时应用，并为扩展其功能提供了有趣的机会。
translated by 谷歌翻译
2022-04-04
大型语言模型可以编码有关世界的大量语义知识。这种知识对于旨在采取自然语言表达的高级，时间扩展的指示的机器人可能非常有用。但是，语言模型的一个重大弱点是，它们缺乏现实世界的经验，这使得很难利用它们在给定的体现中进行决策。例如，要求语言模型描述如何清洁溢出物可能会导致合理的叙述，但是它可能不适用于需要在特定环境中执行此任务的特定代理商（例如机器人）。我们建议通过预处理的技能来提供现实世界的基础，这些技能用于限制模型以提出可行且在上下文上适当的自然语言动作。机器人可以充当语言模型的“手和眼睛”，而语言模型可以提供有关任务的高级语义知识。我们展示了如何将低级技能与大语言模型结合在一起，以便语言模型提供有关执行复杂和时间扩展说明的过程的高级知识，而与这些技能相关的价值功能则提供了连接必要的基础了解特定的物理环境。我们在许多现实世界的机器人任务上评估了我们的方法，我们表明了对现实世界接地的需求，并且这种方法能够在移动操纵器上完成长远，抽象的自然语言指令。该项目的网站和视频可以在https://say-can.github.io/上找到。
translated by 谷歌翻译
感知，规划，估算和控制的当代方法允许机器人在不确定，非结构化环境中的远程代理中稳健运行。此进度现在创造了机器人不仅在隔离，而且在我们的复杂环境中运行的机器人。意识到这个机会需要一种高效且灵活的媒介，人类可以与协作机器人沟通。自然语言提供了一种这样的媒体，通过对自然语言理解的统计方法的重大进展，现在能够解释各种自由形式命令。然而，大多数当代方法需要机器人环境的详细，现有的空间语义地图，这些环境模拟了话语可能引用的可能引用的空间。因此，当机器人部署在新的，先前未知或部分观察到的环境中时，这些方法发生故障，特别是当环境的心理模型在人类运营商和机器人之间不同时。本文提供了一种新的学习框架的全面描述，允许现场和服务机器人解释并正确执行先验未知，非结构化环境中的自然语言指令。对于我们的方法而不是我们的语言作为“传感器” - 在话语中隐含的“传感器” - 推断的空间，拓扑和语义信息，然后利用这些信息来学习在潜在环境模型上的分布。我们将此分布纳入概率，语言接地模型中，并在机器人的动作空间的象征性表示中推断出分布。我们使用模仿学习来确定对环境和行为分布的原因的信仰空间政策。我们通过各种导航和移动操纵实验评估我们的框架。
translated by 谷歌翻译
我们提出了一种新颖的通用方法，该方法可以找到动作的，离散的对象和效果类别，并为非平凡的行动计划建立概率规则。我们的机器人使用原始操作曲目与对象进行交互，该曲目被认为是早先获取的，并观察到它在环境中可以产生的效果。为了形成动作界面的对象，效果和关系类别，我们在预测性的，深的编码器折线网络中采用二进制瓶颈层，该网络以场景的形象和应用为输入应用的动作，并在场景中生成结果效果在像素坐标中。学习后，二进制潜在向量根据机器人的相互作用体验代表动作驱动的对象类别。为了将神经网络代表的知识提炼成对符号推理有用的规则，对决策树进行了训练以复制其解码器功能。概率规则是从树的决策路径中提取的，并在概率计划域定义语言（PPDDL）中表示，允许现成的计划者根据机器人的感觉运动体验所提取的知识进行操作。模拟机器人操纵器的建议方法的部署使发现对象属性的离散表示，例如``滚动''和``插入''。反过来，将这些表示形式用作符号可以生成有效的计划来实现目标，例如建造所需高度的塔楼，证明了多步物体操纵方法的有效性。最后，我们证明了系统不仅通过评估其对MNIST 8个式式域的适用性来限于机器人域域，在该域中，学习的符号允许生成将空图块移至任何给定位置的计划。
translated by 谷歌翻译
蒙特卡洛树搜索（MCT）是设计游戏机器人或解决顺序决策问题的强大方法。该方法依赖于平衡探索和开发的智能树搜索。MCT以模拟的形式进行随机抽样，并存储动作的统计数据，以在每个随后的迭代中做出更有教育的选择。然而，该方法已成为组合游戏的最新技术，但是，在更复杂的游戏（例如那些具有较高的分支因素或实时系列的游戏）以及各种实用领域（例如，运输，日程安排或安全性）有效的MCT应用程序通常需要其与问题有关的修改或与其他技术集成。这种特定领域的修改和混合方法是本调查的主要重点。最后一项主要的MCT调查已于2012年发布。自发布以来出现的贡献特别感兴趣。
translated by 谷歌翻译
各种网络的部署（例如，事物互联网（IOT）和移动网络），数据库（例如，营养表和食品组成数据库）和社交媒体（例如，Instagram和Twitter）产生大量的多型食品数据，这在食品科学和工业中起着关键作用。然而，由于众所周知的数据协调问题，这些多源食品数据显示为信息孤岛，导致难以充分利用这些食物数据。食物知识图表提供了统一和标准化的概念术语及其结构形式的关系，因此可以将食物信息孤单转换为更可重复使用的全球数量数字连接的食物互联网以使各种应用有益。据我们所知，这是食品科学与工业中食品知识图表的第一个全面审查。我们首先提供知识图表的简要介绍，然后主要从食物分类，食品本体到食品知识图表的进展。粮食知识图表的代表性应用将在新的配方开发，食品可追溯性，食物数据可视化，个性化饮食推荐，食品搜索和质询回答，视觉食品对象识别，食品机械智能制造方面来概述。我们还讨论了该领域的未来方向，例如食品供应链系统和人类健康的食品知识图，这应该得到进一步的研究。他们的巨大潜力将吸引更多的研究努力，将食物知识图形应用于食品科学和工业领域。
translated by 谷歌翻译
A critical step in sharing semantic content online is to map the structural data source to a public domain ontology. This problem is denoted as the Relational-To-Ontology Mapping Problem (Rel2Onto). A huge effort and expertise are required for manually modeling the semantics of data. Therefore, an automatic approach for learning the semantics of a data source is desirable. Most of the existing work studies the semantic annotation of source attributes. However, although critical, the research for automatically inferring the relationships between attributes is very limited. In this paper, we propose a novel method for semantically annotating structured data sources using machine learning, graph matching and modified frequent subgraph mining to amend the candidate model. In our work, Knowledge graph is used as prior knowledge. Our evaluation shows that our approach outperforms two state-of-the-art solutions in tricky cases where only a few semantic models are known.
translated by 谷歌翻译