在本研究中,我们提出了一种模拟绘图/研磨轨迹的局部和全局特征的方法,通过分层变分自动化器(VAES)。通过将两个单独训练的VAE模型组合在分层结构中,可以为本地和全局特征产生高再现性的轨迹。分层生成网络使得能够生成具有相对较少量的训练数据的高阶轨迹。模拟和实验结果表明了该方法的泛化性能。此外,我们确认可以通过改变学习模型的组合来生成过去从未学到过的新轨迹。
translated by 谷歌翻译
预计机器人将取代诸如家务之类的琐碎任务。其中一些任务包括执行的无毛线操作,而无需抓住对象。非忧虑的操作非常困难,因为它需要考虑环境和对象的动态。因此,模仿复杂行为需要大量的人类示范。在这项研究中,提出了一种自我监督的学习,该学习认为动态以实现可变速度进行非骚扰操作。所提出的方法仅收集自主操作期间获得的成功动作数据。通过微调成功的数据,机器人可以学习自身,环境和对象之间的动态。我们尝试使用对24个人类收集的培训数据训练的神经网络模型来挖掘和运输煎饼的任务。所提出的方法将成功率从40.2%提高到85.7%,并成功完成了其他物体的任务超过75%。
translated by 谷歌翻译
机器人关节产生的建模轨迹是复杂的,并且需要轨迹生成,聚类和分类等高级活动。Disentagled代表学习承诺有助于学习的进步,但他们尚未在机器人生成的轨迹中进行评估。在本文中,我们在从3 DOF机器人手臂产生的1M机器人轨迹的数据集上评估三个解除挂起的VAES($ \β$ -VAE,DECORR VAE和新的$ \ BETA $ -DECORR VAE)。我们发现基于去形的标准,轨迹质量和与地理潜在特征的相关性,基于去相关的配方表现了最佳。我们希望这些结果增加了机器人控制中无监督学习的使用。
translated by 谷歌翻译
我们实现了接触的灵活物体操作,这很难单独使用视力控制。在解压缩任务中,我们选择作为验证任务,夹具抓住拉动器,它隐藏袋子状态,例如其背后的变形的方向和量,使得仅通过视觉获取信息来执行任务。此外,柔性织物袋状态在操作期间不断变化,因此机器人需要动态地响应变化。然而,所有袋子状态的适当机器人行为难以提前准备。为了解决这个问题,我们开发了一种模型,可以通过具有触觉的视觉的实时预测来执行接触的灵活性对象操纵。我们介绍了一种基于点的注意机制,用于提取图像特征,Softmax转换来提取预测运动,以及用于提取触觉特征的卷积神经网络。使用真正的机器人手臂的实验结果表明,我们的方法可以实现响应袋子变形的运动,同时减少拉链上的负荷。此外,与单独的视觉相比,使用触觉从56.7%提高到93.3%,展示了我们方法的有效性和高性能。
translated by 谷歌翻译
本文介绍了一个混合运动规划策略,将深度生成网络与传统运动规划方法相结合。现有的规划方法如* *和混合动力A *被广泛用于路径规划任务,因为它们即使在复杂的环境中确定可行的路径也是如此;但是,它们对效率有局限性。为了克服这些限制,介绍了一种基于神经网络的路径规划算法,即神经混合A *。本文使用条件变形Autiachoder(CVAE)提出通过利用CVAE在给定停车环境的信息的情况下学习有关规划空间信息的能力来指导搜索算法。基于在示威中学到的可行轨迹的分布,利用了非均匀的扩展策略。该方法有效地学习给定状态的表示,并显示了算法性能方面的改进。
translated by 谷歌翻译
我们的目标是从规定的行动类别中解决从规定的行动类别创造多元化和自然人动作视频的有趣但具有挑战性的问题。关键问题在于能够在视觉外观中综合多种不同的运动序列。在本文中通过两步过程实现,该两步处理维持内部3D姿势和形状表示,Action2Motion和Motion2Video。 Action2Motion随机生成规定的动作类别的合理的3D姿势序列,该类别由Motion2Video进行处理和呈现,以形成2D视频。具体而言,Lie代数理论从事人类运动学的物理法之后代表自然人动作;开发了一种促进输出运动的分集的时间变化自动编码器(VAE)。此外,给定衣服人物的额外输入图像,提出了整个管道以提取他/她的3D详细形状,并在视频中呈现来自不同视图的合理运动。这是通过改进从单个2D图像中提取3D人类形状和纹理,索引,动画和渲染的现有方法来实现这一点,以形成人类运动的2D视频。它还需要3D人类运动数据集的策策和成果进行培训目的。彻底的经验实验,包括消融研究,定性和定量评估表现出我们的方法的适用性,并展示了解决相关任务的竞争力,其中我们的方法的组成部分与最先进的方式比较。
translated by 谷歌翻译
我们为机器人素描剂提供了一个自动学习框架,该框架能够同时学习基于中风的渲染和运动控制。我们将机器人的草图问题提出为深度分离的分层增强学习;独立学习了基于中风的渲染和电动机控制的两种政策,以实现绘画的子任务,并在合作进行现实世界绘图时形成层次结构。没有手工制作的特征,绘制序列或轨迹以及逆运动学,该方法将从刮擦上训练机器人素描剂。我们用带有2F抓手的6多机器人臂进行了实验,以素描涂鸦。我们的实验结果表明,这两个策略成功地学习了子任务并合作绘制目标图像。此外,通过不同的绘图工具和表面来检查鲁棒性和灵活性。
translated by 谷歌翻译
自我监督图像生成中普遍的方法是在像素级表示上操作。尽管这种方法可以产生高质量的图像,但它不能从矢量化的简单性和先天质量中受益。在这里,我们提出了一个以图像的冲程级表示作用的绘图代理。在每个时间步骤中,代理商首先评估当前画布,并决定是停止还是继续绘画。当做出“抽奖”决定时,代理输出一个程序,指示要绘制的中风。结果,它通过使用最小数量的笔触并动态决定何时停止,从而产生最终的栅格图像。我们通过对MNIST和Omniglot数据集进行强化学习来培训我们的代理,以无条件生成和解析(重建)任务。我们利用我们的解析代理在Omniglot挑战中进行典范生成和类型的条件概念生成,而无需进行任何进一步的培训。我们在所有三代任务和解析任务上提供了成功的结果。至关重要的是,我们不需要任何中风级别或矢量监督;我们只使用栅格图像进行训练。
translated by 谷歌翻译
通过使用传统的控制器大学难以实现现实世界中的机器人运动的产生,并且需要高度智能处理。在这方面,目前正在研究基于学习的运动世代。然而,主要问题已经改善了对空间不同环境的适应性,但是没有详细研究操作速度的变化。在富有的接触任务中,能够调整操作速度尤为重要,因为在操作速度和力(例如,惯性和摩擦力)之间发生非线性关系,并且它会影响任务的结果。因此,在本研究中,我们提出了一种用于产生可变操作速度的方法,同时适应环境中的空间扰动。所提出的方法可以通过利用少量运动数据来适应非线性。我们通过用固定到机器人尖端的擦除作为富有的接触任务的示例,通过擦除一条线来通过擦除一条线来评估所提出的方法。此外,所提出的方法使得机器人能够比人类运营商更快地执行任务,并且能够接近控制带宽。
translated by 谷歌翻译
机器人技术中最重要的挑战之一是产生准确的轨迹并控制其动态参数,以便机器人可以执行不同的任务。提供此类运动控制的能力与此类运动的编码方式密切相关。深度学习的进步在发展动态运动原语的新方法的发展方面产生了强烈的影响。在这项工作中,我们调查了与神经动态运动原始素有关的科学文献,以补充有关动态运动原语的现有调查。
translated by 谷歌翻译
四足球运动正在迅速成熟到现在的机器人经常穿越各种非结构化的地形。然而,虽然通过从一系列预计算机样式中选择Gaits可以改变Gaits,但是当机器人处于运动中,当前规划仪不能连续地变化关键的步态参数。具有意外操作特性的综合,现有的Gaits,甚至是动态演习的混合延伸超出了当前最先进的能力。在这项工作中,我们通过学习捕获构成特定步态的关键姿态阶段的潜在空间来解决这种限制。这是通过在单个小跑风格上训练的生成模型来实现的,这鼓励解散,使得将驱动信号应用于潜在的单个维度,诱导合成连续各种跑步的整体计划。我们证明了驱动信号映射的特定性质直接映射到诸如Cadence,脚步高度和完全姿势持续时间的步态参数。由于我们的方法的性质,这些合成的Gaits在机器人操作期间在线在线持续变量,强大地捕获了显着超过培训期间看到的相对狭窄的行为的流动丰富性。此外,使用生成模型的使用促进了对扰动的检测和减轻,以提供多功能和坚固的规划框架。我们在真正的Quadruped机器人上评估我们的方法,并证明我们的方法实现了动态小跑风格的连续混合,同时对外部扰动具有鲁棒性和反应性。
translated by 谷歌翻译
We present a unified probabilistic model that learns a representative set of discrete vehicle actions and predicts the probability of each action given a particular scenario. Our model also enables us to estimate the distribution over continuous trajectories conditioned on a scenario, representing what each discrete action would look like if executed in that scenario. While our primary objective is to learn representative action sets, these capabilities combine to produce accurate multimodal trajectory predictions as a byproduct. Although our learned action representations closely resemble semantically meaningful categories (e.g., "go straight", "turn left", etc.), our method is entirely self-supervised and does not utilize any manually generated labels or categories. Our method builds upon recent advances in variational inference and deep unsupervised clustering, resulting in full distribution estimates based on deterministic model evaluations.
translated by 谷歌翻译
草图是视觉感知和粘合性建设的抽象表示。在这项工作中,我们提出了一个新的框架GaN-CNMP,它在CNMP上含有新的对抗性损失,以提高草图平滑度和一致性。通过实验,我们表明我们的模型可以训练,其中少量未标记的样本,可以在潜伏空间中自动构建分布,并在形状一致性和平滑方面产生比基础模型更好的结果。
translated by 谷歌翻译
People learning new concepts can often generalize successfully from just a single example, yet machine learning algorithms typically require tens or hundreds of examples to perform with similar accuracy. People can also use learned concepts in richer ways than conventional algorithms-for action, imagination, and explanation. We present a computational model that captures these human learning abilities for a large class of simple visual concepts: handwritten characters from the world's alphabets. The model represents concepts as simple programs that best explain observed examples under a Bayesian criterion. On a challenging one-shot classification task, the model achieves human-level performance while outperforming recent deep learning approaches. We also present several "visual Turing tests" probing the model's creative generalization abilities, which in many cases are indistinguishable from human behavior.
translated by 谷歌翻译
我们提出了一种使用条件生成对抗网络(CGANS)在机器人关节空间和潜在空间之间转换的新方法,以进行无碰撞路径计划,该方法仅捕获以障碍物图来捕获关节空间的无碰撞区域。操纵机器人臂时,很方便地生成多个合理的轨迹进行进一步选择。此外,出于安全原因,有必要生成轨迹,以避免与机器人本身或周围环境发生碰撞。在提出的方法中,可以通过将开始和目标状态与此生成的潜在空间中的任意线段连接起来和目标状态来产生各种轨迹。我们的方法提供了此无碰撞潜在空间,此后,任何使用任何优化条件的计划者都可以使用任何计划器来生成最合适的路径。我们通过模拟和实际的UR5E 6-DOF机器人臂成功验证了这种方法。我们确认可以根据优化条件的选择生成不同的轨迹。
translated by 谷歌翻译
合理和可控3D人类运动动画的创建是一个长期存在的问题,需要对技术人员艺术家进行手动干预。目前的机器学习方法可以半自动化该过程,然而,它们以显着的方式受到限制:它们只能处理预期运动的单个轨迹,该轨迹排除了对输出的细粒度控制。为了缓解该问题,我们在多个轨迹表示为具有缺失关节的姿势的空间和时间内将未来姿态预测的问题重构为姿势完成。我们表明这种框架可以推广到设计用于未来姿态预测的其他神经网络。曾经在该框架中培训,模型能够从任何数量的轨迹预测序列。我们提出了一种新颖的变形金刚架构,Trajevae,在这个想法上建立了一个,为3D人类动画提供了一个多功能框架。我们展示了Trajevae提供比基于轨迹的参考方法和方法基于过去的姿势。我们还表明,即使仅提供初始姿势,它也可以预测合理的未来姿势。
translated by 谷歌翻译
Time series anomaly detection has applications in a wide range of research fields and applications, including manufacturing and healthcare. The presence of anomalies can indicate novel or unexpected events, such as production faults, system defects, or heart fluttering, and is therefore of particular interest. The large size and complex patterns of time series have led researchers to develop specialised deep learning models for detecting anomalous patterns. This survey focuses on providing structured and comprehensive state-of-the-art time series anomaly detection models through the use of deep learning. It providing a taxonomy based on the factors that divide anomaly detection models into different categories. Aside from describing the basic anomaly detection technique for each category, the advantages and limitations are also discussed. Furthermore, this study includes examples of deep anomaly detection in time series across various application domains in recent years. It finally summarises open issues in research and challenges faced while adopting deep anomaly detection models.
translated by 谷歌翻译
大量的数据和创新算法使数据驱动的建模成为现代行业的流行技术。在各种数据驱动方法中,潜在变量模型(LVM)及其对应物占主要份额,并在许多工业建模领域中起着至关重要的作用。 LVM通常可以分为基于统计学习的经典LVM和基于神经网络的深层LVM(DLVM)。我们首先讨论经典LVM的定义,理论和应用,该定义和应用既是综合教程,又是对经典LVM的简短申请调查。然后,我们对当前主流DLVM进行了彻底的介绍,重点是其理论和模型体系结构,此后不久就提供了有关DLVM的工业应用的详细调查。上述两种类型的LVM具有明显的优势和缺点。具体而言,经典的LVM具有简洁的原理和良好的解释性,但是它们的模型能力无法解决复杂的任务。基于神经网络的DLVM具有足够的模型能力,可以在复杂的场景中实现令人满意的性能,但它以模型的解释性和效率为例。旨在结合美德并减轻这两种类型的LVM的缺点,并探索非神经网络的举止以建立深层模型,我们提出了一个新颖的概念,称为“轻量级Deep LVM(LDLVM)”。在提出了这个新想法之后,该文章首先阐述了LDLVM的动机和内涵,然后提供了两个新颖的LDLVM,并详尽地描述了其原理,建筑和优点。最后,讨论了前景和机会,包括重要的开放问题和可能的研究方向。
translated by 谷歌翻译
本文提出了一种以非零速度的效果友好型捕捉对象的混合优化和学习方法。通过受约束的二次编程问题,该方法生成最佳轨迹,直至机器人和对象之间的接触点,以最小化其相对速度并减少初始影响力。接下来,生成的轨迹是由基于人类的捕捉演示的旋风动作原始词更新的,以确保围绕接口点的平稳过渡。此外,学习的人类可变刚度(HVS)被发送到机器人的笛卡尔阻抗控制器,以吸收后影响力并稳定捕获位置。进行了三个实验,以将我们的方法与固定位置阻抗控制器(FP-IC)进行比较。结果表明,所提出的方法的表现优于FP-IC,同时添加HVS可以更好地吸收影响后力。
translated by 谷歌翻译
从人类演示到机器人的动作重返是一种有效的方法,可以减少机器人编程的专业需求和工作量,但面临着人与机器人之间的差异导致的挑战。基于传统的优化的方法是耗时的,依赖良好的初始化,而最近使用前馈神经网络的研究遭受了不良的通知来看不见的运动。此外,他们忽略了人类骨骼和机器人结构中的拓扑信息。在本文中,我们提出了一种新的神经潜在优化方法来解决这些问题。潜在优化利用解码器来建立潜在空间和机器人运动空间之间的映射。之后,通过寻找最佳潜伏向量,可以获得满足机器人约束的重个结果。随着潜在优化,神经初始化利用编码器来提供更好初始化以更快,更好地收敛优化。人体骨架和机器人结构都被建模为更好地利用拓扑信息的图表。我们对重新靶向中文手语进行实验,涉及两只手臂和两只手,对关节中相对关系的额外要求。实验包括在模拟环境中的yumi,nao和辣椒和现实世界环境中的yumi重新定位各种人类示范。验证了所提出的方法的效率和准确性。
translated by 谷歌翻译