视觉模仿学习为机器人系统提供了有效，直观的解决方案，以获得新颖的操纵技巧。但是，仅凭视觉输入就可以同时学习几何任务约束，并控制政策仍然是一个具有挑战性的问题。在本文中，我们提出了一种基于关键点的视觉模仿（K-VIL）的方法，该方法会自动从少数人类演示视频中提取稀疏，以对象独立的任务表示。任务表示形式由主要歧管，其关联的本地框架以及任务执行所需的运动原始框架上的基于关键点的几何约束以及移动原始构成。我们的方法能够从单个演示视频中提取此类任务表示，并在新演示可用时会逐步更新它们。为了使用新颖的场景中学习的优先几何约束来重现操纵技能，我们介绍了一种新颖的基于Kepoint的入学控制器。我们在几个现实世界中评估了我们的方法，展示了其处理混乱的场景，新的对象的新实例以及大对象姿势和形状变化的能力，以及其一声效率和稳健性模仿学习设置。视频和源代码可在https://sites.google.com/view/k-vil上找到。
translated by 谷歌翻译
折叠服装可靠，有效地是由于服装的复杂动力学和高尺寸配置空间，在机器人操作中是一项漫长的挑战。一种直观的方法是最初在折叠之前将服装操纵到典型的平滑配置。在这项工作中，我们开发了一种可靠且高效的双人系统，将用户定义的指令视为折叠线，将最初弄皱的服装操纵为（1）平滑和（2）折叠配置。我们的主要贡献是一种新型的神经网络体系结构，能够预测成对的握把姿势，以参数化各种双人动作原始序列。在从4300次人类注销和自我监督的动作中学习后，机器人能够平均从120年代以下的随机初始配置折叠服装，成功率为93％。现实世界实验表明，该系统能够概括到不同颜色，形状和刚度的服装。虽然先前的工作每小时达到3-6倍（FPH），但SpeedFolding却达到30-40 FPH。
translated by 谷歌翻译
人类和机器人的动态运动是由姿势依赖性的非线性相互作用在自由程度之间广泛驱动的。但是，在研究人类运动产生的机制时，这些动力学效应仍被忽略。受最近作品的启发，我们假设人类运动计划为地球协同序列，因此对应于用分段最小能量实现的协调关节运动。基础计算模型建立在Riemannian几何形状上，以说明身体的惯性特征。通过对各种人类手臂运动的分析，我们发现我们的模型片段运动转化为测量协同作用，并成功预测了观察到的手臂姿势，手动轨迹及其各自的速度曲线。此外，我们表明我们的分析可以进一步利用，以通过将单个人类协同作用作为机器人配置空间中的地球途径转移到机器人中。
translated by 谷歌翻译
抓握是通过在一组触点上施加力和扭矩来挑选对象的过程。深度学习方法的最新进展允许在机器人对象抓地力方面快速进步。我们在过去十年中系统地调查了出版物，特别感兴趣使用最终效果姿势的所有6度自由度抓住对象。我们的综述发现了四种用于机器人抓钩的常见方法：基于抽样的方法，直接回归，强化学习和示例方法。此外，我们发现了围绕抓握的两种“支持方法”，这些方法使用深入学习来支持抓握过程，形状近似和负担能力。我们已经将本系统评论（85篇论文）中发现的出版物提炼为十个关键要点，我们认为对未来的机器人抓握和操纵研究至关重要。该调查的在线版本可从https://rhys-newbury.github.io/projects/6dof/获得
translated by 谷歌翻译
我们将存储系统视为任何技术认知系统的关键组成部分，这些系统可以在弥合用于推理，计划和语义场景的高级符号离散表示之间弥合差距，以了解用于控制，用于控制。在这项工作中，我们描述了概念和技术特征，其中的内存系统必须与基础数据表示一起实现。我们根据我们在开发ARMAR类人体机器人系统中获得的经验来确定这些特征，并讨论实践示例，这些例子证明了在以人为中心的环境中执行任务的类人生物机器人的记忆系统应支持，例如多模式，内态性，异性恋，Hetero关联性，可预测性或固有的发作结构。基于这些特征，我们将机器人软件框架ARMARX扩展到了统一的认知架构，该架构用于Armar Humanoid Robot家族的机器人。此外，我们描述了机器人软件的开发如何导致我们采用这种新颖的启用内存的认知体系结构，并展示了机器人如何使用内存来实现内存驱动的行为。
translated by 谷歌翻译
贝叶斯优化是一种数据高效技术，可用于机器人中的控制参数调整，参数策略适应和结构设计。这些问题中的许多问题需要优化在非欧几里德域上定义的函数，如球体，旋转组或正向矩阵的空间。为此，必须在感兴趣的空间内之前或等效地定义内核的高斯进程。有效内核通常反映它们定义的空间的几何形状，但设计它们通常是非微不足道的。基于随机部分微分方程和Laplace-Beltrami运营商的频谱理论，最近在Riemannian Mat'En内核的工作，提供了朝向构建此类几何感知内核的承诺途径。在本文中，我们研究了在机器人中的兴趣流动上实施这些内核的技术，展示了它们在一组人工基准函数上的性能，并说明了各种机器人应用的几何感知贝叶斯优化，覆盖方向控制，可操纵性优化，和运动规划，同时显示其提高性能。
translated by 谷歌翻译
成像生物标志物提供了一种无创的方法来预测治疗前免疫疗法的反应。在这项工作中，我们提出了一种从卷积神经网络（CNN）计算出的新型深度放射素特征（DRF），该特征捕获了与免疫细胞标记和整体生存有关的肿瘤特征。我们的研究使用四个MRI序列（T1加权，T1加权后对比，T2加权和FLAIR），并具有151例脑肿瘤患者的相应免疫细胞标记。该方法通过在MRI扫描的标记肿瘤区域内聚集了预训练的3D-CNN的激活图，从而提取了180个DRF。这些功能提供了编码组织异质性的区域纹理的紧凑而有力的表示。进行了一组全面的实验，以评估所提出的DRF和免疫细胞标记之间的关系，并衡量它们与整体生存的关联。结果表明，DRF和各种标记之间存在很高的相关性，以及根据这些标记分组的患者之间的显着差异。此外，将DRF，临床特征和免疫细胞标记组合为随机森林分类器的输入有助于区分短期和长期生存结果，AUC为72 \％，P = 2.36 $ \ times $ 10 $^{ - 5} $。这些结果证明了拟议的DRF作为非侵入性生物标志物在预测脑肿瘤患者的治疗反应中的有用性。
translated by 谷歌翻译
内核方法是学习算法，这些算法享有坚实的理论基础，同时遭受了重要的计算局限性。素描包括在缩小尺寸的子空间中寻找解决方案，是一种经过广泛研究的方法来减轻这种数值负担。但是，快速的草图策略（例如非自适应子采样）大大降低了算法的保证，而理论上准确的草图（例如高斯曲线）在实践中的实践相对较慢。在本文中，我们介绍了$ p $ -sparsified的草图，这些草图结合了两种方法的好处，以实现统计准确性和计算效率之间的良好权衡。为了支持我们的方法，我们在单个和多个输出问题上得出了多余的风险范围，并具有通用Lipschitz损失，从可靠的回归到多个分位数回归为广泛的应用提供了新的保证。我们还提供了草图优于最近SOTA方法的优势的经验证据。
translated by 谷歌翻译
防御网络攻击的计算机网络需要及时应对警报和威胁情报。关于如何响应的决定涉及基于妥协指标的多个节点跨多个节点协调动作，同时最大限度地减少对网络操作的中断。目前，PlayBooks用于自动化响应过程的部分，但通常将复杂的决策留给人类分析师。在这项工作中，我们在大型工业控制网络中提出了一种深度增强学习方法，以便在大型工业控制网络中进行自主反应和恢复。我们提出了一种基于关注的神经结构，其在保护下灵活地灵活。要培训和评估自治防御者代理，我们提出了一个适合加强学习的工业控制网络仿真环境。实验表明，学习代理可以有效减轻在执行前几个月几个月的可观察信号的进步。所提出的深度加强学习方法优于模拟中完全自动化的Playbook方法，采取更少的破坏性动作，同时在网络上保留更多节点。学习的政策对攻击者行为的变化也比PlayBook方法更加强大。
translated by 谷歌翻译