已经证明,学习辅助任务可以改善主要任务的概括。然而,这是以手动标记附加任务为代价的,这些任务可能对主要任务有用,也可能没有用。我们提出了一种新方法,可以自动学习辅助任务的标签,这样就可以改进任何监督学习任务,而无需访问其他数据。该方法是训练两个神经网络:用于预测辅助标签的标签生成网络,以及用于训练辅助任务的主要任务的多任务网络。标签生成网络的损失包含了多任务网络的性能,因此两个网络之间的这种交互可以被视为元学习的一种形式。我们表明,我们提出的方法Meta AuXiliary Learning(MAXL)在7个图像数据集上的表现优于单一任务,而不需要额外的辅助标签。我们还展示了MAXLout执行其他几个基线来生成辅助标签,并且与人工定义的辅助标签相比,它们具有竞争力。我们方法的这种监督性质导致了一种朝着自动化概括的有希望的新方向。源代码可从\ url {https://github.com/lorenmt/maxl}获得。
translated by 谷歌翻译
与人类非常相似,机器人应该能够利用知识来学习任务,以便在新的和非熟悉的环境中快速学习新任务。尽管如此,大多数机器人学习方法都专注于从头开始学习单个任务,并且有限的概念,并且无法利用知识更有效地学习其他任务。一种可能的解决方案是元学习,但许多相关的方法在扩展到大量任务和学习更多任务的能力方面受到限制,而不会忘记以前学过的任务。考虑到这一点,我们引入了任务嵌入式控制网络,来自度量学习的雇员,以创建可由机器人用于从一个或多个演示中学习新任务的任务嵌入。在视觉引导操作领域,我们提出了模拟结果,当我们仅使用每次演示的视觉信息时,我们超越了最先进方法的性能。此外,我们证明我们的方法可以与域随机化结合使用,以训练我们在模拟中的少数学习能力,然后在现实世界中进行部署而无需任何额外的培训。部署后,机器人可以通过单个真实世界的演示学习新任务。
translated by 谷歌翻译
平方和目标函数在计算机视觉算法中非常流行。然而,这些目标函数并不总是易于优化。解算器所做的基本假设往往得不到满足,而且许多问题本质上都是不适合的。在本文中,我们提出LS-Net,一种神经非线性最小二乘优化算法,即使在逆境中也能学习有效地优化这些代价函数。在非传统方法中,所提出的求解器不需要手工制作的调节器或先验,因为这些是从数据中隐含地学习的。我们将方法应用于运动立体声问题即。从单眼序列的成对图像联合估计运动和场景几何。我们表明,我们学过的优化器能够有效地解决这一具有挑战性的优化问题。
translated by 谷歌翻译
我们提出了一种在线对象级SLAM系统,该系统可以构建任意重建对象的持久且准确的3D图形图。当RGB-D相机浏览杂乱的室内场景时,Mask-RCNN实例分割用于初始化紧凑的每对象截断的符号距离函数(TSDF)重建,其具有与对象大小相关的分辨率和新的3D前景掩模。重建的对象存储在可优化的6DoF姿势图中,这是我们唯一的持久地图表示。物体通过深度融合进行增量细化,并用于跟踪,重定位和环闭合检测。循环闭包导致对象实例的相对姿态估计中的调整,但是没有对象内变形。每个对象还携带随时间改进的语义信息和存在概率以考虑虚假实例预测。我们在一个手持的RGB-D序列中展示我们的方法,这个序列来自杂乱的办公室,有大量不同的对象实例,突出显示系统如何关闭循环并在重复循环中充分利用现有对象。我们定量评估我们的轨迹误差。系统针对RGB-D SLAM基准测试中的abaseline方法,定性比较YCB视频数据集上发现对象的重建质量。性能评估显示我们的方法具有高内存效率,并且在4-8Hz(不包括重定位)的情况下运行,尽管没有在软件上进行优化水平。
translated by 谷歌翻译
以低功率实时地对3D环境进行视觉理解是一项巨大的计算挑战。通常被称为SLAM(同步本地化和映射),它是跨越国内和工业机器人,自动驾驶车辆,虚拟和增强现实的应用程序的核心。本文描述了通过支持应用程序专家选择和配置适当的算法以及适当的硬件和编译途径来组装实现SLAM交付所需的算法,体系结构,工具和系统软件的主要研究成果,以满足其性能,准确性和能耗目标。我们提出的主要贡献是(1)用于SLAM算法的系统定量评估的工具和方法,(2)针对多个目标的算法和实现设计空间的自动化,机器学习引导的探索,(3)端到端仿真工具能够针对各种SLAM算法方法的特定算法要求优化异构,加速架构,以及(4)在托管的JIT编译的自适应运行时环境中提供适当的加速自适应SLAM解决方案的工具。
translated by 谷歌翻译
我们已经看到了刚性对象操作方面的最新进展,但是与可变形对象的交互明显滞后。由于可变形对象的大型配置空间,使用传统模型方法的解决方案需要大量的工程工作。也许那时,绕过显式建模的需要,而不是以端到端的方式学习控制,这是一种更好的方法吗?尽管人们对使用端到端机器人学习方法越来越感兴趣,但只有少量工作专注于它们对可变形对象操纵的适用性。此外,由于学习这些端到端解决方案所需的大量数据,因此趋势是学习模拟中的控制策略,然后转移到现实世界。到目前为止,还没有研究过是否可以学习和转移可变形对象策略。我们认为,如果要进一步采用ifsim-to-real方法,那么应该可以容忍与各种各样的对象进行交互,而不仅仅是刚性对象。在这项工作中,我们使用了状态的组合。 - 深度加强学习算法,以解决操纵可变形物体(特别是布料)的问题。我们评估我们对三项任务的处理方法 - 将脚趾折叠成一个标记,对角折叠面巾,然后在衣架上覆盖一块布。我们的代理人经过全面的网络随机化仿真培训,然后在现实世界中成功部署,无需任何真正的可变形对象。
translated by 谷歌翻译
The representation of geometry in real-time 3D perception systems continues to be a critical research issue. Dense maps capture complete surface shape and can be augmented with semantic labels, but their high dimension-ality makes them computationally costly to store and process , and unsuitable for rigorous probabilistic inference. Sparse feature-based representations avoid these problems, but capture only partial scene information and are mainly useful for localisation only. We present a new compact but dense representation of scene geometry which is conditioned on the intensity data from a single image and generated from a code consisting of a small number of parameters. We are inspired by work both on learned depth from images, and auto-encoders. Our approach is suitable for use in a keyframe-based monocular dense SLAM system: While each keyframe with a code can produce a depth map, the code can be optimised efficiently jointly with pose variables and together with the codes of overlapping keyframes to attain global consistency. Conditioning the depth map on the image allows the code to only represent aspects of the local geometry which cannot directly be predicted from the image. We explain how to learn our code representation, and demonstrate its advantageous properties in monocular SLAM.
translated by 谷歌翻译
假设我们希望从“用户喜欢项目p或项目q?”形式的配对比较来估计用户的偏好向量w,其中用户和项目都嵌入在低维欧几里德空间中,其距离反映了用户和项目的相似性。这些观察结果出现在许多设置中,包括心理测量学和心理学实验,搜索任务,广告和推荐系统。在这样的任务中,查询可能非常恶劣并且受到不同级别的响应噪声的影响;因此,我们的目标是根据先前比较的结​​果选择最具信息量的对。我们提供了关于贪婪信息最大化在这种情况下的益处和挑战的新理论见解,并开发了最大化信息增益下限的双重策略,并且分别简单地分析和计算。我们使用来自区域世界数据集的模拟响应来验证我们的策略,通过它们与贪婪信息最大化相似的性能,以及它们优越的偏好估计,最先进的选择方法以及随机查询。
translated by 谷歌翻译
我们提出了一种新的网络架构,用于基于标准自旋霍尔磁隧道结的自旋神经元,允许它们同时并行地计算多个关键卷积神经网络功能,从而节省空间和时间。整流线性单元传递函数和局部汇集函数的近似值与卷积运算本身同时计算。在MNIST数据集上执行概念验证模拟,对于所有卷积,激活和池化操作的组合,以低于1 nJ的成本实现高达98%的准确度。模拟对热噪声具有显着的鲁棒性,即使在非常小的磁性层下也能很好地运行。
translated by 谷歌翻译
有大量复杂的动态系统对我们的日常生活和社会至关重要但却难以理解,即使今天有可能感知和收集大量的实验数据,它们也是如此复杂和不断发展,以至于它们的动力不太可能将被详细了解。然而,通过计算工具,我们可以尝试最好地利用当前技术和可用数据。我们认为,最有用的模型将在有限的知识或多个假设的背景下考虑系统复杂性和可用数据之间的不平衡。生物细胞的复杂系统是在系统生物学中研究的这种系统的一个主要例子,并且激发了本文提出的方法。它们是作为DARPA快速威胁评估(RTA)计划的一部分而开发的,该计划涉及对影响人体细胞的毒素或药物的作用机制(MoA)的理解。结合使用高斯过程和抽象网络建模,我们提出了三种基本的不同的基于机器学习的方法来学习因果关系,并从高维时间序列数据中合成因果网络。虽然其他类型的数据可用并且已经在我们的RTA工作中进行了分析和整合,但我们关注的是本文中从高通量微阵列实验获得的转录组学(即基因表达)数据,以说明我们的算法的能力和局限性。我们的算法使得不同但总体上相对较少的生物学假设,因此它们适用于其他类型的生物数据,甚至可能适用于其他复杂系统,这些系统具有高维度但不具有生物学性质。
translated by 谷歌翻译