高效全局优化(EGO)广泛用于优化计算上昂贵的黑盒功能。它使用基于高斯过程(克里金法)的替代建模技术。然而,由于使用了静态协方差,克里金不太适合近似非平稳函数。本文探讨了深度高斯过程(DGP)在EGO框架中的整合,以处理非平稳问题,并研究诱发的挑战和机遇。对分析问题进行数值实验以突出DGP和EGO的不同方面。
translated by 谷歌翻译
在本文中,我们研究了几种结构化的深度学习模型,用于多光谱时间序列的作物类型分类。特别是,我们的目的是评估这些数据的空间和时间结构各自的重要性。有了这个目标,我们考虑卷积,循环和混合神经网络的几种设计,并在大量免费提供的Sentinel-2图像上评估它们的性能。我们发现最佳执行方法是混合配置,其中大多数参数(高达90%)被分配用于对数据的时间结构进行建模。因此,我们的结果构成了一套用于作物类型分类的定制深度学习模型设计的指南。
translated by 谷歌翻译
我们提出了一个简单的神经渲染架构,可以帮助变换编码器(VAE)学习解开的表示。我们不是通常在VAE的解码器中使用的反卷积网络,而是在空间上平铺(广播)潜在的矢量,连接固定的X和Y-“坐标”信道,并应用1x1stride的完全卷积网络。这为VAE的潜在分布中的位置与非位置特征分离提供了建筑先验,但没有提供对此效果的任何明确监督。我们证明了这个体系结构,我们称之为空间广播解码器,改进了数据空间中的纠缠,重建精度和对保持区域的推广。当使用带有小物体的todatasets时,它提供了特别显着的好处。我们还强调了一种可视化学习空间的方法,这有助于我们诊断模型,并且可能对于旨在评估数据表示的其他人有用。最后,我们展示了SpatialBroadcast解码器是对最先进(SOTA)解开技术的补充,并且当结合时改进了它们的性能。
translated by 谷歌翻译
智能代理如何以数据有效的方式解决各种任务?解开的表征学习方法假定这样的代理人将从将世界的基础结构分离(解开)到其表示的不相交部分中受益。然而,没有普遍认同的解开的定义,尤其是因为不清楚如何用已知的基本真理生成过程将世界结构概念​​形式化为toatatasets。在这里,我们提出通过关注世界的转换属性,可以找到用于表征解缠结表示的原则解决方案。特别是,wesuggest认为那些只改变了下层世界状态的某些属性,同时让所有其他属性保持不变的转换,对任何类型的数据都是可利用的结构。类似的观点已经成功地应用于物理学中,对称变换的研究彻底改变了对世界结构的理解。通过使用群论和表征理论的形式将对称变换连接到矢量表示,我们得到了解缠表示的第一个正式定义。我们的新定义与许多当前关于解开的直觉一致,同时也为以前的一些争论点提供了原则性的解决方案。虽然这项工作侧重于正式定义解开 - 而不是解决学习问题 - 但我们认为,研究数据转换的观点转变可以促进更好的表征学习算法的发展。
translated by 谷歌翻译
现实世界中的智能行为需要能够从持续的经验序列中获取新知识,同时保留和重用知识。我们提出了一种新的算法,用于从分段静态视觉数据中进行无监督表示学习:具有共享嵌入的变分自动编码器(VASE)。基于最小描述长度原则,VASE自动检测数据分布的变化,并为新知识分配备用代表能力,同时保护以前从灾难性遗忘中获得的学习表示。我们认为鼓励学习的表示被解开,这赋予了许多理想的属性:VASE可以合理地处理模糊的输入,它可以通过基于想象的探索增强自己的表示,最重要的是,它展示了不同数据集之间潜在的语义共享。与具有纠缠表示的基线相比,我们的方法能够推理超出表面级统计并执行具有语义意义的跨域推理。
translated by 谷歌翻译
我们提出了一种在3Dimage采集中查找标准化视图平面的全自动方法。标准视图图像在临床实践中是重要的,因为它们提供了从类似的解剖区域执行生物测量测量的手段。这些视图通常受限于3Dimage采集的原生方向。浏览目标解剖结构以找到所需的视图平面是繁琐且依赖于操作员的。为此,我们采用了多尺度强制学习(RL)代理框架,并广泛评估了几种基于深度Q网络(DQN)的策略。 RL实现了与环境的自然学习范式交互,可用于模拟经验丰富的操作员。我们使用解剖学标记和检测到的平面之间的距离以及它们的法向量和目标之间的角度来评估我们的结果。该算法在脑MRI的中矢状面和后 - 后连合面以及心脏MRI常用的4腔长轴平面上进行评估,分别达到1.53mm,1.98mm和4.84mm的精度。
translated by 谷歌翻译
本文旨在了解多尺度信息在单眼图像深度估计中的作用。更确切地说,本文研究了四种不同的深度CNN架构,旨在明确地利用网络中的多尺度特征,并将它们与最先进的单尺度方法进行比较。本文还表明,涉及深度估计的多尺度特征不仅提高了精度的性能范围,而且还提供了定性更好的深度图。实验在广泛使用的NYU Depth数据集上完成,所提出的方法在该数据集上实现了最先进的性能。
translated by 谷歌翻译
我们提出了一种新的成本函数,用于神经网络的半监督学习,鼓励潜在空间的紧凑聚类,以促进分离。关键思想是通过嵌入训练批次的标记和未标记样本来动态创建图形,以捕获特征空间中的底层结构,并使用标签传播来估计其高密度区域和低密度区域。然后,我们在图上设计基于马尔可夫链的成本函数,使潜在空间正规化以形成单个紧凑的聚类类,同时避免在优化期间干扰现有聚类。我们在三个基准测试中评估我们的方法,并与最先进的结果进行比较。我们的方法将基于图形的规范化的优势与高效的归纳推理相结合,不需要对网络架构进行修改,因此可以很容易地应用于现有网络,以便有效地使用未标记的数据。
translated by 谷歌翻译
许多现代NLP系统依赖于先前在大型语料库上以非监督方式训练的词嵌入作为基本特征。然而,努力获得较大块文本(例如句子)的内容并未获得成功。学习无监督表示句子的几次尝试都没有达到令人满意的表现,无法广泛采用。在本文中,我们展示了如何使用斯坦福自然语言推理数据集的监督数据训练的通用句子表示在一系列传输任务中始终优于SkipThought向量等无监督方法。就像计算机视觉如何使用ImageNet获取特征,然后可以将其转移到其他任务一样,我们的工作往往表明自然语言推理对于转移学习对其他NLP任务的适用性。我们的编码器是公开的。
translated by 谷歌翻译