Generative Adversarial Networks have shown remarkable success in learning a distribution that faithfully recovers a reference distribution in its entirety. However, in some cases, we may want to only learn some aspects (e.g., cluster or manifold structure), while modifying others (e.g., style, orientation or dimension). In this work, we propose an approach to learn generative models across such incomparable spaces, and demonstrate how to steer the learned distribution towards target properties. A key component of our model is the Gromov-Wasserstein distance, a notion of discrepancy that compares distributions relationally rather than absolutely. While this framework subsumes current generative models in identically reproducing distributions, its inherent flexibility allows application to tasks in manifold learning, relational learning and cross-domain learning.
translated by 谷歌翻译
利用新数据源是加快材料设计和发现步伐的关键一步。为了补充由历史,实验和计算数据驱动的综合计划的进步,我们提出了一种将科学文献与综合见解联系起来的自动化方法。从自然语言文本开始,我们应用来自语言模型的单词嵌入,这些嵌入被输入到命名实体识别模型中,在该模型上训练条件变分自动编码器以生成任意材料的合成。我们通过预测两种钙钛矿材料的前体来展示这种技术的潜力,仅使用他们首次报道的合成之前十年内发表的训练数据。我们证明该模型学习了与合成相关的属性相对应的材料的表示,并且该模型的行为补充了现有的热力学知识。最后,我们应用该模型对所提出的钙钛矿化合物进行合成性筛选。
translated by 谷歌翻译
在本文中,我们考虑了高斯过程(GP)优化的问题,增加了鲁棒性要求:返回点可能受到厌恶扰动,并且我们要求函数值即使在此扰动之后仍保持尽可能高。该问题的动机是在优化和实施阶段期间的基础功能不同,或者当人们有兴趣找到优于单个点的良好输入的整个区域时。我们证明标准GP优化算法没有表现出所需的鲁棒性,并为此目的提供了基于置信限制的算法StableOpt。大力建立StableOpt所需的样本数量以找到最佳点,我们用独立于算法的下限来补充这种保证。我们使用真实世界的数据集实验性地展示了几个感兴趣的潜在应用程序,并且我们展示了SattableOpt一直在寻找一个稳定的最大化器,其中几个baseline方法失败。
translated by 谷歌翻译
我们考虑离散概率模型中的推理问题,即有限地集的子集上的分布。这些包括机器学习中的一系列众所周知的模型,例如行列式点过程和Ising模型。局部移动的马尔可夫链蒙特卡罗算法,例如Gibbs采样器,通常用于这种模型中的推理,但是它们的收敛有时非常慢。这通常是由状态空间瓶颈引起的,这极大地阻碍了这种采样器的移动。我们提出了一种新的采样策略,它使用特定的产品分布混合来提出全局移动,从而加速收敛。此外,我们展示了如何使用半导体信息构造这样的混合。我们说明了将我们的采样器结合在一起的有效性,理论上是在一个示例模型上,以及实际上从实际数据集中学习的三个模型。
translated by 谷歌翻译
我们证明了具有一个神经元隐藏层和ReLU激活函数的堆叠模块的非常深的ResNet可以在$ d $维度中统一逼近任何Lebesgue可积函数,即$ \ ell_1(\ mathbb {R} ^ d)$。由于身份ResNets固有的映射,我们的网络具有第一维和$ d $的交替层。这与网络形成鲜明对比,如果它们的输入维度为$ d $,则不是通用的近似网络[Lu et al,2017; Hanin和Sellke,2017]。因此,我们的结果意味着ResNet架构为窄深度网络增加了代表性功能。
translated by 谷歌翻译
最近用于图表上的表示学习的深度学习方法遵循邻域聚合过程。我们分析了这些模型的一些重要特性,并提出了克服这些特性的策略。特别地,节点表示从中强烈依赖的“相邻”节点的范围取决于图结构,类似于随机游走的传播。为了适应当地社区的属性和任务,我们探索了一个架构 - 跳跃知识(JK)网络 - 为每个节点灵活地利用不同的邻域范围,以实现更好的结构感知表示。在社会,生物信息学的大量实验中和引文网络,我们证明我们的模型实现了最先进的性能。此外,将JK框架与图形卷积网络,GraphSAGE和图形注意网络等模型相结合,可以持续改进这些模型的性能。
translated by 谷歌翻译
Learning the representation and the similarity metric in an end-to-endfashion with deep networks have demonstrated outstanding results for clusteringand retrieval. However, these recent approaches still suffer from theperformance degradation stemming from the local metric training procedure whichis unaware of the global structure of the embedding space. We propose a global metric learning scheme for optimizing the deep metricembedding with the learnable clustering function and the clustering metric(NMI) in a novel structured prediction framework. Our experiments on CUB200-2011, Cars196, and Stanford online productsdatasets show state of the art performance both on the clustering and retrievaltasks measured in the NMI and Recall@K evaluation metrics.
translated by 谷歌翻译
学习成对示例之间的距离度量对于学习和视觉识别非常重要。随着现有技术卷积神经网络的显着成功,最近的工作已经显示出有希望的结果,即有区别地训练网络以学习语义特征嵌入,其中相似的示例彼此接近地映射并且异常示例被映射得更远。在本文中,我们描述了一种算法,通过将批次内成对距离的矢量提升到空间距离矩阵,充分利用神经网络训练中的训练批次。该步骤使算法能够通过针对解决问题优化新颖的结构化预测目标来学习特征嵌入的状态。此外,我们收集了在线产品数据集:用于度量学习的23k类在线产品的120个图像。我们在CUB-200-2011,CARS196和在线产品数据集上的实验表明,与GoogLeNet网络在Allexperimented嵌入尺寸上的现有深度特征嵌入方法相比有了显着的改进。
translated by 谷歌翻译
最近,人们越来越关注贝叶斯优化 - 一种未知函数的优化,其假设通常由高斯过程(GP)先前表示。我们研究了一种直接使用函数argmax估计的优化策略。该策略提供了实践和理论上的优势:不需要选择权衡参数,而且,我们建立与流行的GP-UCB和GP-PI策略的紧密联系。我们的方法可以被理解为自动和自适应地在GP-UCB和GP-PI中进行勘探和利用。我们通过对遗憾的界限以及对机器人和视觉任务的广泛经验评估来说明这种自适应调整的效果,展示了该策略对一系列性能标准的稳健性。
translated by 谷歌翻译
Learning to localize objects with minimal supervision is an important problemin computer vision, since large fully annotated datasets are extremely costlyto obtain. In this paper, we propose a new method that achieves this goal withonly image-level labels of whether the objects are present or not. Our approachcombines a discriminative submodular cover problem for automaticallydiscovering a set of positive object windows with a smoothed latent SVMformulation. The latter allows us to leverage efficient quasi-Newtonoptimization techniques. Our experiments demonstrate that the proposed approachprovides a 50% relative improvement in mean average precision over the currentstate-of-the-art on PASCAL VOC 2007 detection.
translated by 谷歌翻译