对比度学习是图表学习中的有效无监督方法,对比度学习的关键组成部分在于构建正和负样本。以前的方法通常利用图中节点的接近度作为原理。最近,基于数据增强的对比度学习方法已进步以显示视觉域中的强大力量,一些作品将此方法从图像扩展到图形。但是,与图像上的数据扩展不同,图上的数据扩展远不那么直观,而且很难提供高质量的对比样品,这为改进留出了很大的空间。在这项工作中,通过引入一个对抗性图视图以进行数据增强,我们提出了一种简单但有效的方法,对抗图对比度学习(ARIEL),以在合理的约束中提取信息性的对比样本。我们开发了一种称为稳定训练的信息正则化的新技术,并使用子图抽样以进行可伸缩。我们通过将每个图形实例视为超级节点,从节点级对比度学习到图级。 Ariel始终优于在现实世界数据集上的节点级别和图形级分类任务的当前图对比度学习方法。我们进一步证明,面对对抗性攻击,Ariel更加强大。
translated by 谷歌翻译
了解人类情绪是智能机器人提供更好的人类机器人相互作用的关键能力。现有作品仅限于修剪视频级别的情感分类,无法找到与情感相对应的时间窗口。在本文中,我们介绍了一项新任务,称为视频中的时间情感本地化(TEL),该任务旨在检测人类的情感并将其相应的时间边界定位在带有校准字幕的未修剪视频中。与时间动作本地化相比,TEL提出了三个独特的挑战:1)情绪的时间动态极为多样; 2)情绪提示都嵌入了外观和复杂的情节中; 3)细粒度的时间注释是复杂且劳动密集型的。为了应对前两个挑战,我们提出了一个新颖的扩张上下文集成网络,该网络与粗细的两流体系结构。粗流通过建模多粒性时间上下文来捕获各种时间动力学。细流通过推理从粗流的多晶格时间上下文之间的依赖性来实现复杂的理解,并将它们自适应地集成到细粒度的视频段特征中。为了应对第三个挑战,我们引入了跨模式共识学习范式,该范式利用了对齐视频和字幕之间的固有语义共识,以实现弱监督的学习。我们为新的测试集提供了3,000个手动注释的时间边界,因此可以对TEL问题进行未来的研究进行定量评估。广泛的实验显示了我们方法对时间情绪定位的有效性。这项工作的存储库位于https://github.com/yyjmjc/temporal-emotion-localization-in-videos。
translated by 谷歌翻译
在非参数环境中,因果结构通常仅在马尔可夫等效性上可识别,并且出于因果推断的目的,学习马尔可夫等效类(MEC)的图形表示很有用。在本文中,我们重新审视了贪婪的等效搜索(GES)算法,该算法被广泛引用为一种基于分数的算法,用于学习基本因果结构的MEC。我们观察到,为了使GES算法在非参数设置中保持一致,不必设计评估图的评分度量。取而代之的是,足以插入有条件依赖度量的一致估计器来指导搜索。因此,我们提出了GES算法的重塑,该算法比基于标准分数的版本更灵活,并且很容易将自己带到非参数设置,并具有条件依赖性的一般度量。此外,我们提出了一种神经条件依赖性(NCD)度量,该措施利用深神经网络的表达能力以非参数方式表征条件独立性。我们根据标准假设建立了重新构架GES算法的最佳性,并使用我们的NCD估计器来决定条件独立性的一致性。这些结果共同证明了拟议的方法。实验结果证明了我们方法在因果发现中的有效性,以及使用我们的NCD度量而不是基于内核的措施的优势。
translated by 谷歌翻译
对比度学习是图表学习中有效的无监督方法。最近,基于数据增强的对比度学习方法已从图像扩展到图形。但是,大多数先前的作品都直接根据为图像设计的模型进行了调整。与图像上的数据增强不同,图表上的数据扩展远不那么直观,而且很难提供高质量的对比样本,这是对比度学习模型的性能的关键。这为改进现有图形对比学习框架留出了很多空间。在这项工作中,通过引入对抗图视图和信息正常化程序,我们提出了一种简单但有效的方法,即对逆向对比度学习(ARIEL),以在合理的约束中提取信息性的对比样本。它始终优于各种现实世界数据集的节点分类任务中当前的图形对比度学习方法,并进一步提高了图对比度学习的鲁棒性。
translated by 谷歌翻译
我们研究大规模网络嵌入问题,旨在学习网络挖掘应用的低维潜在表示。网络嵌入领域的最新研究导致了大型进展,如深散,线,NetMF,NetSMF。然而,许多真实网络的巨大尺寸使得从整个网络学习网络嵌入的网络昂贵。在这项工作中,我们提出了一种新的网络嵌入方法,称为“NES”,其学习来自小型代表性子图的网络嵌入。 NES利用图表采样的理论,以有效地构建具有较小尺寸的代表性子图,该子图尺寸可用于对完整网络进行推断,使得能够显着提高嵌入学习的效率。然后,NES有效地计算从该代表子图嵌入的网络。与众所周知的方法相比,对各种规模和类型网络的广泛实验表明NES实现了可比性和显着的效率优势。
translated by 谷歌翻译
$ \ texttt {gcastle} $是一个端到端Python工具箱,用于因果结构学习。它提供了从模拟器或现实世界数据集的生成数据,从数据学习因果结构的功能,以及评估学到的图表,以及有用的实践,例如先验知识插入,初步邻域选择和后处理以删除错误发现。与相关包相比,$ \ texttt {gcastle} $包括许多最近开发的基于渐变的因果发现方法,具有可选的GPU加速。$ \ texttt {gcastle} $为可以直接尝试代码以及具有图形用户干扰的从业者来为研究人员提供方便。当前版本也提供了电信中的三个现实世界数据集。$ \ texttt {gcastle} $可在Apache许可证2.0下获得\ url {https://github.com/huawei-noah/trustworthyai/tree/master/gcastle}。
translated by 谷歌翻译
The performance of generative adversarial networks (GANs) heavily deteriorates given a limited amount of training data. This is mainly because the discriminator is memorizing the exact training set. To combat it, we propose Differentiable Augmentation (DiffAugment), a simple method that improves the data efficiency of GANs by imposing various types of differentiable augmentations on both real and fake samples. Previous attempts to directly augment the training data manipulate the distribution of real images, yielding little benefit; DiffAugment enables us to adopt the differentiable augmentation for the generated samples, effectively stabilizes training, and leads to better convergence. Experiments demonstrate consistent gains of our method over a variety of GAN architectures and loss functions for both unconditional and class-conditional generation. With DiffAugment, we achieve a state-of-the-art FID of 6.80 with an IS of 100.8 on ImageNet 128×128 and 2-4× reductions of FID given 1,000 images on FFHQ and LSUN. Furthermore, with only 20% training data, we can match the top performance on CIFAR-10 and CIFAR-100. Finally, our method can generate high-fidelity images using only 100 images without pre-training, while being on par with existing transfer learning algorithms. Code is available at https://github.com/mit-han-lab/data-efficient-gans.
translated by 谷歌翻译
本文研究了从观察数据学习因果关系的问题。我们用二进制图邻接矩阵参数化的形式重整结构方程模型(SEM),并显示,如果原始SEM是可识别的,则可以识别二进制邻接矩阵到真实因果图的超图在温和的条件下。然后,我们利用所述重新设计的SEM来开发一种因果结构学习方法,可以通过利用对非循环性和Gumbel-Softmax方法的平滑表征来实现基于梯度的优化来有效地接受训练,以近似于二进制邻接矩阵。发现获得的条目通常在零或一个附近,并且可以容易地阈值以识别边缘。我们对合成和实时数据集进行实验,以验证所提出的方法的有效性,并表明它容易包括不同的平滑模型功能,并在考虑大多数数据集中实现了大大提高的性能。
translated by 谷歌翻译
Accurate determination of a small molecule candidate (ligand) binding pose in its target protein pocket is important for computer-aided drug discovery. Typical rigid-body docking methods ignore the pocket flexibility of protein, while the more accurate pose generation using molecular dynamics is hindered by slow protein dynamics. We develop a tiered tensor transform (3T) algorithm to rapidly generate diverse protein-ligand complex conformations for both pose and affinity estimation in drug screening, requiring neither machine learning training nor lengthy dynamics computation, while maintaining both coarse-grain-like coordinated protein dynamics and atomistic-level details of the complex pocket. The 3T conformation structures we generate are closer to experimental co-crystal structures than those generated by docking software, and more importantly achieve significantly higher accuracy in active ligand classification than traditional ensemble docking using hundreds of experimental protein conformations. 3T structure transformation is decoupled from the system physics, making future usage in other computational scientific domains possible.
translated by 谷歌翻译
最近,随着深度学习的持续发展,指定实体识别任务的表现得到了极大的改进。但是,在某些特定领域(例如生物医学和军事)中数据的隐私和机密性导致数据不足以支持深度神经网络的培训。在本文中,我们提出了一个加密学习框架,以解决数据泄漏的问题以及对某些域中敏感数据的不便披露。我们首次将多个加密算法介绍以在指定实体识别任务中加密培训数据。换句话说,我们使用加密数据训练深神网络。我们在六个中国数据集上进行实验,其中三个是由我们自己构建的。实验结果表明,加密方法可实现令人满意的结果。一些经过加密数据训练的模型的性能甚至超过了未加密方法的性能,该方法验证了引入的加密方法的有效性,并在一定程度上解决了数据泄漏问题。
translated by 谷歌翻译