图表分类是一种非常有影响力的任务,在多数世界应用中起着至关重要的作用,例如分子性质预测和蛋白质函数预测。以有限标记的图表处理新课程,几次拍摄图形分类已成为一座桥梁现有图分类解决方案与实际使用。这项工作探讨了基于度量的元学习的潜力,用于解决少量图形分类。我们突出了考虑解决方案结构特征的重要性,并提出了一种明确考虑全球结构的新框架和输入图的局部结构。在两个数据集,Chembl和三角形上测试了名为SMF-GIN的GIN的实施,其中广泛的实验验证了所提出的方法的有效性。 ChemBl构造成填补缺乏几次拍摄图形分类评估的大规模基准的差距,与SMF-GIN的实施一起释放:https://github.com/jiangshunyu/smf-ing。
translated by 谷歌翻译
图形神经网络(GNN),图数据上深度神经网络的概括已被广泛用于各个领域,从药物发现到推荐系统。但是,当可用样本很少的情况下,这些应用程序的GNN是有限的。元学习一直是解决机器学习中缺乏样品的重要框架,近年来,研究人员已经开始将元学习应用于GNNS。在这项工作中,我们提供了对涉及GNN的不同元学习方法的综合调查,这些方法在各种图表中显示出使用这两种方法的力量。我们根据提出的架构,共享表示和应用程序分类文献。最后,我们讨论了几个激动人心的未来研究方向和打开问题。
translated by 谷歌翻译
图形广泛用于建模数据的关系结构,并且图形机器学习(ML)的研究具有广泛的应用,从分子图中的药物设计到社交网络中的友谊建议。图形ML的流行方法通常需要大量的标记实例来实现令人满意的结果,这在现实世界中通常是不可行的,因为在图形上标记了新出现的概念的数据(例如,在图形上的新分类)是有限的。尽管已将元学习应用于不同的几个图形学习问题,但大多数现有的努力主要假设所有所见类别的数据都是金标记的,而当这些方法弱标记时,这些方法可能会失去疗效严重的标签噪声。因此,我们旨在研究一个新的问题,即弱监督图元学习,以改善知识转移的模型鲁棒性。为了实现这一目标,我们提出了一个新的图形学习框架 - 本文中的图形幻觉网络(Meta-GHN)。基于一种新的鲁棒性增强的情节训练,元研究将从弱标记的数据中幻觉清洁节点表示,并提取高度可转移的元知识,这使该模型能够快速适应不见了的任务,几乎没有标记的实例。广泛的实验表明,元基因与现有图形学习研究的优越性有关弱监督的少数弹性分类的任务。
translated by 谷歌翻译
节点分类在各种图形挖掘任务中至关重要。在实践中,实际图通常遵循长尾分布,其中大量类仅由有限的标记节点组成。尽管图神经网络(GNN)在节点分类方面取得了显着改善,但在这种情况下,它们的性能大大降低。主要原因可以归因于由于元任务中不同节点/类分布引起的任务差异(即节点级别和类级别的方差)引起的任务差异,因此元素训练和元检验之间存在巨大的概括差距。因此,为了有效地减轻任务差异的影响,我们在少数弹出的学习设置下提出了一个任务自适应的节点分类框架。具体而言,我们首先在具有丰富标记节点的类中积累了元知识。然后,我们通过提出的任务自适应模块将这些知识转移到具有有限标记的节点的类别中。特别是,为了适应元任务之间的不同节点/类分布,我们建议三个基本模块以执行\ emph {node-level},\ emph {class-level}和\ emph {task-emph {task-level}适应元任务分别。这样,我们的框架可以对不同的元任务进行适应,从而提高元测试任务上的模型概括性能。在四个普遍的节点分类数据集上进行了广泛的实验,证明了我们的框架优于最先进的基线。我们的代码可在https://github.com/songw-sw/tent上提供。
translated by 谷歌翻译
逐步学习新课程的能力对于所有现实世界的人工智能系统至关重要。像社交媒体,推荐系统,电子商务平台等的大部分高冲击应用都可以由图形模型表示。在本文中,我们调查了挑战但实际问题,图表几次拍摄的类增量(图形FCL)问题,其中图形模型是任务,以对新遇到的类和以前学习的类进行分类。为此目的,我们通过从基类循环地采样任务来提出图形伪增量学习范例,以便为我们的模型产生任意数量的培训集,以练习增量学习技能。此外,我们设计了一种基于分层的图形元学习框架,Hag-Meta。我们介绍了一个任务敏感的常规程序,从任务级关注和节点类原型计算,以缓解到新颖或基本类上的过度拟合。为了采用拓扑知识,我们添加了一个节点级注意模块来调整原型表示。我们的模型不仅达到了旧知识整合的更大稳定性,而且还可以获得对具有非常有限的数据样本的新知识的有利适应性。在三个现实世界数据集上进行广泛的实验,包括亚马逊服装,Reddit和DBLP,表明我们的框架与基线和其他相关最先进的方法相比,展示了显着的优势。
translated by 谷歌翻译
分子特性预测在药物发现中起着基本作用,以鉴定具有目标性质的候选分子。然而,分子特性预测基本上是几次射门问题,这使得难以使用普通机器学习模型。在本文中,我们提出了一个属性感知的关系网络(PAR)来处理此问题。与现有的作品相比,我们利用了不同分子特性的相关子结构和关系的事实。我们首先介绍一个属性感知的嵌入功能,将通用分子嵌入的功能转换为与目标属性相关的子结构感知空间。此外,我们设计了一个自适应关系图学习模块,共同估计了分子关系图和优化分子嵌入W.R.T.目标性质,使得有限标签可以有效地在类似的分子之间繁殖。我们采用元学习策略,其中参数在任务中选择性地更新,以便单独模拟通用和属性感知的知识。基准分子特性预测数据集的广泛实验表明,始终如一地优于现有方法,并可以正确获得性能感知分子嵌入和模型分子关系图。
translated by 谷歌翻译
图形存在于许多现实世界中的应用中,例如财务欺诈检测,商业建议和社交网络分析。但是,鉴于图形注释或标记的高成本,我们面临严重的图形标签 - 刻度问题,即,图可能具有一些标记的节点。这样一个问题的一个例子是所谓的\ textit {少数弹性节点分类}。该问题的主要方法均依靠\ textit {情节元学习}。在这项工作中,我们通过提出一个基本问题来挑战现状,元学习是否是对几个弹性节点分类任务的必要条件。我们在标准的几杆节点分类设置下提出了一个新的简单框架,作为学习有效图形编码器的元学习的替代方法。该框架由有监督的图形对比学习以及新颖的数据增强,子图编码和图形上的多尺度对比度组成。在三个基准数据集(Corafull,Reddit,OGBN)上进行的广泛实验表明,新框架显着胜过基于最先进的元学习方法。
translated by 谷歌翻译
Few-shot node classification is tasked to provide accurate predictions for nodes from novel classes with only few representative labeled nodes. This problem has drawn tremendous attention for its projection to prevailing real-world applications, such as product categorization for newly added commodity categories on an E-commerce platform with scarce records or diagnoses for rare diseases on a patient similarity graph. To tackle such challenging label scarcity issues in the non-Euclidean graph domain, meta-learning has become a successful and predominant paradigm. More recently, inspired by the development of graph self-supervised learning, transferring pretrained node embeddings for few-shot node classification could be a promising alternative to meta-learning but remains unexposed. In this work, we empirically demonstrate the potential of an alternative framework, \textit{Transductive Linear Probing}, that transfers pretrained node embeddings, which are learned from graph contrastive learning methods. We further extend the setting of few-shot node classification from standard fully supervised to a more realistic self-supervised setting, where meta-learning methods cannot be easily deployed due to the shortage of supervision from training classes. Surprisingly, even without any ground-truth labels, transductive linear probing with self-supervised graph contrastive pretraining can outperform the state-of-the-art fully supervised meta-learning based methods under the same protocol. We hope this work can shed new light on few-shot node classification problems and foster future research on learning from scarcely labeled instances on graphs.
translated by 谷歌翻译
Graph Neural Networks (GNNs) have attracted increasing attention in recent years and have achieved excellent performance in semi-supervised node classification tasks. The success of most GNNs relies on one fundamental assumption, i.e., the original graph structure data is available. However, recent studies have shown that GNNs are vulnerable to the complex underlying structure of the graph, making it necessary to learn comprehensive and robust graph structures for downstream tasks, rather than relying only on the raw graph structure. In light of this, we seek to learn optimal graph structures for downstream tasks and propose a novel framework for semi-supervised classification. Specifically, based on the structural context information of graph and node representations, we encode the complex interactions in semantics and generate semantic graphs to preserve the global structure. Moreover, we develop a novel multi-measure attention layer to optimize the similarity rather than prescribing it a priori, so that the similarity can be adaptively evaluated by integrating measures. These graphs are fused and optimized together with GNN towards semi-supervised classification objective. Extensive experiments and ablation studies on six real-world datasets clearly demonstrate the effectiveness of our proposed model and the contribution of each component.
translated by 谷歌翻译
灵感来自深度学习的广泛成功,已经提出了图表神经网络(GNNS)来学习表达节点表示,并在各种图形学习任务中表现出有希望的性能。然而,现有的努力主要集中在提供相对丰富的金色标记节点的传统半监督设置。虽然数据标签是难以忍受的事实令人生畏的事实并且需要强化领域知识,但特别是在考虑图形结构数据的异质性时,它通常是不切实际的。在几次半监督的环境下,大多数现有GNN的性能不可避免地受到过度装备和过天际问题的破坏,在很大程度上由于标记数据的短缺。在本文中,我们提出了一种配备有新型元学习算法的解耦的网络架构来解决这个问题。从本质上讲,我们的框架META-PN通过META学习的标签传播策略在未标记节点上乘坐高质量的伪标签,这有效增强了稀缺标记的数据,同时在培训期间启用大型接受领域。广泛的实验表明,与各种基准数据集上的现有技术相比,我们的方法提供了简单且实质性的性能。
translated by 谷歌翻译
很少有图像分类是一个具有挑战性的问题,旨在仅基于少量培训图像来达到人类的识别水平。少数图像分类的一种主要解决方案是深度度量学习。这些方法是,通过将看不见的样本根据距离的距离进行分类,可在强大的深神经网络中学到的嵌入空间中看到的样品,可以避免以少数图像分类的少数训练图像过度拟合,并实现了最新的图像表现。在本文中,我们提供了对深度度量学习方法的最新审查,以进行2018年至2022年的少量图像分类,并根据度量学习的三个阶段将它们分为三组,即学习功能嵌入,学习课堂表示和学习距离措施。通过这种分类法,我们确定了他们面临的不同方法和问题的新颖性。我们通过讨论当前的挑战和未来趋势进行了少量图像分类的讨论。
translated by 谷歌翻译
语义关系预测旨在挖掘异质图中对象之间的隐式关系,这些关系由不同类型的对象和不同类型的链接组成。在现实世界中,新的语义关系不断出现,它们通常仅带有几个标记的数据。由于多种异构图中存在各种语义关系,因此可以从某些现有的语义关系中开采可转移的知识,以帮助预测新的语义关系,几乎没有标记的数据。这激发了一个新的问题,即跨异构图的几乎没有语义关系预测。但是,现有方法无法解决此问题,因为它们不仅需要大量的标记样本作为输入,而且还集中在具有固定异质性的单个图上。针对这个新颖而充满挑战的问题,在本文中,我们提出了一个基于元学习的图形神经网络,用于语义关系预测,名为Metags。首先,metags将对象之间的图形结构分解为多个归一化子图,然后采用两视图形神经网络来捕获这些子图的本地异质信息和全局结构信息。其次,Metags通过超出型网络汇总了这些子图的信息,该网络可以从现有的语义关系中学习并适应新的语义关系。第三,使用良好的初始化的两视图形神经网络和超出型网络,Metags可以有效地从不同的图形中学习新的语义关系,同时克服少数标记数据的限制。在三个现实世界数据集上进行的广泛实验表明,元数据的性能优于最先进的方法。
translated by 谷歌翻译
图形神经网络(GNN)是通过学习通用节点表示形式来建模和处理图形结构数据的主要范例。传统的培训方式GNNS取决于许多标记的数据,这导致了成本和时间的高需求。在某个特殊场景中,它甚至不可用。可以通过图形结构数据本身生成标签的自我监督表示学习是解决此问题的潜在方法。并且要研究对异质图的自学学习问题的研究比处理同质图更具挑战性,对此,研究也更少。在本文中,我们通过基于Metapath(SESIM)的结构信息提出了一种用于异质图的自我监督学习方法。提出的模型可以通过预测每个Metapath中节点之间的跳跃数来构建借口任务,以提高主任务的表示能力。为了预测跳跃数量,Sesim使用数据本身来生成标签,避免了耗时的手动标签。此外,预测每个Metapath中的跳跃数量可以有效地利用图形结构信息,这是节点之间的重要属性。因此,Sesim加深对图形结构模型的理解。最后,我们共同培训主要任务和借口任务,并使用元学习来平衡借口任务对主要任务的贡献。经验结果验证了SESIM方法的性能,并证明该方法可以提高传统神经网络在链接预测任务和节点分类任务上的表示能力。
translated by 谷歌翻译
最近,图形神经网络(GNNS)大大提高了图形分类的任务。通常,我们首先在给定的训练集中使用图形构建一个统一的GNN模型,然后使用该统一模型来预测测试集中所有看不见图的标签。然而,相同数据集中的图形通常具有显着的结构,这表明统一模型可以给定单独的图形。因此,在本文中,我们的目标是开发用于图形分类的定制图形神经网络。具体而言,我们提出了一种新颖的定制图形神经网络框架,即定制-GNN。鉴于图表样本,定制-GNN可以基于其结构为该图产生特定于样的模型。同时,所提出的框架非常一般,可以应用于许多现有图形神经网络模型。各种图形分类基准的综合实验证明了拟议框架的有效性。
translated by 谷歌翻译
Many applications of machine learning require a model to make accurate predictions on test examples that are distributionally different from training ones, while task-specific labels are scarce during training. An effective approach to this challenge is to pre-train a model on related tasks where data is abundant, and then fine-tune it on a downstream task of interest. While pre-training has been effective in many language and vision domains, it remains an open question how to effectively use pre-training on graph datasets. In this paper, we develop a new strategy and self-supervised methods for pre-training Graph Neural Networks (GNNs). The key to the success of our strategy is to pre-train an expressive GNN at the level of individual nodes as well as entire graphs so that the GNN can learn useful local and global representations simultaneously. We systematically study pre-training on multiple graph classification datasets. We find that naïve strategies, which pre-train GNNs at the level of either entire graphs or individual nodes, give limited improvement and can even lead to negative transfer on many downstream tasks. In contrast, our strategy avoids negative transfer and improves generalization significantly across downstream tasks, leading up to 9.4% absolute improvements in ROC-AUC over non-pre-trained models and achieving state-of-the-art performance for molecular property prediction and protein function prediction.However, pre-training on graph datasets remains a hard challenge. Several key studies (
translated by 谷歌翻译
图形神经网络(GNNS)在学习归属图中显示了很大的力量。但是,GNNS从源节点利用遥控器的信息仍然是一个挑战。此外,常规GNN要求将图形属性作为输入,因此它们无法应用于纯图。在论文中,我们提出了名为G-GNNS(GNN的全局信息)的新模型来解决上述限制。首先,通过无监督的预训练获得每个节点的全局结构和属性特征,其保留与节点相关联的全局信息。然后,使用全局功能和原始网络属性,我们提出了一个并行GNN的并行框架来了解这些功能的不同方面。所提出的学习方法可以应用于普通图和归属图。广泛的实验表明,G-GNNS可以在三个标准评估图上优于其他最先进的模型。特别是,我们的方法在学习归属图表时建立了Cora(84.31 \%)和PubMed(80.95 \%)的新基准记录。
translated by 谷歌翻译
图形表示学习引起了极大的关注,因为它在许多现实世界中的表现出色。但是,由于数据标记始终是时间和资源的消耗,因此,特定任务的普遍监督图表学习模型通常会遇到标签稀疏问题。鉴于此,已经提出了将图表表示学习和几乎没有射击学习的优势结合在一起的图形学习(FSLG)(FSLG),以面对有限的注释数据挑战,以解决性能退化。最近有许多研究FSLG的研究。在本文中,我们以一系列方法和应用的形式对这些工作进行了全面的调查。具体而言,我们首先引入FSLG挑战和基础,然后根据不同粒度级别的三个主要图形挖掘任务(即节点,边缘和图形)对FSLG的现有工作进行分类和总结。最后,我们分享了FSLG的一些未来研究方向的想法。在过去的几年中,这项调查的作者对FSLG的AI文献做出了重大贡献。
translated by 谷歌翻译
在元学习框架下设计了许多射门学习方法,这些方法从各种学习任务中学习并推广到新任务。这些元学习方法在从同一分布(I.I.D.观察)中绘制的所有样本中的情况下实现了预期的性能。然而,在现实世界应用中,很少拍摄的学习范式往往遭受数据转移,即,即使在相同的任务中,也可以从各种数据分布中汲取不同任务中的示例。大多数现有的几次拍摄方法不考虑数据班次,因此在数据分布换档时显示降级性能。然而,由于每个任务中的标记样本数量有限的标记样本,因此在几次拍摄学习中解决数据转换问题是不普遍的。针对解决此问题,我们提出了一种新的基于度量的元学习框架,以便在知识图表的帮助下提取任务特定的表示和任务共享表示。因此,任务内的数据偏移可以通过任务共享和特定于任务的表示的组合来组合。拟议的模型是对流行的基准测试和两个构造的新具有挑战性的数据集。评估结果表明了其显着性能。
translated by 谷歌翻译
近年来,图形变压器在各种图形学习任务上表现出了优势。但是,现有图形变压器的复杂性与节点的数量二次缩放,因此难以扩展到具有数千个节点的图形。为此,我们提出了一个邻域聚集图变压器(Nagphormer),该变压器可扩展到具有数百万节点的大图。在将节点特征馈送到变压器模型中之前,Nagphormer构造令牌由称为Hop2Token的邻域聚合模块为每个节点。对于每个节点,Hop2token聚合从每个跳跃到表示形式的邻域特征,从而产生一系列令牌向量。随后,不同HOP信息的结果序列是变压器模型的输入。通过将每个节点视为一个序列,可以以迷你批量的方式训练Nagphormer,从而可以扩展到大图。 Nagphormer进一步开发了基于注意力的读数功能,以便学习每个跳跃的重要性。我们在各种流行的基准测试中进行了广泛的实验,包括六个小数据集和三个大数据集。结果表明,Nagphormer始终优于现有的图形变压器和主流图神经网络。
translated by 谷歌翻译
Graph classification is an important area in both modern research and industry. Multiple applications, especially in chemistry and novel drug discovery, encourage rapid development of machine learning models in this area. To keep up with the pace of new research, proper experimental design, fair evaluation, and independent benchmarks are essential. Design of strong baselines is an indispensable element of such works. In this thesis, we explore multiple approaches to graph classification. We focus on Graph Neural Networks (GNNs), which emerged as a de facto standard deep learning technique for graph representation learning. Classical approaches, such as graph descriptors and molecular fingerprints, are also addressed. We design fair evaluation experimental protocol and choose proper datasets collection. This allows us to perform numerous experiments and rigorously analyze modern approaches. We arrive to many conclusions, which shed new light on performance and quality of novel algorithms. We investigate application of Jumping Knowledge GNN architecture to graph classification, which proves to be an efficient tool for improving base graph neural network architectures. Multiple improvements to baseline models are also proposed and experimentally verified, which constitutes an important contribution to the field of fair model comparison.
translated by 谷歌翻译