Graph neural networks have achieved significant success in representation learning. However, the performance gains come at a cost; acquiring comprehensive labeled data for training can be prohibitively expensive. Active learning mitigates this issue by searching the unexplored data space and prioritizing the selection of data to maximize model's performance gain. In this paper, we propose a novel method SMARTQUERY, a framework to learn a graph neural network with very few labeled nodes using a hybrid uncertainty reduction function. This is achieved using two key steps: (a) design a multi-stage active graph learning framework by exploiting diverse explicit graph information and (b) introduce label propagation to efficiently exploit known labels to assess the implicit embedding information. Using a comprehensive set of experiments on three network datasets, we demonstrate the competitive performance of our method against state-of-the-arts on very few labeled data (up to 5 labeled nodes per class).
translated by 谷歌翻译
Training labels for graph embedding algorithms could be costly to obtain in many practical scenarios. Active learning (AL) algorithms are very helpful to obtain the most useful labels for training while keeping the total number of label queries under a certain budget. The existing Active Graph Embedding framework proposes to use centrality score, density score, and entropy score to evaluate the value of unlabeled nodes, and it has been shown to be capable of bringing some improvement to the node classification tasks of Graph Convolutional Networks. However, when evaluating the importance of unlabeled nodes, it fails to consider the influence of existing labeled nodes on the value of unlabeled nodes. In other words, given the same unlabeled node, the computed informative score is always the same and is agnostic to the labeled node set. With the aim to address this limitation, in this work, we introduce 3 dissimilarity-based information scores for active learning: feature dissimilarity score (FDS), structure dissimilarity score (SDS), and embedding dissimilarity score (EDS). We find out that those three scores are able to take the influence of the labeled set on the value of unlabeled candidates into consideration, boosting our AL performance. According to experiments, our newly proposed scores boost the classification accuracy by 2.1% on average and are capable of generalizing to different Graph Neural Network architectures.
translated by 谷歌翻译
图表神经网络(GNNS)对于节点分类或边缘预测等预测任务,在最近的机器中从图形结构数据中获得了越来越长的注意。然而,难以获得大量标记的图表,这显着限制了GNN的真正成功。虽然积极学习已被广​​泛研究用于解决文本,图像等等其他数据类型的标签稀疏问题,但如何使其有效地对图表进行有效,是一个开放的研究问题。在本文中,我们对节点分类任务的GNN进行了主动学习的调查。具体地,我们提出了一种新方法,它使用节点特征传播,然后是节点的K-METOIDS聚类,例如在活动学习中选择。通过理论束缚分析,我们证明了我们的方法的设计选择。在我们在四个基准数据集的实验中,所提出的方法始终如一地优于其他代表性基线方法。
translated by 谷歌翻译
图上的节点分类是许多实际域中的重要任务。它通常需要培训标签,在实践中获得很难或昂贵。鉴于标签的预算,主动学习旨在通过仔细选择要标记的节点来提高性能。先前的图形活动方法使用标记的节点学习表示表示,并选择一些未标记的节点进行标签采集。但是,它们并未完全利用未标记节点中存在的表示能力。我们认为,未标记节点中的表示能力对于积极学习和进一步改善了积极学习的节点分类的性能很有用。在本文中,我们提出了一个基于潜在空间聚类的活性学习框架(LSCALE),在该框架中,我们在标签和未标记的节点中充分利用了表示功能。具体而言,为了选择用于标签的节点,我们的框架使用了基于无监督功能和监督功能的动态组合,在潜在空间上使用K-Medoids聚类算法。此外,我们设计了一个增量聚类模块,以避免在不同步骤中选择的节点之间的冗余。在五个数据集上进行的广泛实验表明,我们提出的框架LSCALE始终如一,并显着超过了较大的边距。
translated by 谷歌翻译
哪些目标标签对于图形神经网络(GNN)培训最有效?在某些应用GNNS Excel样药物设计或欺诈检测的应用中,标记新实例很昂贵。我们开发一个具有数据效率的主动采样框架,即ScatterSample,以在主动学习设置下训练GNN。 ScatterSample采用称为不同确定性的抽样模块,从样品空间的不同区域收集具有较大不确定性的实例以进行标记。为了确保所选节点的多样化,不同的确定性簇群簇较高的不确定性节点,​​并从每个群集中选择代表性节点。严格的理论分析表明,与标准的主动采样方法相比,我们的ScatterSample算法进一步支持了其优势,该方法旨在简单地简单地提高不确定性,而不是使样品多样化。特别是,我们表明ScatterSample能够在整个样品空间上有效地减少模型不确定性。我们在五个数据集上的实验表明,散点样本明显优于其他GNN主动学习基线,特别是它将采样成本降低了50%,同时达到了相同的测试准确性。
translated by 谷歌翻译
图形神经网络(GNN)在许多基于图的任务中表现出强大的表示能力。具体而言,由于其简单性和性能优势,GNN(例如APPNP)的解耦结构变得流行。但是,这些GNN的端到端培训使它们在计算和记忆消耗方面效率低下。为了应对这些局限性,在这项工作中,我们为图形神经网络提供了交替的优化框架,不需要端到端培训。在不同设置下进行的广泛实验表明,所提出的算法的性能与现有的最新算法相当,但具有更好的计算和记忆效率。此外,我们表明我们的框架可以利用优势来增强现有的脱钩GNN。
translated by 谷歌翻译
本文解决了几秒钟学习问题,旨在从几个例子中学习新的视觉概念。在几次拍摄分类中的常见问题设置假设在获取数据标签中的随机采样策略,其在实际应用中效率低下。在这项工作中,我们介绍了一个新的预算感知几秒钟学习问题,不仅旨在学习新的对象类别,还需要选择信息实例来注释以实现数据效率。我们为我们的预算感知几秒钟学习任务开发了一个元学习策略,该任务共同了解基于图形卷积网络(GCN)和基于示例的少量拍摄分类器的新型数据选择策略。我们的选择策略通过图形消息传递计算每个未标记数据的上下文敏感表示,然后用于预测顺序选择的信息性分数。我们在迷你想象网,分层 - 想象项目和omniglot数据集上进行广泛的实验验证我们的方法。结果表明,我们的几次学习策略优于一个相当大的边缘,这表明了我们的方法的功效。
translated by 谷歌翻译
众所周知,图形神经网络(GNN)的成功高度依赖于丰富的人类通知数据,这在实践中努力获得,并且并非总是可用的。当只有少数标记的节点可用时,如何开发高效的GNN仍在研究。尽管已证明自我训练对于半监督学习具有强大的功能,但其在图形结构数据上的应用可能会失败,因为(1)不利用较大的接收场来捕获远程节点相互作用,这加剧了传播功能的难度 - 标记节点到未标记节点的标签模式; (2)有限的标记数据使得在不同节点类别中学习良好的分离决策边界而不明确捕获基本的语义结构,这是一项挑战。为了解决捕获信息丰富的结构和语义知识的挑战,我们提出了一个新的图数据增强框架,AGST(增强图自训练),该框架由两个新的(即结构和语义)增强模块构建。 GST骨干。在这项工作中,我们研究了这个新颖的框架是否可以学习具有极有限标记节点的有效图预测模型。在有限标记节点数据的不同情况下,我们对半监督节点分类进行全面评估。实验结果证明了新的数据增强框架对节点分类的独特贡献,几乎没有标记的数据。
translated by 谷歌翻译
在半监督的学习领域中,作为GNN的变体模型,图形卷积网络(GCN)通过将卷积引入GNN来实现非欧盟数据的有希望的结果。但是,GCN及其变体模型无法安全地使用风险未标记数据的信息,这将降低半监督学习的性能。因此,我们提出了一个安全的GCN框架(SAFE-GCN),以提高学习绩效。在Safe-GCN中,我们设计了一个迭代过程来标记未标记的数据。在每次迭代中,学会了GCN及其监督版本(S-GCN),以高信任地找到未标记的数据。然后将高信心的未标记数据及其伪标签添加到标签集中。最后,两者都添加了未标记的数据和标记的数据来训练S-GCN,该S-GCN可以安全地探索风险未标记的数据,并可以安全使用大量未标记的数据。在三个众所周知的引用网络数据集上评估了安全性GCN的性能,并且获得的结果证明了该框架对几种基于图的半监督学习方法的有效性。
translated by 谷歌翻译
灵感来自深度学习的广泛成功,已经提出了图表神经网络(GNNS)来学习表达节点表示,并在各种图形学习任务中表现出有希望的性能。然而,现有的努力主要集中在提供相对丰富的金色标记节点的传统半监督设置。虽然数据标签是难以忍受的事实令人生畏的事实并且需要强化领域知识,但特别是在考虑图形结构数据的异质性时,它通常是不切实际的。在几次半监督的环境下,大多数现有GNN的性能不可避免地受到过度装备和过天际问题的破坏,在很大程度上由于标记数据的短缺。在本文中,我们提出了一种配备有新型元学习算法的解耦的网络架构来解决这个问题。从本质上讲,我们的框架META-PN通过META学习的标签传播策略在未标记节点上乘坐高质量的伪标签,这有效增强了稀缺标记的数据,同时在培训期间启用大型接受领域。广泛的实验表明,与各种基准数据集上的现有技术相比,我们的方法提供了简单且实质性的性能。
translated by 谷歌翻译
Graph Neural Networks (GNNs) have been widely applied in the semi-supervised node classification task, where a key point lies in how to sufficiently leverage the limited but valuable label information. Most of the classical GNNs solely use the known labels for computing the classification loss at the output. In recent years, several methods have been designed to additionally utilize the labels at the input. One part of the methods augment the node features via concatenating or adding them with the one-hot encodings of labels, while other methods optimize the graph structure by assuming neighboring nodes tend to have the same label. To bring into full play the rich information of labels, in this paper, we present a label-enhanced learning framework for GNNs, which first models each label as a virtual center for intra-class nodes and then jointly learns the representations of both nodes and labels. Our approach could not only smooth the representations of nodes belonging to the same class, but also explicitly encode the label semantics into the learning process of GNNs. Moreover, a training node selection technique is provided to eliminate the potential label leakage issue and guarantee the model generalization ability. Finally, an adaptive self-training strategy is proposed to iteratively enlarge the training set with more reliable pseudo labels and distinguish the importance of each pseudo-labeled node during the model training process. Experimental results on both real-world and synthetic datasets demonstrate our approach can not only consistently outperform the state-of-the-arts, but also effectively smooth the representations of intra-class nodes.
translated by 谷歌翻译
异质图卷积网络在解决异质网络数据的各种网络分析任务方面已广受欢迎,从链接预测到节点分类。但是,大多数现有作品都忽略了多型节点之间的多重网络的关系异质性,而在元路径中,元素嵌入中关系的重要性不同,这几乎无法捕获不同关系跨不同关系的异质结构信号。为了应对这一挑战,这项工作提出了用于异质网络嵌入的多重异质图卷积网络(MHGCN)。我们的MHGCN可以通过多层卷积聚合自动学习多重异质网络中不同长度的有用的异质元路径相互作用。此外,我们有效地将多相关结构信号和属性语义集成到学习的节点嵌入中,并具有无监督和精选的学习范式。在具有各种网络分析任务的五个现实世界数据集上进行的广泛实验表明,根据所有评估指标,MHGCN与最先进的嵌入基线的优势。
translated by 谷歌翻译
In recent years, semi-supervised graph learning with data augmentation (DA) is currently the most commonly used and best-performing method to enhance model robustness in sparse scenarios with few labeled samples. Differing from homogeneous graph, DA in heterogeneous graph has greater challenges: heterogeneity of information requires DA strategies to effectively handle heterogeneous relations, which considers the information contribution of different types of neighbors and edges to the target nodes. Furthermore, over-squashing of information is caused by the negative curvature that formed by the non-uniformity distribution and strong clustering in complex graph. To address these challenges, this paper presents a novel method named Semi-Supervised Heterogeneous Graph Learning with Multi-level Data Augmentation (HG-MDA). For the problem of heterogeneity of information in DA, node and topology augmentation strategies are proposed for the characteristics of heterogeneous graph. And meta-relation-based attention is applied as one of the indexes for selecting augmented nodes and edges. For the problem of over-squashing of information, triangle based edge adding and removing are designed to alleviate the negative curvature and bring the gain of topology. Finally, the loss function consists of the cross-entropy loss for labeled data and the consistency regularization for unlabeled data. In order to effectively fuse the prediction results of various DA strategies, the sharpening is used. Existing experiments on public datasets, i.e., ACM, DBLP, OGB, and industry dataset MB show that HG-MDA outperforms current SOTA models. Additionly, HG-MDA is applied to user identification in internet finance scenarios, helping the business to add 30% key users, and increase loans and balances by 3.6%, 11.1%, and 9.8%.
translated by 谷歌翻译
属性网络上的节点分类是一项半监督任务,对于网络分析至关重要。通过将图形卷积网络(GCN)中的两个关键操作解耦,即具有转换和邻域聚合,截断的GCN的一些最新作品可以支持这些信息,以更深入地传播并实现高级性能。但是,它们遵循GCN的传统结构感知的传播策略,因此很难捕获节点的属性相关性,并对由两个端点属于不同类别的边缘描述的结构噪声敏感。为了解决这些问题,我们提出了一种新方法,称为“裂开式”传播,然后训练(PAMT)。关键思想是将属性相似性掩码整合到结构感知的传播过程中。这样,PAMT可以在传播过程中保留相邻节点的属性相关性,并有效地减少结构噪声的影响。此外,我们开发了一种迭代改进机制,以在改善培训性能的培训过程中更新相似性面罩。在四个现实世界数据集上进行的广泛实验证明了PAMT的出色性能和鲁棒性。
translated by 谷歌翻译
图形神经网络(GNN)在学习强大的节点表示中显示了令人信服的性能,这些表现在保留节点属性和图形结构信息的强大节点表示中。然而,许多GNNS在设计有更深的网络结构或手柄大小的图形时遇到有效性和效率的问题。已经提出了几种采样算法来改善和加速GNN的培训,但他们忽略了解GNN性能增益的来源。图表数据中的信息的测量可以帮助采样算法来保持高价值信息,同时消除冗余信息甚至噪声。在本文中,我们提出了一种用于GNN的公制引导(MEGUIDE)子图学习框架。 MEGUIDE采用两种新颖的度量:功能平滑和连接失效距离,以指导子图采样和迷你批次的培训。功能平滑度专为分析节点的特征而才能保留最有价值的信息,而连接失败距离可以测量结构信息以控制子图的大小。我们展示了MEGUIDE在多个数据集上培训各种GNN的有效性和效率。
translated by 谷歌翻译
最近,图形神经网络(GNNS)大大提高了图形分类的任务。通常,我们首先在给定的训练集中使用图形构建一个统一的GNN模型,然后使用该统一模型来预测测试集中所有看不见图的标签。然而,相同数据集中的图形通常具有显着的结构,这表明统一模型可以给定单独的图形。因此,在本文中,我们的目标是开发用于图形分类的定制图形神经网络。具体而言,我们提出了一种新颖的定制图形神经网络框架,即定制-GNN。鉴于图表样本,定制-GNN可以基于其结构为该图产生特定于样的模型。同时,所提出的框架非常一般,可以应用于许多现有图形神经网络模型。各种图形分类基准的综合实验证明了拟议框架的有效性。
translated by 谷歌翻译
Machine Unerning是在收到删除请求时从机器学习(ML)模型中删除某些培训数据的影响的过程。虽然直接而合法,但从划痕中重新训练ML模型会导致高计算开销。为了解决这个问题,在图像和文本数据的域中提出了许多近似算法,其中SISA是最新的解决方案。它将训练集随机分配到多个碎片中,并为每个碎片训练一个组成模型。但是,将SISA直接应用于图形数据可能会严重损害图形结构信息,从而导致的ML模型实用程序。在本文中,我们提出了Grapheraser,这是一种针对图形数据量身定制的新型机器学习框架。它的贡献包括两种新型的图形分区算法和一种基于学习的聚合方法。我们在五个现实世界图数据集上进行了广泛的实验,以说明Grapheraser的学习效率和模型实用程序。它可以实现2.06 $ \ times $(小数据集)至35.94 $ \ times $(大数据集)未学习时间的改进。另一方面,Grapheraser的实现最高62.5美元\%$更高的F1分数,我们提出的基于学习的聚合方法可达到高达$ 112 \%$ $ F1分数。 github.com/minchen00/graph-unlearning}。}。}
translated by 谷歌翻译
图形神经网络(GNNS)在建模图形结构数据方面表明了它们的能力。但是,实际图形通常包含结构噪声并具有有限的标记节点。当在这些图表中培训时,GNN的性能会显着下降,这阻碍了许多应用程序的GNN。因此,与有限标记的节点开发抗噪声GNN是重要的。但是,这是一个相当有限的工作。因此,我们研究了在具有有限标记节点的嘈杂图中开发鲁棒GNN的新问题。我们的分析表明,嘈杂的边缘和有限的标记节点都可能损害GNN的消息传递机制。为减轻这些问题,我们提出了一种新颖的框架,该框架采用嘈杂的边缘作为监督,以学习去噪和密集的图形,这可以减轻或消除嘈杂的边缘,并促进GNN的消息传递,以缓解有限标记节点的问题。生成的边缘还用于规则地将具有标记平滑度的未标记节点的预测规范化,以更好地列车GNN。实验结果对现实世界数据集展示了在具有有限标记节点的嘈杂图中提出框架的稳健性。
translated by 谷歌翻译
近年来,图形神经网络(GNNS)已实现了节点分类的最新性能。但是,大多数现有的GNN会遭受图形不平衡问题。在许多实际情况下,节点类都是不平衡的,其中一些多数类构成了图的大部分部分。 GNN中的消息传播机制将进一步扩大这些多数类的主导地位,从而导致次级分类性能。在这项工作中,我们试图通过生成少数族裔类实例来平衡培训数据,从而扩展了以前的基于过度采样的技术来解决这个问题。此任务是不平凡的,因为这些技术的设计是实例是独立的。忽视关系信息会使此过采样过程变得复杂。此外,节点分类任务通常仅使用少数标记的节点进行半监督设置,从而为少数族裔实例的产生提供了不足的监督。生成的低质量新节点会损害训练有素的分类器。在这项工作中,我们通过在构造的嵌入空间中综合新节点来解决这些困难,该节点编码节点属性和拓扑信息。此外,对边缘生成器进行同时训练,以建模图结构并为新样品提供关系。为了进一步提高数据效率,我们还探索合成的混合``中间''节点在此过度采样过程中利用多数类的节点。对现实世界数据集的实验验证了我们提出的框架的有效性。
translated by 谷歌翻译
拓扑不平衡是由标记节点的不均匀拓扑位置引起的一个特异性不平衡问题,它大大损害了GNN的性能。什么拓扑不平衡意味着如何衡量其对图形学习的影响。在本文中,从全球视图中,我们对监督信息分布的全球视图提供了对拓扑 - 不平衡的新理解,从不足和过度划分的角度来看,这激发了两个定量指标作为测量。鉴于我们的分析,我们提出了一个新颖的位置感知的图形结构学习框架,该框架名为柔和,该框架直接优化了信息传播路径并解决了本质上解决拓扑 - 不平衡问题。我们的关键见解是增强同一类中节点的连接性,以获取更多的监督信息,从而减轻不足和过度的现象。具体而言,我们设计了一个基于锚的位置编码机制,该机制可以更好地结合相对拓扑位置并通过最大化标签影响来增强类内部电感偏置。我们进一步提出了作为边缘权重的阶级冲突度量,这有利于不同节点类别的分离。广泛的实验表明,在不同的数据注释方案中增强GNNS的功率方面,柔和的能力具有较高的潜力和适应性。
translated by 谷歌翻译