图形表示学习引起了极大的关注,因为它在许多现实世界中的表现出色。但是,由于数据标记始终是时间和资源的消耗,因此,特定任务的普遍监督图表学习模型通常会遇到标签稀疏问题。鉴于此,已经提出了将图表表示学习和几乎没有射击学习的优势结合在一起的图形学习(FSLG)(FSLG),以面对有限的注释数据挑战,以解决性能退化。最近有许多研究FSLG的研究。在本文中,我们以一系列方法和应用的形式对这些工作进行了全面的调查。具体而言,我们首先引入FSLG挑战和基础,然后根据不同粒度级别的三个主要图形挖掘任务(即节点,边缘和图形)对FSLG的现有工作进行分类和总结。最后,我们分享了FSLG的一些未来研究方向的想法。在过去的几年中,这项调查的作者对FSLG的AI文献做出了重大贡献。
translated by 谷歌翻译
图形神经网络(GNN),图数据上深度神经网络的概括已被广泛用于各个领域,从药物发现到推荐系统。但是,当可用样本很少的情况下,这些应用程序的GNN是有限的。元学习一直是解决机器学习中缺乏样品的重要框架,近年来,研究人员已经开始将元学习应用于GNNS。在这项工作中,我们提供了对涉及GNN的不同元学习方法的综合调查,这些方法在各种图表中显示出使用这两种方法的力量。我们根据提出的架构,共享表示和应用程序分类文献。最后,我们讨论了几个激动人心的未来研究方向和打开问题。
translated by 谷歌翻译
Knowledge graphs (KG) have served as the key component of various natural language processing applications. Commonsense knowledge graphs (CKG) are a special type of KG, where entities and relations are composed of free-form text. However, previous works in KG completion and CKG completion suffer from long-tail relations and newly-added relations which do not have many know triples for training. In light of this, few-shot KG completion (FKGC), which requires the strengths of graph representation learning and few-shot learning, has been proposed to challenge the problem of limited annotated data. In this paper, we comprehensively survey previous attempts on such tasks in the form of a series of methods and applications. Specifically, we first introduce FKGC challenges, commonly used KGs, and CKGs. Then we systematically categorize and summarize existing works in terms of the type of KGs and the methods. Finally, we present applications of FKGC models on prediction tasks in different areas and share our thoughts on future research directions of FKGC.
translated by 谷歌翻译
图形广泛用于建模数据的关系结构,并且图形机器学习(ML)的研究具有广泛的应用,从分子图中的药物设计到社交网络中的友谊建议。图形ML的流行方法通常需要大量的标记实例来实现令人满意的结果,这在现实世界中通常是不可行的,因为在图形上标记了新出现的概念的数据(例如,在图形上的新分类)是有限的。尽管已将元学习应用于不同的几个图形学习问题,但大多数现有的努力主要假设所有所见类别的数据都是金标记的,而当这些方法弱标记时,这些方法可能会失去疗效严重的标签噪声。因此,我们旨在研究一个新的问题,即弱监督图元学习,以改善知识转移的模型鲁棒性。为了实现这一目标,我们提出了一个新的图形学习框架 - 本文中的图形幻觉网络(Meta-GHN)。基于一种新的鲁棒性增强的情节训练,元研究将从弱标记的数据中幻觉清洁节点表示,并提取高度可转移的元知识,这使该模型能够快速适应不见了的任务,几乎没有标记的实例。广泛的实验表明,元基因与现有图形学习研究的优越性有关弱监督的少数弹性分类的任务。
translated by 谷歌翻译
语义关系预测旨在挖掘异质图中对象之间的隐式关系,这些关系由不同类型的对象和不同类型的链接组成。在现实世界中,新的语义关系不断出现,它们通常仅带有几个标记的数据。由于多种异构图中存在各种语义关系,因此可以从某些现有的语义关系中开采可转移的知识,以帮助预测新的语义关系,几乎没有标记的数据。这激发了一个新的问题,即跨异构图的几乎没有语义关系预测。但是,现有方法无法解决此问题,因为它们不仅需要大量的标记样本作为输入,而且还集中在具有固定异质性的单个图上。针对这个新颖而充满挑战的问题,在本文中,我们提出了一个基于元学习的图形神经网络,用于语义关系预测,名为Metags。首先,metags将对象之间的图形结构分解为多个归一化子图,然后采用两视图形神经网络来捕获这些子图的本地异质信息和全局结构信息。其次,Metags通过超出型网络汇总了这些子图的信息,该网络可以从现有的语义关系中学习并适应新的语义关系。第三,使用良好的初始化的两视图形神经网络和超出型网络,Metags可以有效地从不同的图形中学习新的语义关系,同时克服少数标记数据的限制。在三个现实世界数据集上进行的广泛实验表明,元数据的性能优于最先进的方法。
translated by 谷歌翻译
Graph mining tasks arise from many different application domains, ranging from social networks, transportation to E-commerce, etc., which have been receiving great attention from the theoretical and algorithmic design communities in recent years, and there has been some pioneering work employing the research-rich Reinforcement Learning (RL) techniques to address graph data mining tasks. However, these graph mining methods and RL models are dispersed in different research areas, which makes it hard to compare them. In this survey, we provide a comprehensive overview of RL and graph mining methods and generalize these methods to Graph Reinforcement Learning (GRL) as a unified formulation. We further discuss the applications of GRL methods across various domains and summarize the method descriptions, open-source codes, and benchmark datasets of GRL methods. Furthermore, we propose important directions and challenges to be solved in the future. As far as we know, this is the latest work on a comprehensive survey of GRL, this work provides a global view and a learning resource for scholars. In addition, we create an online open-source for both interested scholars who want to enter this rapidly developing domain and experts who would like to compare GRL methods.
translated by 谷歌翻译
节点分类在各种图形挖掘任务中至关重要。在实践中,实际图通常遵循长尾分布,其中大量类仅由有限的标记节点组成。尽管图神经网络(GNN)在节点分类方面取得了显着改善,但在这种情况下,它们的性能大大降低。主要原因可以归因于由于元任务中不同节点/类分布引起的任务差异(即节点级别和类级别的方差)引起的任务差异,因此元素训练和元检验之间存在巨大的概括差距。因此,为了有效地减轻任务差异的影响,我们在少数弹出的学习设置下提出了一个任务自适应的节点分类框架。具体而言,我们首先在具有丰富标记节点的类中积累了元知识。然后,我们通过提出的任务自适应模块将这些知识转移到具有有限标记的节点的类别中。特别是,为了适应元任务之间的不同节点/类分布,我们建议三个基本模块以执行\ emph {node-level},\ emph {class-level}和\ emph {task-emph {task-level}适应元任务分别。这样,我们的框架可以对不同的元任务进行适应,从而提高元测试任务上的模型概括性能。在四个普遍的节点分类数据集上进行了广泛的实验,证明了我们的框架优于最先进的基线。我们的代码可在https://github.com/songw-sw/tent上提供。
translated by 谷歌翻译
最近,图形神经网络已成为机器学习界的热门话题。本文提出了基于SCOPUS,自2004年以来,GNN论文首次发布的基于GNNS研究的概述。该研究旨在评估总量和定性的GNN研究趋势。我们提供了研究,积极和有影响力的作者和机构,出版物来源,最具引用文件和热门话题的趋势。我们的调查表明,该领域中最常见的主题类别是计算机科学,工程,电信,语言学,运营研究和管理科学,信息科学和图书馆学,商业和经济学,自动化和控制系统,机器人和社会科学。此外,GNN出版物最具活跃的来源是计算机科学的讲义。最多产或有影响力的机构在美国,中国和加拿大发现。我们还提供必须阅读论文和未来方向。最后,图表卷积网络和注意机制的应用现在是GNN研究的热门话题。
translated by 谷歌翻译
Graph learning is a popular approach for performing machine learning on graph-structured data. It has revolutionized the machine learning ability to model graph data to address downstream tasks. Its application is wide due to the availability of graph data ranging from all types of networks to information systems. Most graph learning methods assume that the graph is static and its complete structure is known during training. This limits their applicability since they cannot be applied to problems where the underlying graph grows over time and/or new tasks emerge incrementally. Such applications require a lifelong learning approach that can learn the graph continuously and accommodate new information whilst retaining previously learned knowledge. Lifelong learning methods that enable continuous learning in regular domains like images and text cannot be directly applied to continuously evolving graph data, due to its irregular structure. As a result, graph lifelong learning is gaining attention from the research community. This survey paper provides a comprehensive overview of recent advancements in graph lifelong learning, including the categorization of existing methods, and the discussions of potential applications and open research problems.
translated by 谷歌翻译
生物医学网络是与疾病网络的蛋白质相互作用的普遍描述符,从蛋白质相互作用,一直到医疗保健系统和科学知识。随着代表学习提供强大的预测和洞察的显着成功,我们目睹了表现形式学习技术的快速扩展,进入了这些网络的建模,分析和学习。在这篇综述中,我们提出了一个观察到生物学和医学中的网络长期原则 - 而在机器学习研究中经常出口 - 可以为代表学习提供概念基础,解释其当前的成功和限制,并告知未来进步。我们综合了一系列算法方法,即在其核心利用图形拓扑到将网络嵌入到紧凑的向量空间中,并捕获表示陈述学习证明有用的方式的广度。深远的影响包括鉴定复杂性状的变异性,单细胞的异心行为及其对健康的影响,协助患者的诊断和治疗以及制定安全有效的药物。
translated by 谷歌翻译
图表分类是一种非常有影响力的任务,在多数世界应用中起着至关重要的作用,例如分子性质预测和蛋白质函数预测。以有限标记的图表处理新课程,几次拍摄图形分类已成为一座桥梁现有图分类解决方案与实际使用。这项工作探讨了基于度量的元学习的潜力,用于解决少量图形分类。我们突出了考虑解决方案结构特征的重要性,并提出了一种明确考虑全球结构的新框架和输入图的局部结构。在两个数据集,Chembl和三角形上测试了名为SMF-GIN的GIN的实施,其中广泛的实验验证了所提出的方法的有效性。 ChemBl构造成填补缺乏几次拍摄图形分类评估的大规模基准的差距,与SMF-GIN的实施一起释放:https://github.com/jiangshunyu/smf-ing。
translated by 谷歌翻译
Anomaly analytics is a popular and vital task in various research contexts, which has been studied for several decades. At the same time, deep learning has shown its capacity in solving many graph-based tasks like, node classification, link prediction, and graph classification. Recently, many studies are extending graph learning models for solving anomaly analytics problems, resulting in beneficial advances in graph-based anomaly analytics techniques. In this survey, we provide a comprehensive overview of graph learning methods for anomaly analytics tasks. We classify them into four categories based on their model architectures, namely graph convolutional network (GCN), graph attention network (GAT), graph autoencoder (GAE), and other graph learning models. The differences between these methods are also compared in a systematic manner. Furthermore, we outline several graph-based anomaly analytics applications across various domains in the real world. Finally, we discuss five potential future research directions in this rapidly growing field.
translated by 谷歌翻译
机器学习方法尤其是深度神经网络取得了巨大的成功,但其中许多往往依赖于一些标记的样品进行训练。在真实世界的应用中,我们经常需要通过例如具有新兴预测目标和昂贵的样本注释的动态上下文来解决样本短缺。因此,低资源学习,旨在学习具有足够资源(特别是培训样本)的强大预测模型,现在正在被广泛调查。在所有低资源学习研究中,许多人更喜欢以知识图(kg)的形式利用一些辅助信息,这对于知识表示变得越来越受欢迎,以减少对标记样本的依赖。在这项调查中,我们非常全面地审查了90美元的报纸关于两个主要的低资源学习设置 - 零射击学习(ZSL)的预测,从未出现过训练,而且很少拍摄的学习(FSL)预测的新类仅具有可用的少量标记样本。我们首先介绍了ZSL和FSL研究中使用的KGS以及现有的和潜在的KG施工解决方案,然后系统地分类和总结了KG感知ZSL和FSL方法,将它们划分为不同的范例,例如基于映射的映射,数据增强,基于传播和基于优化的。我们接下来呈现了不同的应用程序,包括计算机视觉和自然语言处理中的kg增强预测任务,还包括kg完成的任务,以及每个任务的一些典型评估资源。我们最终讨论了一些关于新学习和推理范式的方面的一些挑战和未来方向,以及高质量的KGs的建设。
translated by 谷歌翻译
保持个人特征和复杂的关系,广泛利用和研究了图表数据。通过更新和聚合节点的表示,能够捕获结构信息,图形神经网络(GNN)模型正在获得普及。在财务背景下,该图是基于实际数据构建的,这导致复杂的图形结构,因此需要复杂的方法。在这项工作中,我们在最近的财务环境中对GNN模型进行了全面的审查。我们首先将普通使用的财务图分类并总结每个节点的功能处理步骤。然后,我们总结了每个地图类型的GNN方法,每个区域的应用,并提出一些潜在的研究领域。
translated by 谷歌翻译
很少有图像分类是一个具有挑战性的问题,旨在仅基于少量培训图像来达到人类的识别水平。少数图像分类的一种主要解决方案是深度度量学习。这些方法是,通过将看不见的样本根据距离的距离进行分类,可在强大的深神经网络中学到的嵌入空间中看到的样品,可以避免以少数图像分类的少数训练图像过度拟合,并实现了最新的图像表现。在本文中,我们提供了对深度度量学习方法的最新审查,以进行2018年至2022年的少量图像分类,并根据度量学习的三个阶段将它们分为三组,即学习功能嵌入,学习课堂表示和学习距离措施。通过这种分类法,我们确定了他们面临的不同方法和问题的新颖性。我们通过讨论当前的挑战和未来趋势进行了少量图像分类的讨论。
translated by 谷歌翻译
关于图表的深度学习最近吸引了重要的兴趣。然而,大多数作品都侧重于(半)监督学习,导致缺点包括重标签依赖,普遍性差和弱势稳健性。为了解决这些问题,通过良好设计的借口任务在不依赖于手动标签的情况下提取信息知识的自我监督学习(SSL)已成为图形数据的有希望和趋势的学习范例。与计算机视觉和自然语言处理等其他域的SSL不同,图表上的SSL具有独家背景,设计理念和分类。在图表的伞下自我监督学习,我们对采用图表数据采用SSL技术的现有方法及时及全面的审查。我们构建一个统一的框架,数学上正式地规范图表SSL的范例。根据借口任务的目标,我们将这些方法分为四类:基于生成的,基于辅助性的,基于对比的和混合方法。我们进一步描述了曲线图SSL在各种研究领域的应用,并总结了绘图SSL的常用数据集,评估基准,性能比较和开源代码。最后,我们讨论了该研究领域的剩余挑战和潜在的未来方向。
translated by 谷歌翻译
学术界和工业广泛研究了图形机器学习。然而,作为图表学习繁荣的文献,具有大量的新兴方法和技术,它越来越难以手动设计用于不同的图形相关任务的最佳机器学习算法。为了解决挑战,自动化图形机器学习,目的是在没有手动设计的不同图表任务/数据中发现最好的图形任务/数据的最佳超参数和神经架构配置,正在增加研究界的越来越多的关注。在本文中,我们广泛地讨论了自动化图形机方法,涵盖了用于图形机学习的超参数优化(HPO)和神经架构搜索(NAS)。我们简要概述了专为Traph Machine学习或自动化机器学习而设计的现有库,进一步深入介绍AutoGL,我们的专用和世界上第一个用于自动图形机器学习的开放源库。最后但并非最不重要的是,我们分享了对自动图形机学习的未来研究方向的见解。本文是对自动图形机学习的方法,图书馆以及方向的第一个系统和全面讨论。
translated by 谷歌翻译
Graph machine learning has been extensively studied in both academia and industry. Although booming with a vast number of emerging methods and techniques, most of the literature is built on the in-distribution hypothesis, i.e., testing and training graph data are identically distributed. However, this in-distribution hypothesis can hardly be satisfied in many real-world graph scenarios where the model performance substantially degrades when there exist distribution shifts between testing and training graph data. To solve this critical problem, out-of-distribution (OOD) generalization on graphs, which goes beyond the in-distribution hypothesis, has made great progress and attracted ever-increasing attention from the research community. In this paper, we comprehensively survey OOD generalization on graphs and present a detailed review of recent advances in this area. First, we provide a formal problem definition of OOD generalization on graphs. Second, we categorize existing methods into three classes from conceptually different perspectives, i.e., data, model, and learning strategy, based on their positions in the graph machine learning pipeline, followed by detailed discussions for each category. We also review the theories related to OOD generalization on graphs and introduce the commonly used graph datasets for thorough evaluations. Finally, we share our insights on future research directions. This paper is the first systematic and comprehensive review of OOD generalization on graphs, to the best of our knowledge.
translated by 谷歌翻译
异质图卷积网络在解决异质网络数据的各种网络分析任务方面已广受欢迎,从链接预测到节点分类。但是,大多数现有作品都忽略了多型节点之间的多重网络的关系异质性,而在元路径中,元素嵌入中关系的重要性不同,这几乎无法捕获不同关系跨不同关系的异质结构信号。为了应对这一挑战,这项工作提出了用于异质网络嵌入的多重异质图卷积网络(MHGCN)。我们的MHGCN可以通过多层卷积聚合自动学习多重异质网络中不同长度的有用的异质元路径相互作用。此外,我们有效地将多相关结构信号和属性语义集成到学习的节点嵌入中,并具有无监督和精选的学习范式。在具有各种网络分析任务的五个现实世界数据集上进行的广泛实验表明,根据所有评估指标,MHGCN与最先进的嵌入基线的优势。
translated by 谷歌翻译
We present the OPEN GRAPH BENCHMARK (OGB), a diverse set of challenging and realistic benchmark datasets to facilitate scalable, robust, and reproducible graph machine learning (ML) research. OGB datasets are large-scale, encompass multiple important graph ML tasks, and cover a diverse range of domains, ranging from social and information networks to biological networks, molecular graphs, source code ASTs, and knowledge graphs. For each dataset, we provide a unified evaluation protocol using meaningful application-specific data splits and evaluation metrics. In addition to building the datasets, we also perform extensive benchmark experiments for each dataset. Our experiments suggest that OGB datasets present significant challenges of scalability to large-scale graphs and out-of-distribution generalization under realistic data splits, indicating fruitful opportunities for future research. Finally, OGB provides an automated end-to-end graph ML pipeline that simplifies and standardizes the process of graph data loading, experimental setup, and model evaluation. OGB will be regularly updated and welcomes inputs from the community. OGB datasets as well as data loaders, evaluation scripts, baseline code, and leaderboards are publicly available at https://ogb.stanford.edu.
translated by 谷歌翻译