图形神经网络（GNNS）在广泛的应用方面显示了有希望的结果。 GNN的大多数实证研究直接将观察图视为输入，假设观察到的结构完美地描绘了节点之间的准确性和完全关系。然而，现实世界中的图形是不可避免的或不完整的，甚至可以加剧图表表示的质量。在这项工作中，我们提出了一种新颖的变分信息瓶颈引导图形结构学习框架，即vib-gsl，在信息理论的角度下。 VIB-GSL推进了图形结构学习的信息瓶颈（IB）原则，为挖掘潜在的任务关系提供了更优雅且普遍的框架。 VIB-GSL了解一个信息和压缩图形结构，用于蒸馏出特定的下游任务的可操作信息。 VIB-GSL为不规则图数据推导了变化近似，以形成促进训练稳定性的易切换IB目标函数。广泛的实验结果表明，VIB-GSL的卓越有效性和鲁棒性。

子图识别旨在发现对图表属性最具信息的图表的压缩子结构。可以通过使用相互信息估计器优化图形信息瓶颈（GIB）来配制它。然而，由于图数据的相互信息本质上难以估计，GIB遭到培训不稳定。本文介绍了一种噪声注入方法，用于压缩子图中的信息，这导致了一种新颖的变分图信息瓶颈（VGIB）框架。VGIB允许对其在温和假设下的物镜的易变分别近似。因此，VGIB享有更稳定和高效的培训过程 - 我们发现VGIB在练习中提高表演的速度快10倍。广泛的图形解释实验，图形神经网络的解释性，图表分类显示VGIB发现比现有方法更好的子图。

Most Graph Neural Networks follow the message-passing paradigm, assuming the observed structure depicts the ground-truth node relationships. However, this fundamental assumption cannot always be satisfied, as real-world graphs are always incomplete, noisy, or redundant. How to reveal the inherent graph structure in a unified way remains under-explored. We proposed PRI-GSL, a Graph Structure Learning framework guided by the Principle of Relevant Information, providing a simple and unified framework for identifying the self-organization and revealing the hidden structure. PRI-GSL learns a structure that contains the most relevant yet least redundant information quantified by von Neumann entropy and Quantum Jensen-Shannon divergence. PRI-GSL incorporates the evolution of quantum continuous walk with graph wavelets to encode node structural roles, showing in which way the nodes interplay and self-organize with the graph structure. Extensive experiments demonstrate the superior effectiveness and robustness of PRI-GSL.

由于图形神经网络（GNN）在各个域中的出色性能，因此对GNN解释问题越来越感兴趣“ \ emph {输入图的哪一部分是决定模型决定的最关键？}“现有的解释？方法集中在监督的设置，例如节点分类和图形分类上，而无监督的图形表示学习的解释仍未探索。当部署高级决策情况时，图表表示的不透明可能会导致意外风险。在本文中，我们推进了信息瓶颈原理（IB），以解决无监督的图表表示所提出的解释问题，这导致了一个新颖的原理，\ textit {无监督的子图表信息瓶颈}（USIB）。我们还理论上分析了标签空间上图表和解释子图之间的联系，这表明表示的表现力和鲁棒性有益于解释性子图的保真度。合成和现实世界数据集的实验结果证明了我们发达的解释器的优越性以及我们的理论分析的有效性。

高阶相关性学习在数据表示学习中表现出了优越性，在近几十年来，超图已被广泛使用。基于超图的表示方法（例如HyperGraph神经网络）的性能很大程度上取决于HyperGraph结构的质量。如何在数据之间生成超图结构仍然是一项具有挑战性的任务。缺失和嘈杂的数据可能会导致超图结构中的“不良连接”，并破坏基于超图的表示过程。因此，揭示高阶结构，即观察到的数据背后的超图成为一项紧迫但重要的任务。为了解决这个问题，我们设计了深度图结构学习的一般范式，即DeepHGSL，以优化基于超图表的表示超图结构。具体地，受鲁棒性问题的信息瓶颈原则的启发，我们首先将其扩展到HyperGraph Case，该案例由HyperGraph Information Bottleneck（HIB）原理命名。然后，我们应用此原理来指导超图结构学习，其中引入HIB以构建损耗函数以最大程度地减少超图结构中的嘈杂信息。可以优化超图结构，并且可以认为该过程可以增强正确的连接并削弱训练阶段的错误连接。因此，所提出的方法即使在严重的嘈杂结构上提取更健壮的表示也有益。最后，我们在四个基准数据集上评估该模型以进行表示。与其他最新方法相比，对图形和超图结构数据的实验结果证明了我们方法的有效性和鲁棒性。

Multi-view graph clustering (MGC) methods are increasingly being studied due to the explosion of multi-view data with graph structural information. The critical point of MGC is to better utilize the view-specific and view-common information in features and graphs of multiple views. However, existing works have an inherent limitation that they are unable to concurrently utilize the consensus graph information across multiple graphs and the view-specific feature information. To address this issue, we propose Variational Graph Generator for Multi-View Graph Clustering (VGMGC). Specifically, a novel variational graph generator is proposed to extract common information among multiple graphs. This generator infers a reliable variational consensus graph based on a priori assumption over multiple graphs. Then a simple yet effective graph encoder in conjunction with the multi-view clustering objective is presented to learn the desired graph embeddings for clustering, which embeds the inferred view-common graph and view-specific graphs together with features. Finally, theoretical results illustrate the rationality of VGMGC by analyzing the uncertainty of the inferred consensus graph with information bottleneck principle. Extensive experiments demonstrate the superior performance of our VGMGC over SOTAs.

需要解释的图表学习是需要的，因为许多科学应用都取决于学习模型来从图形结构数据中收集见解。先前的工作主要集中在使用事后方法来解释预训练的模型（尤其是图形神经网络模型）。他们反对固有的可解释模型，因为对这些模型的良好解释通常是以其预测准确性为代价。而且，广泛使用的固有解释的注意力机制通常无法在图形学习任务中提供忠实的解释。在这项工作中，我们通过提出图形随机关注（GSAT）来解决这两个问题，这是一种来自信息瓶颈原理的注意机制。 GSAT利用随机关注来阻止从任务 - 核定图组件中的信息，同时学习降低随机性的注意力以选择与任务相关的子图以进行解释。 GSAT也可以通过随机注意机制应用于微调和解释预训练的模型。八个数据集的广泛实验表明，GSAT在解释AUC中的最高最高为20％$ \ uparrow $，而预测准确性则高于最高的最高$ \ uparrow $。

图神经网络的自我监督学习（SSL）正在成为利用未标记数据的有前途的方式。当前，大多数方法基于从图像域改编的对比度学习，该学习需要视图生成和足够数量的负样本。相比之下，现有的预测模型不需要负面抽样，但缺乏关于借口训练任务设计的理论指导。在这项工作中，我们提出了lagraph，这是基于潜在图预测的理论基础的预测SSL框架。 lagraph的学习目标被推导为自我监督的上限，以预测未观察到的潜在图。除了改进的性能外，Lagraph还为包括基于不变性目标的预测模型的最新成功提供了解释。我们提供了比较毛发与不同领域中相关方法的理论分析。我们的实验结果表明，劳拉在性能方面的优势和鲁棒性对于训练样本量减少了图形级别和节点级任务。

给定图表具有部分观察到节点特征，我们如何准确估计缺失功能？特征估计是分析现实图表的关键问题，其特征在数据收集过程中通常缺少。准确的估计不仅提供了节点的多种信息，而且还支持需要全面观察节点特征的图形神经网络的推断。但是，设计一种估计高维特征的有效方法是具有挑战性的，因为它要求估算器具有较大的表示能力，从而增加过度拟合的风险。在这项工作中，我们提出了SVGA（结构化变分图自动编码器），这是一种精确的特征估计方法。 SVGA通过结构化变异推断将强固体化应用于潜在变量的分布，该变量推断将变量的先前作为基于图结构的高斯马尔可夫随机字段建模。结果，SVGA结合了概率推理和图形神经网络的优势，在实际数据集中实现了最新性能。

鉴于在现实世界应用中大规模图的流行率，训练神经模型的存储和时间引起了人们的关注。为了减轻关注点，我们提出和研究图形神经网络（GNNS）的图形凝结问题。具体而言，我们旨在将大型原始图凝结成一个小的，合成的和高度信息的图，以便在小图和大图上训练的GNN具有可比性的性能。我们通过优化梯度匹配损失并设计一种凝结节点期货和结构信息的策略来模仿原始图上的GNN训练轨迹，以解决凝结问题。广泛的实验证明了所提出的框架在将不同的图形数据集凝结成信息较小的较小图中的有效性。特别是，我们能够在REDDIT上近似于95.3％的原始测试准确性，Flickr的99.8％和CiteSeer的99.0％，同时将其图形尺寸降低了99.9％以上，并且可以使用冷凝图来训练各种GNN架构Code在https://github.com/chandlerbang/gcond上发布。

本文着重于由于看不见的分布变化而导致性能下降的图表上的分布概括。以前的图形域概括始终诉诸于不同源域之间的不变预测因子。但是，他们假设在培训期间提供了足够的源域，为现实应用带来了巨大挑战。相比之下，我们通过从源域中构造多个种群来提出一个新的图形域概括框架，称为DPS。具体而言，DPS旨在发现多个\ textbf {d} iverse和\ textbf {p}可redictable \ textbf {s}带有一组发电机的ubgraphs，即，子图是彼此不同的，但它们彼此不同，但所有这些都与相同的语义共享输入图。这些生成的源域被利用以学习跨域的\ textIt {Equi-Prestivical}图神经网络（GNN），这有望很好地概括到看不见的目标域。通常，DPS是模型不合时宜的，可以与各种GNN骨架合并。节点级别和图形基准测试的广泛实验表明，所提出的DPS为各种图形域概括任务实现了令人印象深刻的性能。

从消息传递机制中受益，图形神经网络（GNN）在图形数据上的繁荣任务上已经成功。但是，最近的研究表明，攻击者可以通过恶意修改图形结构来灾难性地降低GNN的性能。解决此问题的直接解决方案是通过在两个末端节点的成对表示之间学习度量函数来建模边缘权重，该指标函数试图将低权重分配给对抗边缘。现有方法使用监督GNN学到的原始功能或表示形式来对边缘重量进行建模。但是，两种策略都面临着一些直接问题：原始特征不能代表节点的各种特性（例如结构信息），而受监督的GNN学到的表示可能会遭受分类器在中毒图上的差异性能。我们需要携带特征信息和尽可能糊状的结构信息并且对结构扰动不敏感的表示形式。为此，我们提出了一条名为stable的无监督管道，以优化图形结构。最后，我们将精心设计的图输入到下游分类器中。对于这一部分，我们设计了一个高级GCN，可显着增强香草GCN的鲁棒性，而不会增加时间复杂性。在四个现实世界图基准上进行的广泛实验表明，稳定的表现优于最先进的方法，并成功防御各种攻击。

由于大型数据集中的深度学习模型需要大量时间和资源，因此希望构建一个小型合成数据集，我们可以通过该数据集充分训练深度学习模型。最近有一些作品通过复杂的BI级优化探索了有关凝结图像数据集的解决方案。例如，数据集冷凝（DC）匹配网络梯度W.R.T.大型数据和小合成数据，在每个外迭代处，网络权重优化了多个步骤。但是，现有方法具有其固有的局限性：（1）它们不直接适用于数据离散的图表； （2）由于所涉及的嵌套优化，冷凝过程在计算上昂贵。为了弥合差距，我们研究了针对图形数据集量身定制的有效数据集冷凝，在该数据集中我们将离散图结构模拟为概率模型。我们进一步提出了一个单步梯度匹配方案，该方案仅执行一个步骤，而无需训练网络权重。我们的理论分析表明，该策略可以生成合成图，从而导致实际图上的分类损失降低。各种图数据集的广泛实验证明了该方法的有效性和效率。特别是，我们能够将数据集大小降低90％，同时大约98％的原始性能，并且我们的方法明显快于多步梯度匹配（例如，CIFAR10中的15倍用于合成500个图）。

对比度学习是图表学习中的有效无监督方法，对比度学习的关键组成部分在于构建正和负样本。以前的方法通常利用图中节点的接近度作为原理。最近，基于数据增强的对比度学习方法已进步以显示视觉域中的强大力量，一些作品将此方法从图像扩展到图形。但是，与图像上的数据扩展不同，图上的数据扩展远不那么直观，而且很难提供高质量的对比样品，这为改进留出了很大的空间。在这项工作中，通过引入一个对抗性图视图以进行数据增强，我们提出了一种简单但有效的方法，对抗图对比度学习（ARIEL），以在合理的约束中提取信息性的对比样本。我们开发了一种称为稳定训练的信息正则化的新技术，并使用子图抽样以进行可伸缩。我们通过将每个图形实例视为超级节点，从节点级对比度学习到图级。 Ariel始终优于在现实世界数据集上的节点级别和图形级分类任务的当前图对比度学习方法。我们进一步证明，面对对抗性攻击，Ariel更加强大。

由于现实世界图形/网络数据中的广泛标签稀缺问题，因此，自我监督的图形神经网络（GNN）非常需要。曲线图对比度学习（GCL），通过训练GNN以其不同的增强形式最大化相同图表之间的表示之间的对应关系，即使在不使用标签的情况下也可以产生稳健和可转移的GNN。然而，GNN由传统的GCL培训经常冒险捕获冗余图形特征，因此可能是脆弱的，并在下游任务中提供子对比。在这里，我们提出了一种新的原理，称为普通的普通GCL（AD-GCL），其使GNN能够通过优化GCL中使用的对抗性图形增强策略来避免在训练期间捕获冗余信息。我们将AD-GCL与理论解释和设计基于可训练的边缘滴加图的实际实例化。我们通过与最先进的GCL方法进行了实验验证了AD-GCL，并在无监督，6 \％$ 14 \％$ 6 \％$ 14 \％$ 6 \％$ 6 \％$ 3 \％$ 3 \％$达到半监督总体学习设置，具有18个不同的基准数据集，用于分子属性回归和分类和社交网络分类。

Graph Neural Networks (GNNs) are powerful tools for graph representation learning. Despite their rapid development, GNNs also face some challenges, such as over-fitting, over-smoothing, and non-robustness. Previous works indicate that these problems can be alleviated by random dropping methods, which integrate augmented data into models by randomly masking parts of the input. However, some open problems of random dropping on GNNs remain to be solved. First, it is challenging to find a universal method that are suitable for all cases considering the divergence of different datasets and models. Second, augmented data introduced to GNNs causes the incomplete coverage of parameters and unstable training process. Third, there is no theoretical analysis on the effectiveness of random dropping methods on GNNs. In this paper, we propose a novel random dropping method called DropMessage, which performs dropping operations directly on the propagated messages during the message-passing process. More importantly, we find that DropMessage provides a unified framework for most existing random dropping methods, based on which we give theoretical analysis of their effectiveness. Furthermore, we elaborate the superiority of DropMessage: it stabilizes the training process by reducing sample variance; it keeps information diversity from the perspective of information theory, enabling it become a theoretical upper bound of other methods. To evaluate our proposed method, we conduct experiments that aims for multiple tasks on five public datasets and two industrial datasets with various backbone models. The experimental results show that DropMessage has the advantages of both effectiveness and generalization, and can significantly alleviate the problems mentioned above.

在本文中，我们研究了在非全粒图上进行节点表示学习的自我监督学习的问题。现有的自我监督学习方法通​​常假定该图是同质的，其中链接的节点通常属于同一类或具有相似的特征。但是，这种同质性的假设在现实图表中并不总是正确的。我们通过为图神经网络开发脱钩的自我监督学习（DSSL）框架来解决这个问题。 DSSL模仿了节点的生成过程和语义结构的潜在变量建模的链接，该过程将不同邻域之间的不同基础语义解散到自我监督的节点学习过程中。我们的DSSL框架对编码器不可知，不需要预制的增强，因此对不同的图表灵活。为了通过潜在变量有效地优化框架，我们得出了自我监督目标的较低范围的证据，并开发了具有变异推理的可扩展培训算法。我们提供理论分析，以证明DSSL享有更好的下游性能。与竞争性的自我监督学习基线相比，对各种类图基准的广泛实验表明，我们提出的框架可以显着取得更好的性能。

尽管最近在欧几里得数据（例如图像）上使用不变性原理（OOD）概括（例如图像），但有关图数据的研究仍然受到限制。与图像不同，图形的复杂性质给采用不变性原理带来了独特的挑战。特别是，图表上的分布变化可以以多种形式出现，例如属性和结构，因此很难识别不变性。此外，在欧几里得数据上通常需要的域或环境分区通常需要的图形可能非常昂贵。为了弥合这一差距，我们提出了一个新的框架，以捕获图形的不变性，以在各种分配变化下进行保证的OOD概括。具体而言，我们表征了具有因果模型的图形上的潜在分布变化，得出结论，当模型仅关注包含有关标签原因最多信息的子图时，可以实现图形上的OOD概括。因此，我们提出了一个信息理论目标，以提取最大地保留不变的阶级信息的所需子图。用这些子图学习不受分配变化的影响。对合成和现实世界数据集进行的广泛实验，包括在AI ADED药物发现中充满挑战的环境，验证了我们方法的上等OOD概括能力。

Few-shot learning (FSL), which aims to classify unseen classes with few samples, is challenging due to data scarcity. Although various generative methods have been explored for FSL, the entangled generation process of these methods exacerbates the distribution shift in FSL, thus greatly limiting the quality of generated samples. To these challenges, we propose a novel Information Bottleneck (IB) based Disentangled Generation Framework for FSL, termed as DisGenIB, that can simultaneously guarantee the discrimination and diversity of generated samples. Specifically, we formulate a novel framework with information bottleneck that applies for both disentangled representation learning and sample generation. Different from existing IB-based methods that can hardly exploit priors, we demonstrate our DisGenIB can effectively utilize priors to further facilitate disentanglement. We further prove in theory that some previous generative and disentanglement methods are special cases of our DisGenIB, which demonstrates the generality of the proposed DisGenIB. Extensive experiments on challenging FSL benchmarks confirm the effectiveness and superiority of DisGenIB, together with the validity of our theoretical analyses. Our codes will be open-source upon acceptance.

数据增强已广泛用于图像数据和语言数据，但仍然探索图形神经网络（GNN）。现有方法专注于从全局视角增强图表数据，并大大属于两个类型：具有特征噪声注入的结构操纵和对抗训练。但是，最近的图表数据增强方法忽略了GNNS“消息传递机制的本地信息的重要性。在这项工作中，我们介绍了本地增强，这通过其子图结构增强了节点表示的局部。具体而言，我们将数据增强模拟为特征生成过程。鉴于节点的功能，我们的本地增强方法了解其邻居功能的条件分布，并生成更多邻居功能，以提高下游任务的性能。基于本地增强，我们进一步设计了一个新颖的框架：La-GNN，可以以即插即用的方式应用于任何GNN模型。广泛的实验和分析表明，局部增强一致地对各种基准的各种GNN架构始终如一地产生性能改进。