近年来，图形神经网络（GNNS）在现实世界数据集上对不同应用的不同应用表现出卓越的性能。为了提高模型能力并减轻过平滑问题，提出了几种方法通过层面连接来掺入中间层。但是，由于具有高度多样化的图形类型，现有方法的性能因不同的图形而异，导致需要数据特定的层面连接方法。为了解决这个问题，我们提出了一种基于神经结构搜索（NAS）的新颖框架LLC（学习层面连接），以学习GNN中中间层之间的自适应连接。 LLC包含一个新颖的搜索空间，由3种类型的块和学习连接以及一个可分辨率搜索过程组成，以实现有效的搜索过程。对五个现实数据集进行了广泛的实验，结果表明，搜索的层面连接不仅可以提高性能，而且还可以缓解过平滑的问题。

近年来，图形神经网络（GNNS）在不同的现实应用中表现出卓越的性能。为了提高模型容量，除了设计聚合运作，GNN拓扑设计也非常重要。一般来说，有两个主流GNN拓扑设计方式。第一个是堆叠聚合操作以获得更高级别的功能，但随着网络更深的方式，易于进行性能下降。其次，在每个层中使用多聚合操作，该层在本地邻居提供足够和独立的特征提取阶段，同时获得更高级别的信息昂贵。为了享受减轻这两个方式的相应缺陷的同时享受福利，我们学会在一个新颖的特征融合透视中设计GNN的拓扑，这些融合透视中被称为F $ ^ 2 $ GNN。具体而言，我们在设计GNN拓扑中提供了一个特征融合视角，提出了一种新颖的框架，以统一现有的拓扑设计，具有特征选择和融合策略。然后，我们在统一框架之上开发一个神经结构搜索方法，该方法包含在搜索空间中的一组选择和融合操作以及改进的可微分搜索算法。八个现实数据集的性能增益展示了F $ ^ 2 $ GNN的有效性。我们进一步开展实验，以证明F $ ^ 2 $ GNN可以通过自适应使用不同程度的特征来缓解现有GNN拓扑设计方式的缺陷，同时提高模型容量，同时减轻了现有的GNN拓扑设计方式的缺陷，特别是缓解过平滑问题。

针对OGB图分类任务中的两个分子图数据集和一个蛋白质关联子图数据集，我们通过引入PAS（池架构搜索）设计一个图形神经网络框架，用于图形分类任务。同时，我们根据GNN拓扑设计方法F2GNN进行改进GNN培训。最后，在这三个数据集上实现了性能突破，这比具有固定聚合功能的其他方法要好得多。事实证明，NAS方法具有多个任务的高概括能力以及我们在处理图形属性预测任务方面的优势。

图形神经网络（GNN）已被密切应用于各种基于图的应用程序。尽管他们成功了，但手动设计行为良好的GNN需要巨大的人类专业知识。因此，发现潜在的最佳数据特异性GNN体系结构效率低下。本文提出了DFG-NAS，这是一种新的神经体系结构搜索（NAS）方法，可自动搜索非常深入且灵活的GNN体系结构。与大多数专注于微构造的方法不同，DFG-NAS突出了另一个设计级别：搜索有关原子传播的宏观构造（\ TextBf {\ Textbf {\ Texttt {p}}}）和转换（\ texttt {\ textttt {\ texttt {\ texttt {\ texttt { T}}）的操作被整合并组织到GNN中。为此，DFG-NAS为\ textbf {\ texttt {p-t}}}的排列和组合提出了一个新颖的搜索空间，该搜索空间是基于消息传播的散布，定义了四个自定义设计的宏观架构突变，并采用了进化性algorithm to to the Evolutionary algorithm进行有效的搜索。关于四个节点分类任务的实证研究表明，DFG-NAS优于最先进的手动设计和GNN的NAS方法。

当前的图形神经网络（GNNS）遇到了过度光滑的问题，这导致无法区分的节点表示和较低的模型性能，并具有更多的GNN层。近年来已经提出了许多方法来解决这个问题。但是，现有的解决过度平滑的方法强调模型性能并忽略节点表示的过度平滑度。一次采用另外一种方法，同时缺乏整体框架​​来共同利用多个解决方案来解决过度光滑的挑战。为了解决这些问题，我们提出了Grato，这是一个基于神经体系结构搜索的框架，以自动搜索GNNS体系结构。 Grato采用新颖的损失功能，以促进模型性能和表示平滑度之间的平衡。除了现有方法外，我们的搜索空间还包括DropAttribute，这是一种减轻过度光滑挑战的新计划，以充分利用各种解决方案。我们在六个现实世界数据集上进行了广泛的实验，以评估Grato，这表明Grato在过度平滑的指标中的表现优于基准，并在准确性方面取得了竞争性能。 Grato在GNN层数量增加的情况下特别有效且健壮。进一步的实验确定了通过grato学习的节点表示的质量和模型架构的有效性。我们在Github（\ url {https://github.com/fxsxjtu/grato}）上提供Grato的CIDE。

最近，图形神经网络（GNNS）在各种现实情景中获得了普及。尽管取得了巨大成功，但GNN的建筑设计严重依赖于体力劳动。因此，自动化图形神经网络（Autopmn）引起了研究界的兴趣和关注，近年来显着改善。然而，现有的autopnn工作主要采用隐式方式来模拟并利用图中的链接信息，这对图中的链路预测任务不充分规范化，并限制了自动启动的其他图表任务。在本文中，我们介绍了一个新的Autognn工作，该工作明确地模拟了缩写为autogel的链接信息。以这种方式，AutoGel可以处理链路预测任务并提高Autognns对节点分类和图形分类任务的性能。具体地，AutoGel提出了一种新的搜索空间，包括层内和层间设计中的各种设计尺寸，并采用更强大的可分辨率搜索算法，以进一步提高效率和有效性。基准数据集的实验结果展示了自动池上的优势在几个任务中。

Graph神经体系结构搜索（Graphnas）最近引起了学术界和工业的关注。但是，两个主要挑战严重阻碍了对石墨的进一步研究。首先，由于实验环境没有共识，因此不同研究论文中的经验结果通常是不可比服的，甚至不可再现，从而导致不公平的比较。其次，石墨通常需要进行广泛的计算，这使得研究人员无法访问大规模计算，这使其高效且无法访问。为了解决这些挑战，我们提出了NAS Bench-Graph，这是一种量身定制的基准测试，该基准支持统一，可重现和有效的Gragennas评估。具体而言，我们构建了一个统一，表现力但紧凑的搜索空间，涵盖26,206个独特的图形神经网络（GNN）体系结构，并提出了原则评估协议。为了避免不必要的重复培训，我们已经在九个代表性的图形数据集上培训和评估了所有这些架构，记录了详细的指标，包括火车，验证和测试性能，每个时期，延迟，参数数量等。基准测试，可以通过查找表直接获得GNN体系结构的性能，而无需任何进一步的计算，这可以实现公平，完全可重现和有效的比较。为了证明其使用情况，我们对我们提出的NAS基础图表进行了深入的分析，从而揭示了一些有关Graphnas的有趣发现。我们还展示了如何轻松地与诸如autogl和nni之类的诸如AutoGL和NNI之类的Graphnas开放库兼容。据我们所知，我们的工作是图形神经架构搜索的第一个基准。

学术界和工业广泛研究了图形机器学习。然而，作为图表学习繁荣的文献，具有大量的新兴方法和技术，它越来越难以手动设计用于不同的图形相关任务的最佳机器学习算法。为了解决挑战，自动化图形机器学习，目的是在没有手动设计的不同图表任务/数据中发现最好的图形任务/数据的最佳超参数和神经架构配置，正在增加研究界的越来越多的关注。在本文中，我们广泛地讨论了自动化图形机方法，涵盖了用于图形机学习的超参数优化（HPO）和神经架构搜索（NAS）。我们简要概述了专为Traph Machine学习或自动化机器学习而设计的现有库，进一步深入介绍AutoGL，我们的专用和世界上第一个用于自动图形机器学习的开放源库。最后但并非最不重要的是，我们分享了对自动图形机学习的未来研究方向的见解。本文是对自动图形机学习的方法，图书馆以及方向的第一个系统和全面讨论。

学术和工业中，在图表上进行了广泛的研究。然而，作为图表学习繁荣的文献，具有大量的新兴方法和技术，它越来越难以手动设计用于不同的图形相关任务的最佳机器学习算法。为解决这一关键挑战，将图形机器学习和自动化强度相结合的图形上的自动化机器学习（Automl）正在研究研究界的关注。因此，我们在本文中全面调查了Automl，主要关注用于图形机学习的超参数优化（HPO）和神经结构搜索（NAS）。我们进一步概述了与自动图形机器学习和深入讨论AutoGL相关的库，这是图形上的Automl的第一个专用开源库。最终，我们分享了对自动图机学习的未来研究方向的见解。本文是对我们所知的最佳自动化机器学习的第一个系统和全面审查。

Recent works have impressively demonstrated that there exists a subnetwork in randomly initialized convolutional neural networks (CNNs) that can match the performance of the fully trained dense networks at initialization, without any optimization of the weights of the network (i.e., untrained networks). However, the presence of such untrained subnetworks in graph neural networks (GNNs) still remains mysterious. In this paper we carry out the first-of-its-kind exploration of discovering matching untrained GNNs. With sparsity as the core tool, we can find \textit{untrained sparse subnetworks} at the initialization, that can match the performance of \textit{fully trained dense} GNNs. Besides this already encouraging finding of comparable performance, we show that the found untrained subnetworks can substantially mitigate the GNN over-smoothing problem, hence becoming a powerful tool to enable deeper GNNs without bells and whistles. We also observe that such sparse untrained subnetworks have appealing performance in out-of-distribution detection and robustness of input perturbations. We evaluate our method across widely-used GNN architectures on various popular datasets including the Open Graph Benchmark (OGB).

图表可以模拟实体之间的复杂交互，它在许多重要的应用程序中自然出现。这些应用程序通常可以投入到标准图形学习任务中，其中关键步骤是学习低维图表示。图形神经网络（GNN）目前是嵌入方法中最受欢迎的模型。然而，邻域聚合范例中的标准GNN患有区分\ EMPH {高阶}图形结构的有限辨别力，而不是\ EMPH {低位}结构。为了捕获高阶结构，研究人员求助于主题和开发的基于主题的GNN。然而，现有的基于主基的GNN仍然仍然遭受较少的辨别力的高阶结构。为了克服上述局限性，我们提出了一个新颖的框架，以更好地捕获高阶结构的新框架，铰接于我们所提出的主题冗余最小化操作员和注射主题组合的新颖框架。首先，MGNN生成一组节点表示W.R.T.每个主题。下一阶段是我们在图案中提出的冗余最小化，该主题在彼此相互比较并蒸馏出每个主题的特征。最后，MGNN通过组合来自不同图案的多个表示来执行节点表示的更新。特别地，为了增强鉴别的功率，MGNN利用重新注射功能来组合表示的函数w.r.t.不同的主题。我们进一步表明，我们的拟议体系结构增加了GNN的表现力，具有理论分析。我们展示了MGNN在节点分类和图形分类任务上的七个公共基准上表现出最先进的方法。

图形神经网络已成为从图形结构数据学习的不可缺少的工具之一，并且它们的实用性已在各种各样的任务中显示。近年来，建筑设计的巨大改进，导致各种预测任务的性能更好。通常，这些神经架构在同一层中使用可知的权重矩阵组合节点特征聚合和特征转换。这使得分析从各种跳过的节点特征和神经网络层的富有效力来挑战。由于不同的图形数据集显示在特征和类标签分布中的不同级别和异常级别，因此必须了解哪些特征对于没有任何先前信息的预测任务是重要的。在这项工作中，我们将节点特征聚合步骤和深度与图形神经网络分离，并经验分析了不同的聚合特征在预测性能中发挥作用。我们表明，并非通过聚合步骤生成的所有功能都很有用，并且通常使用这些较少的信息特征可能对GNN模型的性能有害。通过我们的实验，我们表明学习这些功能的某些子集可能会导致各种数据集的性能更好。我们建议使用Softmax作为常规器，并从不同跳距的邻居聚合的功能的“软选择器”;和L2 - GNN层的标准化。结合这些技术，我们呈现了一个简单浅的模型，特征选择图神经网络（FSGNN），并经验展示所提出的模型比九个基准数据集中的最先进的GNN模型实现了可比或甚至更高的准确性节点分类任务，具有显着的改进，可达51.1％。

图表神经架构搜索已在最近成功应用于非欧几里德数据上成功应用的图形神经网络（GNNS）得到了很多关注。但是，探索庞大的搜索空间中的所有可能的GNN架构都太耗时或无法对大图数据进行耗时或不可能。在本文中，我们提出了一个平行的图形架构搜索（GraphPas）图形神经网络的框架。在GraphPas中，我们通过设计基于共享的演进学习来探索搜索空间，可以在不失去准确性的情况下提高搜索效率。此外，架构信息熵是动态采用的突变选择概率，这可以减少空间探索。实验结果表明，GraphPas以效率和准确性同时占据了最先进的模型。

图形神经网络（GNNS）已经变得越来越流行，并且在许多基于图形的应用程序中实现了令人印象深刻的结果。但是，需要广泛的手动工作和域知识来设计有效的架构，GNN模型的结果具有高差异，与不同的培训设置相比，限制了现有GNN模型的应用。在本文中，我们展示了AutoHensgnn，这是一个框架，用于为图表任务构建有效和强大的模型而没有任何人为干预。 Autohensgnn在kdd杯2020年签名挑战中赢得了第一名，并在最终阶段实现了五个现实生活数据集的最佳等级分数。鉴于任务，AutoHensgnn首先应用一个快速的代理评估，以自动选择有希望的GNN模型的池。然后它构建了一个分层合奏框架：1）我们提出图形自我合奏（GSE），这可以减少重量初始化的方差，有效利用本地和全球街区的信息; 2）基于GSE，使用不同类型的GNN模型的加权集合来有效地学习更多辨别节点表示。为了有效地搜索体系结构和合奏权重，我们提出了AutoHensgnn $ _ {\ text {梯度}} $，它将架构和集合权重视为架构参数，并使用基于梯度的架构搜索来获得最佳配置，而autohensgnn $ {autohensgnn $ { \文本{Adaptive}} $，可以根据模型精度自适应地调整集合重量。关于节点分类的广泛实验，图形分类，边缘预测和KDD杯挑战表明了Autohensgnn的有效性和一般性

Neural architectures can be naturally viewed as computational graphs. Motivated by this perspective, we, in this paper, study neural architecture search (NAS) through the lens of learning random graph models. In contrast to existing NAS methods which largely focus on searching for a single best architecture, i.e, point estimation, we propose GraphPNAS a deep graph generative model that learns a distribution of well-performing architectures. Relying on graph neural networks (GNNs), our GraphPNAS can better capture topologies of good neural architectures and relations between operators therein. Moreover, our graph generator leads to a learnable probabilistic search method that is more flexible and efficient than the commonly used RNN generator and random search methods. Finally, we learn our generator via an efficient reinforcement learning formulation for NAS. To assess the effectiveness of our GraphPNAS, we conduct extensive experiments on three search spaces, including the challenging RandWire on TinyImageNet, ENAS on CIFAR10, and NAS-Bench-101/201. The complexity of RandWire is significantly larger than other search spaces in the literature. We show that our proposed graph generator consistently outperforms RNN-based one and achieves better or comparable performances than state-of-the-art NAS methods.

我们提出了一个框架，该框架会自动将不可缩放的GNN转换为基于预典型的GNN，该GNN对于大型图表有效且可扩展。我们框架的优势是两倍。1）它通过将局部特征聚合与其图形卷积中的重量学习分开，2）通过将其边缘分解为小型图形，将其有效地在GPU上进行了预先执行，将各种局部特征聚合与重量学习分开，将各种局部特征聚合从重量学习中分离出来，从而使各种不可估计的GNN转换为大规模图表。和平衡的集合。通过大规模图的广泛实验，我们证明了转化的GNN在训练时间内的运行速度比现有的GNN更快，同时实现了最先进的GNN的竞争精度。因此，我们的转型框架为可伸缩GNN的未来研究提供了简单有效的基础。

消息传递已作为设计图形神经网络（GNN）的有效工具的发展。但是，消息传递的大多数现有方法简单地简单或平均所有相邻的功能更新节点表示。它们受到两个问题的限制，即（i）缺乏可解释性来识别对GNN的预测重要的节点特征，以及（ii）特征过度混合，导致捕获长期依赖和无能为力的过度平滑问题在异质或低同质的下方处理图。在本文中，我们提出了一个节点级胶囊图神经网络（NCGNN），以通过改进的消息传递方案来解决这些问题。具体而言，NCGNN表示节点为节点级胶囊组，其中每个胶囊都提取其相应节点的独特特征。对于每个节点级胶囊，开发了一个新颖的动态路由过程，以适应适当的胶囊，以从设计的图形滤波器确定的子图中聚集。 NCGNN聚集仅有利的胶囊并限制无关的消息，以避免交互节点的过度混合特征。因此，它可以缓解过度平滑的问题，并通过同粒或异质的图表学习有效的节点表示。此外，我们提出的消息传递方案本质上是可解释的，并免于复杂的事后解释，因为图形过滤器和动态路由过程确定了节点特征的子集，这对于从提取的子分类中的模型预测最为重要。关于合成和现实图形的广泛实验表明，NCGNN可以很好地解决过度光滑的问题，并为半监视的节点分类产生更好的节点表示。它的表现优于同质和异质的艺术状态。

图形神经网络（GNN）在各种图挖掘任务中取得了巨大的成功。但是，当GNN堆叠着许多层时，总是观察到急剧性能降解。结果，大多数GNN仅具有浅层建筑，这限制了它们的表现力和对深社区的开发。最近的研究将深度GNN的性能降低归因于\ textit {过度平滑}的问题。在本文中，我们将传统的图形卷积操作分为两个独立操作：\ textit {passagation}（\ textbf {p}）和\ textit {transformation}（\ textbf {t}）。可以分为传播深度（$ d_p $）和转换深度（$ d_t $）。通过广泛的实验，我们发现深度GNNS性能下降的主要原因是\ textit {model dygradation}问题是由大$ d_t $而不是\ textit {过度平滑}问题引起的，主要是由大$ d_p $引起的。 。此外，我们提出\ textIt {自适应初始残留}（air），一个与各种GNN架构兼容的插件模块，以减轻\ textit {model {model dradation degradation}问题和\ textit {textit {过度敏感}问题同时。六个现实世界数据集的实验结果表明，配备空气的GNN胜过大多数具有浅层建筑的GNN，这是由于大型$ d_p $和$ d_t $的好处，而与空气相关的时间成本则可以忽略。

由于图神经网络（GNN）的成功和异质信息网络的广泛应用，近年来，异质图学习近年来引起了极大的关注。已经提出了各种异质图神经网络，以概括GNN来处理异质图。不幸的是，这些方法通过各种复杂的模块对异质性进行建模。本文旨在提出一个简单而有效的框架，以使均质GNN具有足够的处理异质图的能力。具体而言，我们提出了基于关系嵌入的图形神经网络（RE-GNNS），该图形仅使用一个参数来嵌入边缘类型关系和自动连接的重要性。为了同时优化这些关系嵌入和其他参数，提出了一个梯度缩放因子来约束嵌入以收敛到合适的值。此外，我们从理论上证明，与基于元路径的异质GNN相比，我们的RE-GNN具有更高的表现力。关于节点分类任务的广泛实验验证了我们提出的方法的有效性。

图形神经网络（GNN）是用于建模图数据的流行机器学习方法。许多GNN在同质图上表现良好，同时在异质图上表现不佳。最近，一些研究人员将注意力转移到设计GNN，以通过调整消息传递机制或扩大消息传递的接收场来设计GNN。与从模型设计的角度来减轻异性疾病问题的现有作品不同，我们建议通过重新布线结构来从正交角度研究异质图，以减少异质性并使传统GNN的表现更好。通过全面的经验研究和分析，我们验证了重新布线方法的潜力。为了充分利用其潜力，我们提出了一种名为Deep Hertophilly Graph Rewiring（DHGR）的方法，以通过添加同粒子边缘和修剪异质边缘来重新线图。通过比较节点邻居的标签/特征 - 分布的相似性来确定重新布线的详细方法。此外，我们为DHGR设计了可扩展的实现，以确保高效率。 DHRG可以轻松地用作任何GNN的插件模块，即图形预处理步骤，包括同型和异性的GNN，以提高其在节点分类任务上的性能。据我们所知，这是研究图形的第一部重新绘图图形的作品。在11个公共图数据集上进行的广泛实验证明了我们提出的方法的优势。