图形神经网络（GNNS）已经变得越来越流行，并且在许多基于图形的应用程序中实现了令人印象深刻的结果。但是，需要广泛的手动工作和域知识来设计有效的架构，GNN模型的结果具有高差异，与不同的培训设置相比，限制了现有GNN模型的应用。在本文中，我们展示了AutoHensgnn，这是一个框架，用于为图表任务构建有效和强大的模型而没有任何人为干预。 Autohensgnn在kdd杯2020年签名挑战中赢得了第一名，并在最终阶段实现了五个现实生活数据集的最佳等级分数。鉴于任务，AutoHensgnn首先应用一个快速的代理评估，以自动选择有希望的GNN模型的池。然后它构建了一个分层合奏框架：1）我们提出图形自我合奏（GSE），这可以减少重量初始化的方差，有效利用本地和全球街区的信息; 2）基于GSE，使用不同类型的GNN模型的加权集合来有效地学习更多辨别节点表示。为了有效地搜索体系结构和合奏权重，我们提出了AutoHensgnn $ _ {\ text {梯度}} $，它将架构和集合权重视为架构参数，并使用基于梯度的架构搜索来获得最佳配置，而autohensgnn $ {autohensgnn $ { \文本{Adaptive}} $，可以根据模型精度自适应地调整集合重量。关于节点分类的广泛实验，图形分类，边缘预测和KDD杯挑战表明了Autohensgnn的有效性和一般性

学术界和工业广泛研究了图形机器学习。然而，作为图表学习繁荣的文献，具有大量的新兴方法和技术，它越来越难以手动设计用于不同的图形相关任务的最佳机器学习算法。为了解决挑战，自动化图形机器学习，目的是在没有手动设计的不同图表任务/数据中发现最好的图形任务/数据的最佳超参数和神经架构配置，正在增加研究界的越来越多的关注。在本文中，我们广泛地讨论了自动化图形机方法，涵盖了用于图形机学习的超参数优化（HPO）和神经架构搜索（NAS）。我们简要概述了专为Traph Machine学习或自动化机器学习而设计的现有库，进一步深入介绍AutoGL，我们的专用和世界上第一个用于自动图形机器学习的开放源库。最后但并非最不重要的是，我们分享了对自动图形机学习的未来研究方向的见解。本文是对自动图形机学习的方法，图书馆以及方向的第一个系统和全面讨论。

图形神经网络（GNN）已被密切应用于各种基于图的应用程序。尽管他们成功了，但手动设计行为良好的GNN需要巨大的人类专业知识。因此，发现潜在的最佳数据特异性GNN体系结构效率低下。本文提出了DFG-NAS，这是一种新的神经体系结构搜索（NAS）方法，可自动搜索非常深入且灵活的GNN体系结构。与大多数专注于微构造的方法不同，DFG-NAS突出了另一个设计级别：搜索有关原子传播的宏观构造（\ TextBf {\ Textbf {\ Texttt {p}}}）和转换（\ texttt {\ textttt {\ texttt {\ texttt {\ texttt { T}}）的操作被整合并组织到GNN中。为此，DFG-NAS为\ textbf {\ texttt {p-t}}}的排列和组合提出了一个新颖的搜索空间，该搜索空间是基于消息传播的散布，定义了四个自定义设计的宏观架构突变，并采用了进化性algorithm to to the Evolutionary algorithm进行有效的搜索。关于四个节点分类任务的实证研究表明，DFG-NAS优于最先进的手动设计和GNN的NAS方法。

最近，图形神经网络（GNNS）在各种现实情景中获得了普及。尽管取得了巨大成功，但GNN的建筑设计严重依赖于体力劳动。因此，自动化图形神经网络（Autopmn）引起了研究界的兴趣和关注，近年来显着改善。然而，现有的autopnn工作主要采用隐式方式来模拟并利用图中的链接信息，这对图中的链路预测任务不充分规范化，并限制了自动启动的其他图表任务。在本文中，我们介绍了一个新的Autognn工作，该工作明确地模拟了缩写为autogel的链接信息。以这种方式，AutoGel可以处理链路预测任务并提高Autognns对节点分类和图形分类任务的性能。具体地，AutoGel提出了一种新的搜索空间，包括层内和层间设计中的各种设计尺寸，并采用更强大的可分辨率搜索算法，以进一步提高效率和有效性。基准数据集的实验结果展示了自动池上的优势在几个任务中。

Sensors in cyber-physical systems often capture interconnected processes and thus emit correlated time series (CTS), the forecasting of which enables important applications. The key to successful CTS forecasting is to uncover the temporal dynamics of time series and the spatial correlations among time series. Deep learning-based solutions exhibit impressive performance at discerning these aspects. In particular, automated CTS forecasting, where the design of an optimal deep learning architecture is automated, enables forecasting accuracy that surpasses what has been achieved by manual approaches. However, automated CTS solutions remain in their infancy and are only able to find optimal architectures for predefined hyperparameters and scale poorly to large-scale CTS. To overcome these limitations, we propose SEARCH, a joint, scalable framework, to automatically devise effective CTS forecasting models. Specifically, we encode each candidate architecture and accompanying hyperparameters into a joint graph representation. We introduce an efficient Architecture-Hyperparameter Comparator (AHC) to rank all architecture-hyperparameter pairs, and we then further evaluate the top-ranked pairs to select a final result. Extensive experiments on six benchmark datasets demonstrate that SEARCH not only eliminates manual efforts but also is capable of better performance than manually designed and existing automatically designed CTS models. In addition, it shows excellent scalability to large CTS.

图形神经网络（GNNS）由于图形数据的规模和模型参数的数量呈指数增长，因此限制了它们在实际应用中的效用，因此往往会遭受高计算成本。为此，最近的一些作品着重于用彩票假设（LTH）稀疏GNN，以降低推理成本，同时保持绩效水平。但是，基于LTH的方法具有两个主要缺点：1）它们需要对密集模型进行详尽且迭代的训练，从而产生了极大的训练计算成本，2）它们仅修剪图形结构和模型参数，但忽略了节点功能维度，存在大量冗余。为了克服上述局限性，我们提出了一个综合的图形渐进修剪框架，称为CGP。这是通过在一个训练过程中设计在训练图周期修剪范式上进行动态修剪GNN来实现的。与基于LTH的方法不同，提出的CGP方法不需要重新训练，这大大降低了计算成本。此外，我们设计了一个共同策略，以全面地修剪GNN的所有三个核心元素：图形结构，节点特征和模型参数。同时，旨在完善修剪操作，我们将重生过程引入我们的CGP框架，以重新建立修剪但重要的连接。提出的CGP通过在6个GNN体系结构中使用节点分类任务进行评估，包括浅层模型（GCN和GAT），浅但深度散发模型（SGC和APPNP）以及Deep Models（GCNII和RESGCN），总共有14个真实图形数据集，包括来自挑战性开放图基准的大规模图数据集。实验表明，我们提出的策略在匹配时大大提高了训练和推理效率，甚至超过了现有方法的准确性。

图表可以模拟实体之间的复杂交互，它在许多重要的应用程序中自然出现。这些应用程序通常可以投入到标准图形学习任务中，其中关键步骤是学习低维图表示。图形神经网络（GNN）目前是嵌入方法中最受欢迎的模型。然而，邻域聚合范例中的标准GNN患有区分\ EMPH {高阶}图形结构的有限辨别力，而不是\ EMPH {低位}结构。为了捕获高阶结构，研究人员求助于主题和开发的基于主题的GNN。然而，现有的基于主基的GNN仍然仍然遭受较少的辨别力的高阶结构。为了克服上述局限性，我们提出了一个新颖的框架，以更好地捕获高阶结构的新框架，铰接于我们所提出的主题冗余最小化操作员和注射主题组合的新颖框架。首先，MGNN生成一组节点表示W.R.T.每个主题。下一阶段是我们在图案中提出的冗余最小化，该主题在彼此相互比较并蒸馏出每个主题的特征。最后，MGNN通过组合来自不同图案的多个表示来执行节点表示的更新。特别地，为了增强鉴别的功率，MGNN利用重新注射功能来组合表示的函数w.r.t.不同的主题。我们进一步表明，我们的拟议体系结构增加了GNN的表现力，具有理论分析。我们展示了MGNN在节点分类和图形分类任务上的七个公共基准上表现出最先进的方法。

灵感来自深度学习的广泛成功，已经提出了图表神经网络（GNNS）来学习表达节点表示，并在各种图形学习任务中表现出有希望的性能。然而，现有的努力主要集中在提供相对丰富的金色标记节点的传统半监督设置。虽然数据标签是难以忍受的事实令人生畏的事实并且需要强化领域知识，但特别是在考虑图形结构数据的异质性时，它通常是不切实际的。在几次半监督的环境下，大多数现有GNN的性能不可避免地受到过度装备和过天际问题的破坏，在很大程度上由于标记数据的短缺。在本文中，我们提出了一种配备有新型元学习算法的解耦的网络架构来解决这个问题。从本质上讲，我们的框架META-PN通过META学习的标签传播策略在未标记节点上乘坐高质量的伪标签，这有效增强了稀缺标记的数据，同时在培训期间启用大型接受领域。广泛的实验表明，与各种基准数据集上的现有技术相比，我们的方法提供了简单且实质性的性能。

Graph neural networks (GNNs) have received remarkable success in link prediction (GNNLP) tasks. Existing efforts first predefine the subgraph for the whole dataset and then apply GNNs to encode edge representations by leveraging the neighborhood structure induced by the fixed subgraph. The prominence of GNNLP methods significantly relies on the adhoc subgraph. Since node connectivity in real-world graphs is complex, one shared subgraph is limited for all edges. Thus, the choices of subgraphs should be personalized to different edges. However, performing personalized subgraph selection is nontrivial since the potential selection space grows exponentially to the scale of edges. Besides, the inference edges are not available during training in link prediction scenarios, so the selection process needs to be inductive. To bridge the gap, we introduce a Personalized Subgraph Selector (PS2) as a plug-and-play framework to automatically, personally, and inductively identify optimal subgraphs for different edges when performing GNNLP. PS2 is instantiated as a bi-level optimization problem that can be efficiently solved differently. Coupling GNNLP models with PS2, we suggest a brand-new angle towards GNNLP training: by first identifying the optimal subgraphs for edges; and then focusing on training the inference model by using the sampled subgraphs. Comprehensive experiments endorse the effectiveness of our proposed method across various GNNLP backbones (GCN, GraphSage, NGCF, LightGCN, and SEAL) and diverse benchmarks (Planetoid, OGB, and Recommendation datasets). Our code is publicly available at \url{https://github.com/qiaoyu-tan/PS2}

异质图卷积网络在解决异质网络数据的各种网络分析任务方面已广受欢迎，从链接预测到节点分类。但是，大多数现有作品都忽略了多型节点之间的多重网络的关系异质性，而在元路径中，元素嵌入中关系的重要性不同，这几乎无法捕获不同关系跨不同关系的异质结构信号。为了应对这一挑战，这项工作提出了用于异质网络嵌入的多重异质图卷积网络（MHGCN）。我们的MHGCN可以通过多层卷积聚合自动学习多重异质网络中不同长度的有用的异质元路径相互作用。此外，我们有效地将多相关结构信号和属性语义集成到学习的节点嵌入中，并具有无监督和精选的学习范式。在具有各种网络分析任务的五个现实世界数据集上进行的广泛实验表明，根据所有评估指标，MHGCN与最先进的嵌入基线的优势。

社交机器人被称为社交网络上的自动帐户，这些帐户试图像人类一样行事。尽管图形神经网络（GNNS）已大量应用于社会机器人检测领域，但大量的领域专业知识和先验知识大量参与了最先进的方法，以设计专门的神经网络体系结构，以设计特定的神经网络体系结构。分类任务。但是，在模型设计中涉及超大的节点和网络层，通常会导致过度平滑的问题和缺乏嵌入歧视。在本文中，我们提出了罗斯加斯（Rosgas），这是一种新颖的加强和自我监督的GNN Architecture搜索框架，以适应性地指出了最合适的多跳跃社区和GNN体系结构中的层数。更具体地说，我们将社交机器人检测问题视为以用户为中心的子图嵌入和分类任务。我们利用异构信息网络来通过利用帐户元数据，关系，行为特征和内容功能来展示用户连接。 Rosgas使用多代理的深钢筋学习（RL）机制来导航最佳邻域和网络层的搜索，以分别学习每个目标用户的子图嵌入。开发了一种用于加速RL训练过程的最接近的邻居机制，Rosgas可以借助自我监督的学习来学习更多的判别子图。 5个Twitter数据集的实验表明，Rosgas在准确性，训练效率和稳定性方面优于最先进的方法，并且在处理看不见的样本时具有更好的概括。

图形神经网络（GNN）是用于建模图数据的流行机器学习方法。许多GNN在同质图上表现良好，同时在异质图上表现不佳。最近，一些研究人员将注意力转移到设计GNN，以通过调整消息传递机制或扩大消息传递的接收场来设计GNN。与从模型设计的角度来减轻异性疾病问题的现有作品不同，我们建议通过重新布线结构来从正交角度研究异质图，以减少异质性并使传统GNN的表现更好。通过全面的经验研究和分析，我们验证了重新布线方法的潜力。为了充分利用其潜力，我们提出了一种名为Deep Hertophilly Graph Rewiring（DHGR）的方法，以通过添加同粒子边缘和修剪异质边缘来重新线图。通过比较节点邻居的标签/特征 - 分布的相似性来确定重新布线的详细方法。此外，我们为DHGR设计了可扩展的实现，以确保高效率。 DHRG可以轻松地用作任何GNN的插件模块，即图形预处理步骤，包括同型和异性的GNN，以提高其在节点分类任务上的性能。据我们所知，这是研究图形的第一部重新绘图图形的作品。在11个公共图数据集上进行的广泛实验证明了我们提出的方法的优势。

近年来，图形神经网络（GNNS）在不同的现实应用中表现出卓越的性能。为了提高模型容量，除了设计聚合运作，GNN拓扑设计也非常重要。一般来说，有两个主流GNN拓扑设计方式。第一个是堆叠聚合操作以获得更高级别的功能，但随着网络更深的方式，易于进行性能下降。其次，在每个层中使用多聚合操作，该层在本地邻居提供足够和独立的特征提取阶段，同时获得更高级别的信息昂贵。为了享受减轻这两个方式的相应缺陷的同时享受福利，我们学会在一个新颖的特征融合透视中设计GNN的拓扑，这些融合透视中被称为F $ ^ 2 $ GNN。具体而言，我们在设计GNN拓扑中提供了一个特征融合视角，提出了一种新颖的框架，以统一现有的拓扑设计，具有特征选择和融合策略。然后，我们在统一框架之上开发一个神经结构搜索方法，该方法包含在搜索空间中的一组选择和融合操作以及改进的可微分搜索算法。八个现实数据集的性能增益展示了F $ ^ 2 $ GNN的有效性。我们进一步开展实验，以证明F $ ^ 2 $ GNN可以通过自适应使用不同程度的特征来缓解现有GNN拓扑设计方式的缺陷，同时提高模型容量，同时减轻了现有的GNN拓扑设计方式的缺陷，特别是缓解过平滑问题。

当前的图形神经网络（GNNS）遇到了过度光滑的问题，这导致无法区分的节点表示和较低的模型性能，并具有更多的GNN层。近年来已经提出了许多方法来解决这个问题。但是，现有的解决过度平滑的方法强调模型性能并忽略节点表示的过度平滑度。一次采用另外一种方法，同时缺乏整体框架​​来共同利用多个解决方案来解决过度光滑的挑战。为了解决这些问题，我们提出了Grato，这是一个基于神经体系结构搜索的框架，以自动搜索GNNS体系结构。 Grato采用新颖的损失功能，以促进模型性能和表示平滑度之间的平衡。除了现有方法外，我们的搜索空间还包括DropAttribute，这是一种减轻过度光滑挑战的新计划，以充分利用各种解决方案。我们在六个现实世界数据集上进行了广泛的实验，以评估Grato，这表明Grato在过度平滑的指标中的表现优于基准，并在准确性方面取得了竞争性能。 Grato在GNN层数量增加的情况下特别有效且健壮。进一步的实验确定了通过grato学习的节点表示的质量和模型架构的有效性。我们在Github（\ url {https://github.com/fxsxjtu/grato}）上提供Grato的CIDE。

学术和工业中，在图表上进行了广泛的研究。然而，作为图表学习繁荣的文献，具有大量的新兴方法和技术，它越来越难以手动设计用于不同的图形相关任务的最佳机器学习算法。为解决这一关键挑战，将图形机器学习和自动化强度相结合的图形上的自动化机器学习（Automl）正在研究研究界的关注。因此，我们在本文中全面调查了Automl，主要关注用于图形机学习的超参数优化（HPO）和神经结构搜索（NAS）。我们进一步概述了与自动图形机器学习和深入讨论AutoGL相关的库，这是图形上的Automl的第一个专用开源库。最终，我们分享了对自动图机学习的未来研究方向的见解。本文是对我们所知的最佳自动化机器学习的第一个系统和全面审查。

图表分类是一种非常有影响力的任务，在多数世界应用中起着至关重要的作用，例如分子性质预测和蛋白质函数预测。以有限标记的图表处理新课程，几次拍摄图形分类已成为一座桥梁现有图分类解决方案与实际使用。这项工作探讨了基于度量的元学习的潜力，用于解决少量图形分类。我们突出了考虑解决方案结构特征的重要性，并提出了一种明确考虑全球结构的新框架和输入图的局部结构。在两个数据集，Chembl和三角形上测试了名为SMF-GIN的GIN的实施，其中广泛的实验验证了所提出的方法的有效性。 ChemBl构造成填补缺乏几次拍摄图形分类评估的大规模基准的差距，与SMF-GIN的实施一起释放：https://github.com/jiangshunyu/smf-ing。

图表表示学习是一种快速增长的领域，其中一个主要目标是在低维空间中产生有意义的图形表示。已经成功地应用了学习的嵌入式来执行各种预测任务，例如链路预测，节点分类，群集和可视化。图表社区的集体努力提供了数百种方法，但在所有评估指标下没有单一方法擅长，例如预测准确性，运行时间，可扩展性等。该调查旨在通过考虑算法来评估嵌入方法的所有主要类别的图表变体，参数选择，可伸缩性，硬件和软件平台，下游ML任务和多样化数据集。我们使用包含手动特征工程，矩阵分解，浅神经网络和深图卷积网络的分类法组织了图形嵌入技术。我们使用广泛使用的基准图表评估了节点分类，链路预测，群集和可视化任务的这些类别算法。我们在Pytorch几何和DGL库上设计了我们的实验，并在不同的多核CPU和GPU平台上运行实验。我们严格地审查了各种性能指标下嵌入方法的性能，并总结了结果。因此，本文可以作为比较指南，以帮助用户选择最适合其任务的方法。

图形神经网络已成为从图形结构数据学习的不可缺少的工具之一，并且它们的实用性已在各种各样的任务中显示。近年来，建筑设计的巨大改进，导致各种预测任务的性能更好。通常，这些神经架构在同一层中使用可知的权重矩阵组合节点特征聚合和特征转换。这使得分析从各种跳过的节点特征和神经网络层的富有效力来挑战。由于不同的图形数据集显示在特征和类标签分布中的不同级别和异常级别，因此必须了解哪些特征对于没有任何先前信息的预测任务是重要的。在这项工作中，我们将节点特征聚合步骤和深度与图形神经网络分离，并经验分析了不同的聚合特征在预测性能中发挥作用。我们表明，并非通过聚合步骤生成的所有功能都很有用，并且通常使用这些较少的信息特征可能对GNN模型的性能有害。通过我们的实验，我们表明学习这些功能的某些子集可能会导致各种数据集的性能更好。我们建议使用Softmax作为常规器，并从不同跳距的邻居聚合的功能的“软选择器”;和L2 - GNN层的标准化。结合这些技术，我们呈现了一个简单浅的模型，特征选择图神经网络（FSGNN），并经验展示所提出的模型比九个基准数据集中的最先进的GNN模型实现了可比或甚至更高的准确性节点分类任务，具有显着的改进，可达51.1％。

鉴于在现实世界应用中大规模图的流行率，训练神经模型的存储和时间引起了人们的关注。为了减轻关注点，我们提出和研究图形神经网络（GNNS）的图形凝结问题。具体而言，我们旨在将大型原始图凝结成一个小的，合成的和高度信息的图，以便在小图和大图上训练的GNN具有可比性的性能。我们通过优化梯度匹配损失并设计一种凝结节点期货和结构信息的策略来模仿原始图上的GNN训练轨迹，以解决凝结问题。广泛的实验证明了所提出的框架在将不同的图形数据集凝结成信息较小的较小图中的有效性。特别是，我们能够在REDDIT上近似于95.3％的原始测试准确性，Flickr的99.8％和CiteSeer的99.0％，同时将其图形尺寸降低了99.9％以上，并且可以使用冷凝图来训练各种GNN架构Code在https://github.com/chandlerbang/gcond上发布。

知识蒸馏最近成为一种流行的技术，以改善卷积神经网络的模型泛化能力。然而，它对图形神经网络的影响小于令人满意的，因为图形拓扑和节点属性可能以动态方式改变，并且在这种情况下，静态教师模型引导学生培训不足。在本文中，我们通过在在线蒸馏时期同时培训一组图形神经网络来解决这一挑战，其中组知识发挥作用作为动态虚拟教师，并且有效地捕获了图形神经网络的结构变化。为了提高蒸馏性能，在学生之间转移两种知识，以增强彼此：在图形拓扑和节点属性中反映信息的本地知识，以及反映课程预测的全局知识。随着香草知识蒸馏等，在利用有效的对抗性循环学习框架，将全球知识与KL分歧转移。广泛的实验验证了我们提出的在线对抗蒸馏方法的有效性。