在逻辑合成阶段，需要将合成工具中的结构转换组合为优化序列，并在电路上作用以满足指定的电路区域和延迟。但是，逻辑合成优化序列是耗时的运行时间，并预测结果（QOR）与电路的合成优化序列的质量（QOR）可以帮助工程师更快地找到更好的优化序列。在这项工作中，我们提出了一种深度学习方法，以预测看不见的电路优化序列对的QOR。具体而言，结构转换通过嵌入方法和高级自然语言处理（NLP）技术（变压器）转换为向量，以提取优化序列的特征。此外，为了使模型的预测过程从电路到电路进行推广，电路的图表示为邻接矩阵和特征矩阵。图神经网络（GNN）用于提取电路的结构特征。对于此问题，使用了变压器和三个典型的GNN。此外，变压器和GNN被用作未见电路优化序列的QOR预测的联合学习政策。由变压器和GNN组合产生的方法基准测试。实验结果表明，变压器和图形的联合学习可获得最佳结果。预测结果的平均绝对误差（MAE）为0.412。

在电子设计自动化（EDA）领域的应用深度学习（DL）技术已成为近年来的趋势主题。大多数现有解决方案适用于开发的DL模型来解决特定的EDA问题。在展示有希望的结果的同时，他们需要仔细模型调整每个问题。关于\ Texit的基本问题{“如何获得一般和有效的电路神经表征？”}尚未得到解答。在这项工作中，我们迈出了解决这个问题的第一步。我们提出\ Textit {DeepGate}，一种新颖的表示学习解决方案，其有效地将电路的逻辑功能和结构信息嵌入为每个门上的向量。具体而言，我们将电路转换为统一和倒换图格式，以便学习和使用信号概率作为Deplegate中的监控任务。然后，我们介绍一种新的图形神经网络，该网络神经网络在实际电路中使用强烈的电感偏差作为信号概率预测的学习前沿。我们的实验结果表明了深度的功效和泛化能力。

Deep learning has revolutionized many machine learning tasks in recent years, ranging from image classification and video processing to speech recognition and natural language understanding. The data in these tasks are typically represented in the Euclidean space. However, there is an increasing number of applications where data are generated from non-Euclidean domains and are represented as graphs with complex relationships and interdependency between objects. The complexity of graph data has imposed significant challenges on existing machine learning algorithms. Recently, many studies on extending deep learning approaches for graph data have emerged. In this survey, we provide a comprehensive overview of graph neural networks (GNNs) in data mining and machine learning fields. We propose a new taxonomy to divide the state-of-the-art graph neural networks into four categories, namely recurrent graph neural networks, convolutional graph neural networks, graph autoencoders, and spatial-temporal graph neural networks. We further discuss the applications of graph neural networks across various domains and summarize the open source codes, benchmark data sets, and model evaluation of graph neural networks. Finally, we propose potential research directions in this rapidly growing field.

目前有技术节点缩放，早期设计阶段的精确预测模型可以显着降低设计周期。特别是在逻辑合成期间，预测由于逻辑组合不当导致的细胞拥塞可以减少后续物理实现的负担。已经尝试使用图形神经网络（GNN）技术来解决逻辑合成阶段的拥塞预测。然而，它们需要信息性小区特征来实现合理的性能，因为GNN的核心概念构建在消息通过框架上，这在早期逻辑合成阶段将是不切实际的。为了解决这个限制，我们提出了一个框架，可以直接学习给定网表的嵌入式，以提高节点功能的质量。基于流行的随机播放的嵌入方法，如Node2VEC，LINE和DeadWalk遭受横绘对齐和普遍性的问题，以取消差价，效率低于性能和成本耗费的运行时。在我们的框架中，我们介绍了一种卓越的替代方案，可以获得可以使用矩阵分解方法概括在网表图中的节点嵌入。我们在子图水平上提出了一种高效的迷你批量培训方法，可以保证并行培训并满足大规模网手册的内存限制。我们呈现利用开源EDA工具的结果，如Dreamplace和OpenORAD框架上的各种公开的电路。通过将学习的嵌入在网手册的顶部与GNN结合，我们的方法可以提高预测性能，推广到新电路线，并且在训练中具有高效，潜在节省超过$ 90 \％运行时。

准确的交通状况预测为车辆环境协调和交通管制任务提供了坚实的基础。由于道路网络数据在空间分布中的复杂性以及深度学习方法的多样性，有效定义流量数据并充分捕获数据中复杂的空间非线性特征变得具有挑战性。本文将两种分层图池方法应用于流量预测任务，以减少图形信息冗余。首先，本文验证了流量预测任务中层次图池方法的有效性。分层图合并方法与其他基线在预测性能上形成鲜明对比。其次，应用了两种主流分层图池方法，节点群集池和节点下降池，用于分析流量预测中的优势和弱点。最后，对于上述图神经网络，本文比较了不同图网络输入对流量预测准确性的预测效应。分析和汇总定义图网络的有效方法。

僵尸网络使用域生成算法（DGA）来构建C＆C服务器和机器人之间的隐身命令和控制（C＆C）通信通道。DGA可以定期生成大量的伪随机算法生成的域（AGD）。AGD检测算法为现有的DGA技术提供了一种轻巧，有希望的解决方案。在本文中，提出了用于AGD检测的GCNN（封闭式卷积神经网络）-LSTM（长期记忆）混合神经网络（GLHNN）。在GLHNN中，GCNN用于从LSTM顶部的域名中提取信息性特征，从而进一步处理特征序列。GLHNN使用覆盖六类DGA的代表性AGD对GLHNN进行了实验验证。将GLHNN与最先进的检测模型进行了比较，并证明了这些测试模型中最佳的总体检测性能。

Graph classification is an important area in both modern research and industry. Multiple applications, especially in chemistry and novel drug discovery, encourage rapid development of machine learning models in this area. To keep up with the pace of new research, proper experimental design, fair evaluation, and independent benchmarks are essential. Design of strong baselines is an indispensable element of such works. In this thesis, we explore multiple approaches to graph classification. We focus on Graph Neural Networks (GNNs), which emerged as a de facto standard deep learning technique for graph representation learning. Classical approaches, such as graph descriptors and molecular fingerprints, are also addressed. We design fair evaluation experimental protocol and choose proper datasets collection. This allows us to perform numerous experiments and rigorously analyze modern approaches. We arrive to many conclusions, which shed new light on performance and quality of novel algorithms. We investigate application of Jumping Knowledge GNN architecture to graph classification, which proves to be an efficient tool for improving base graph neural network architectures. Multiple improvements to baseline models are also proposed and experimentally verified, which constitutes an important contribution to the field of fair model comparison.

尽管不断努力提高代码搜索的有效性和效率，但仍未解决两个问题。首先，编程语言具有固有的牢固结构链接，并且代码的特征是文本表单将省略其中包含的结构信息。其次，代码和查询之间存在潜在的语义关系，跨序列对齐代码和文本是具有挑战性的，因此在相似性匹配期间，向量在空间上保持一致。为了解决这两个问题，在本文中，提出了一个名为CSSAM的代码搜索模型（代码语义和结构注意匹配）。通过引入语义和结构匹配机制，CSSAM有效提取并融合了多维代码功能。具体而言，开发了交叉和残留层，以促进代码和查询的高纬度空间比对。通过利用残差交互，匹配模块旨在保留更多的代码语义和描述性功能，从而增强了代码及其相应查询文本之间的附着力。此外，为了提高模型对代码固有结构的理解，提出了一个名为CSRG的代码表示结构（代码语义表示图），用于共同表示抽象语法树节点和代码的数据流。根据两个包含540K和330K代码段的公开可用数据集的实验结果，CSSAM在两个数据集中分别在获得最高的SR@1/5/10，MRR和NDCG@50方面大大优于基本线。此外，进行消融研究是为了定量衡量CSSAM每个关键组成部分对代码搜索效率和有效性的影响，这为改进高级代码搜索解决方案提供了见解。

图表可以模拟实体之间的复杂交互，它在许多重要的应用程序中自然出现。这些应用程序通常可以投入到标准图形学习任务中，其中关键步骤是学习低维图表示。图形神经网络（GNN）目前是嵌入方法中最受欢迎的模型。然而，邻域聚合范例中的标准GNN患有区分\ EMPH {高阶}图形结构的有限辨别力，而不是\ EMPH {低位}结构。为了捕获高阶结构，研究人员求助于主题和开发的基于主题的GNN。然而，现有的基于主基的GNN仍然仍然遭受较少的辨别力的高阶结构。为了克服上述局限性，我们提出了一个新颖的框架，以更好地捕获高阶结构的新框架，铰接于我们所提出的主题冗余最小化操作员和注射主题组合的新颖框架。首先，MGNN生成一组节点表示W.R.T.每个主题。下一阶段是我们在图案中提出的冗余最小化，该主题在彼此相互比较并蒸馏出每个主题的特征。最后，MGNN通过组合来自不同图案的多个表示来执行节点表示的更新。特别地，为了增强鉴别的功率，MGNN利用重新注射功能来组合表示的函数w.r.t.不同的主题。我们进一步表明，我们的拟议体系结构增加了GNN的表现力，具有理论分析。我们展示了MGNN在节点分类和图形分类任务上的七个公共基准上表现出最先进的方法。

随着传感技术的进步，多元时间序列分类（MTSC）最近受到了相当大的关注。基于深度学习的MTSC技术主要依赖于卷积或经常性神经网络，主要涉及单时间序列的时间依赖性。结果，他们努力直接在多变量变量中表达成对依赖性。此外，基于图形神经网络（GNNS）的当前空间 - 时间建模（例如，图形分类）方法本质上是平的，并且不能以分层方式聚合集线器数据。为了解决这些限制，我们提出了一种基于新的图形汇集框架MTPOOL，以获得MTS的表现力全球表示。我们首先通过采用通过图形结构学习模块的相互作用来将MTS切片转换为曲线图，并通过时间卷积模块获得空间 - 时间图节点特征。为了获得全局图形级表示，我们设计了基于“编码器 - 解码器”的变形图池池模块，用于为群集分配创建自适应质心。然后我们将GNN和我们所提出的变分图层汇集层组合用于联合图表示学习和图形粗糙化，之后该图逐渐赋予一个节点。最后，可差异化的分类器将此粗糙的表示来获取最终预测的类。 10个基准数据集的实验表明MTPOOL优于MTSC任务中最先进的策略。

图表神经网络（GNNS）最近在人工智能（AI）领域的普及，这是由于它们作为输入数据相对非结构化数据类型的独特能力。尽管GNN架构的一些元素在概念上类似于传统神经网络（以及神经网络变体）的操作中，但是其他元件代表了传统深度学习技术的偏离。本教程通过整理和呈现有关GNN最常见和性能变种的动机，概念，数学和应用的细节，将GNN的权力和新颖性暴露给AI从业者。重要的是，我们简明扼要地向实际示例提出了本教程，从而为GNN的主题提供了实用和可访问的教程。

流量预测在智能运输系统中交通控制和调度任务的实现中起着重要作用。随着数据源的多元化，合理地使用丰富的流量数据来对流量流中复杂的时空依赖性和非线性特征进行建模是智能运输系统的关键挑战。此外，清楚地评估从不同数据中提取的时空特征的重要性成为一个挑战。提出了双层 - 空间时间特征提取和评估（DL -STFEE）模型。 DL-STFEE的下层是时空特征提取层。流量数据中的空间和时间特征是通过多画图卷积和注意机制提取的，并生成了空间和时间特征的不同组合。 DL-STFEE的上层是时空特征评估层。通过高维自我注意力发项机制产生的注意力评分矩阵，空间特征组合被融合和评估，以便获得不同组合对预测效应的影响。在实际的流量数据集上进行了三组实验，以表明DL-STFEE可以有效地捕获时空特征并评估不同时空特征组合的重要性。

AMR到文本是NLP社区中旨在从抽象含义表示（AMR）图生成句子的关键技术之一。自2013年提出AMR以来，有关AMR到文本的研究越来越普遍，因为AMR作为自然语言的高级语义描述，由于AMR具有独特的优势，因此作为结构化数据的重要分支变得越来越普遍。在本文中，我们简要介绍了AMR到文本。首先，我们介绍了此技术的当前情况，并指出了它的困难。其次，根据先前研究中使用的方法，我们根据它们各自的机制将它们大致分为五个类别和预先训练的语言模型（PLM）。特别是，我们详细介绍了基于神经网络的方法，并介绍了AMR到文本的最新进展，该方法指的是AMR重建，解码器优化等。此外，我们介绍了AMR-TOXT的基准和评估方法。最终，我们提供了当前技术和未来研究的前景的摘要。

图表神经网络（GNN）基于故障诊断（FD）近年来收到了越来越多的关注，因为来自来自多个应用域的数据可以有利地表示为图。实际上，与传统的FD方法相比，这种特殊的代表性表格导致了卓越的性能。在本次审查中，给出了GNN，对故障诊断领域的潜在应用以及未来观点的简单介绍。首先，通过专注于它们的数据表示，即时间序列，图像和图形，回顾基于神经网络的FD方法。其次，引入了GNN的基本原则和主要架构，注意了图形卷积网络，图注意网络，图形样本和聚合，图形自动编码器和空间 - 时间图卷积网络。第三，通过详细实验验证基于GNN的最相关的故障诊断方法，结论是基于GNN的方法可以实现良好的故障诊断性能。最后，提供了讨论和未来的挑战。

Graphs are ubiquitous in nature and can therefore serve as models for many practical but also theoretical problems. For this purpose, they can be defined as many different types which suitably reflect the individual contexts of the represented problem. To address cutting-edge problems based on graph data, the research field of Graph Neural Networks (GNNs) has emerged. Despite the field's youth and the speed at which new models are developed, many recent surveys have been published to keep track of them. Nevertheless, it has not yet been gathered which GNN can process what kind of graph types. In this survey, we give a detailed overview of already existing GNNs and, unlike previous surveys, categorize them according to their ability to handle different graph types and properties. We consider GNNs operating on static and dynamic graphs of different structural constitutions, with or without node or edge attributes. Moreover, we distinguish between GNN models for discrete-time or continuous-time dynamic graphs and group the models according to their architecture. We find that there are still graph types that are not or only rarely covered by existing GNN models. We point out where models are missing and give potential reasons for their absence.

Graph neural networks (GNNs) have pushed the state-of-the-art (SOTA) for performance in learning and predicting on large-scale data present in social networks, biology, etc. Since integrated circuits (ICs) can naturally be represented as graphs, there has been a tremendous surge in employing GNNs for machine learning (ML)-based methods for various aspects of IC design. Given this trajectory, there is a timely need to review and discuss some powerful and versatile GNN approaches for advancing IC design. In this paper, we propose a generic pipeline for tailoring GNN models toward solving challenging problems for IC design. We outline promising options for each pipeline element, and we discuss selected and promising works, like leveraging GNNs to break SOTA logic obfuscation. Our comprehensive overview of GNNs frameworks covers (i) electronic design automation (EDA) and IC design in general, (ii) design of reliable ICs, and (iii) design as well as analysis of secure ICs. We provide our overview and related resources also in the GNN4IC hub at https://github.com/DfX-NYUAD/GNN4IC. Finally, we discuss interesting open problems for future research.

We present graph attention networks (GATs), novel neural network architectures that operate on graph-structured data, leveraging masked self-attentional layers to address the shortcomings of prior methods based on graph convolutions or their approximations. By stacking layers in which nodes are able to attend over their neighborhoods' features, we enable (implicitly) specifying different weights to different nodes in a neighborhood, without requiring any kind of costly matrix operation (such as inversion) or depending on knowing the graph structure upfront. In this way, we address several key challenges of spectral-based graph neural networks simultaneously, and make our model readily applicable to inductive as well as transductive problems. Our GAT models have achieved or matched state-of-theart results across four established transductive and inductive graph benchmarks: the Cora, Citeseer and Pubmed citation network datasets, as well as a proteinprotein interaction dataset (wherein test graphs remain unseen during training).

保持个人特征和复杂的关系，广泛利用和研究了图表数据。通过更新和聚合节点的表示，能够捕获结构信息，图形神经网络（GNN）模型正在获得普及。在财务背景下，该图是基于实际数据构建的，这导致复杂的图形结构，因此需要复杂的方法。在这项工作中，我们在最近的财务环境中对GNN模型进行了全面的审查。我们首先将普通使用的财务图分类并总结每个节点的功能处理步骤。然后，我们总结了每个地图类型的GNN方法，每个区域的应用，并提出一些潜在的研究领域。

逆向工程集成电路网表是一个强大的工具，可以帮助检测恶意逻辑和抵消设计盗版。该域中的一个关键挑战是设计中数据路径和控制逻辑寄存器的正确分类。我们展示了一种新的基于学习的寄存器分类方法，该方法将图形神经网络（GNN）与结构分析相结合，以将寄存器分类在电路中，以高精度和概括不同的设计。 GNN在处理电路网表方面特别有效，以便在节点和它们的邻域的利用，以便学习有效地区分不同类型的节点。结构分析可以进一步通过GNN将被错误分类错误分类的寄存器通过分析在网表图中的强连接的组件来纠正为状态寄存器。一组基准的数值结果表明，Reignn可以平均实现96.5％的平衡准确性和不同设计的灵敏度97.7％。

时间图代表实体之间的动态关系，并发生在许多现实生活中的应用中，例如社交网络，电子商务，通信，道路网络，生物系统等。他们需要根据其生成建模和表示学习的研究超出与静态图有关的研究。在这项调查中，我们全面回顾了近期针对处理时间图提出的神经时间依赖图表的学习和生成建模方法。最后，我们确定了现有方法的弱点，并讨论了我们最近发表的论文提格的研究建议[24]。