模拟和混合信号（AMS）电路设计仍然依赖于人类设计专业知识。机器学习一直通过用人工智能代替人类的体验来协助电路设计自动化。本文介绍了标签，这是一种从利用文本，自我注意力和图形的布局中学习电路表示的新范式。嵌入网络模型在无手动标签的情况下学习空间信息。我们向AMS电路学习介绍文本嵌入和自我注意的机制。实验结果表明，具有工业罚款技术基准的实例之间的布局距离的能力。通过在案例研究中显示有限数据的其他三个学习任务的转移性，可以验证电路表示的有效性：布局匹配预测，线长度估计和净寄生电容预测。

在电子设计自动化（EDA）领域的应用深度学习（DL）技术已成为近年来的趋势主题。大多数现有解决方案适用于开发的DL模型来解决特定的EDA问题。在展示有希望的结果的同时，他们需要仔细模型调整每个问题。关于\ Texit的基本问题{“如何获得一般和有效的电路神经表征？”}尚未得到解答。在这项工作中，我们迈出了解决这个问题的第一步。我们提出\ Textit {DeepGate}，一种新颖的表示学习解决方案，其有效地将电路的逻辑功能和结构信息嵌入为每个门上的向量。具体而言，我们将电路转换为统一和倒换图格式，以便学习和使用信号概率作为Deplegate中的监控任务。然后，我们介绍一种新的图形神经网络，该网络神经网络在实际电路中使用强烈的电感偏差作为信号概率预测的学习前沿。我们的实验结果表明了深度的功效和泛化能力。

Graph neural networks (GNNs) have pushed the state-of-the-art (SOTA) for performance in learning and predicting on large-scale data present in social networks, biology, etc. Since integrated circuits (ICs) can naturally be represented as graphs, there has been a tremendous surge in employing GNNs for machine learning (ML)-based methods for various aspects of IC design. Given this trajectory, there is a timely need to review and discuss some powerful and versatile GNN approaches for advancing IC design. In this paper, we propose a generic pipeline for tailoring GNN models toward solving challenging problems for IC design. We outline promising options for each pipeline element, and we discuss selected and promising works, like leveraging GNNs to break SOTA logic obfuscation. Our comprehensive overview of GNNs frameworks covers (i) electronic design automation (EDA) and IC design in general, (ii) design of reliable ICs, and (iii) design as well as analysis of secure ICs. We provide our overview and related resources also in the GNN4IC hub at https://github.com/DfX-NYUAD/GNN4IC. Finally, we discuss interesting open problems for future research.

在逻辑合成阶段，需要将合成工具中的结构转换组合为优化序列，并在电路上作用以满足指定的电路区域和延迟。但是，逻辑合成优化序列是耗时的运行时间，并预测结果（QOR）与电路的合成优化序列的质量（QOR）可以帮助工程师更快地找到更好的优化序列。在这项工作中，我们提出了一种深度学习方法，以预测看不见的电路优化序列对的QOR。具体而言，结构转换通过嵌入方法和高级自然语言处理（NLP）技术（变压器）转换为向量，以提取优化序列的特征。此外，为了使模型的预测过程从电路到电路进行推广，电路的图表示为邻接矩阵和特征矩阵。图神经网络（GNN）用于提取电路的结构特征。对于此问题，使用了变压器和三个典型的GNN。此外，变压器和GNN被用作未见电路优化序列的QOR预测的联合学习政策。由变压器和GNN组合产生的方法基准测试。实验结果表明，变压器和图形的联合学习可获得最佳结果。预测结果的平均绝对误差（MAE）为0.412。

过程变化和设备老化对电路设计师构成了深刻的挑战。如果不对变化对电路路径的延迟的影响进行精确理解，无法正确估计避免定时违规行为的后卫带。对于先进的技术节点，此问题加剧了，其中晶体管尺寸达到原子水平，并且已建立的边缘受到严格限制。因此，传统的最坏情况分析变得不切实际，导致无法忍受的性能开销。相反，过程变化/衰老感知的静态时序分析（STA）为设计师提供了准确的统计延迟分布。然后可以有效地估计小但足够的时正时标志。但是，这样的分析是昂贵的，因为它需要密集的蒙特卡洛模拟。此外，它需要访问基于机密的物理老化模型来生成STA所需的标准细胞库。在这项工作中，我们采用图形神经网络（GNN）来准确估计过程变化和设备衰老对电路中任何路径延迟的影响。我们提出的GNN4REL框架使设计师能够执行快速准确的可靠性估计，而无需访问晶体管模型，标准细胞库甚至STA；这些组件均通过铸造厂的训练纳入GNN模型中。具体而言，对GNN4REL进行了针对工业14NM测量数据进行校准的FinFET技术模型的培训。通过我们对EPFL和ITC-99基准以及RISC-V处理器进行的广泛实验，我们成功估计了所有路径的延迟降级（尤其是在几秒钟内），平均绝对误差降至0.01个百分点。

大型预训练的神经网络无处不在，对于自然语言处理和计算机视觉中许多下游任务的成功至关重要。但是，在Web信息检索领域内，缺乏类似灵活且强大的预训练模型可以正确解析网页存在鲜明的对比。因此，我们认为，诸如内容提取和来自网页的信息挖掘之类的常见机器学习任务的收益较低，但仍未开发。我们的目标是通过引入不可知论的深图神经网络提取器来缩小差距，该图形提取器可以摄入网页结构，对大量未标记的数据进行自我监督，并对网页上的任意任务进行微调。最后，我们表明，我们的预训练模型使用两个非常不同的基准测试的多个数据集实现了最新的结果：网页清除板删除和流派分类，从而在不同的下游任务中提供了对其潜在应用的借贷支持。

Knowledge graphs (KG) have served as the key component of various natural language processing applications. Commonsense knowledge graphs (CKG) are a special type of KG, where entities and relations are composed of free-form text. However, previous works in KG completion and CKG completion suffer from long-tail relations and newly-added relations which do not have many know triples for training. In light of this, few-shot KG completion (FKGC), which requires the strengths of graph representation learning and few-shot learning, has been proposed to challenge the problem of limited annotated data. In this paper, we comprehensively survey previous attempts on such tasks in the form of a series of methods and applications. Specifically, we first introduce FKGC challenges, commonly used KGs, and CKGs. Then we systematically categorize and summarize existing works in terms of the type of KGs and the methods. Finally, we present applications of FKGC models on prediction tasks in different areas and share our thoughts on future research directions of FKGC.

The development of deep neural networks has improved representation learning in various domains, including textual, graph structural, and relational triple representations. This development opened the door to new relation extraction beyond the traditional text-oriented relation extraction. However, research on the effectiveness of considering multiple heterogeneous domain information simultaneously is still under exploration, and if a model can take an advantage of integrating heterogeneous information, it is expected to exhibit a significant contribution to many problems in the world. This thesis works on Drug-Drug Interactions (DDIs) from the literature as a case study and realizes relation extraction utilizing heterogeneous domain information. First, a deep neural relation extraction model is prepared and its attention mechanism is analyzed. Next, a method to combine the drug molecular structure information and drug description information to the input sentence information is proposed, and the effectiveness of utilizing drug molecular structures and drug descriptions for the relation extraction task is shown. Then, in order to further exploit the heterogeneous information, drug-related items, such as protein entries, medical terms and pathways are collected from multiple existing databases and a new data set in the form of a knowledge graph (KG) is constructed. A link prediction task on the constructed data set is conducted to obtain embedding representations of drugs that contain the heterogeneous domain information. Finally, a method that integrates the input sentence information and the heterogeneous KG information is proposed. The proposed model is trained and evaluated on a widely used data set, and as a result, it is shown that utilizing heterogeneous domain information significantly improves the performance of relation extraction from the literature.

动态类型的语言如JavaScript和Python已成为最受欢迎的使用中的使用中。重要的优势可以从动态类型的程序中的类型注释累积。逐渐键入的这种方法是由Querecript编程系统示例，允许程序员指定部分键入的程序，然后使用静态分析来推断剩余类型。然而，通常，静态类型推断的有效性受到限制，取决于程序结构和初始注释的复杂性。结果，对于可以在动态类型的程序中可以在静态预测类型中推进本领域的新​​方法的强大动机，并且该具有可接受的性能用于交互式编程环境。以前的工作表明了使用深度学习的概率类型推断的承诺。在本文中，我们通过引入一系列图形的神经网络（GNN）模型来推进过去的工作，该模型在新型流程图（TFG）表示上运行。 TFG表示输入程序的元素，作为与语法边缘和数据流边缘连接的图表节点，并且我们的GNN模型训练以预测给定输入程序的TFG中的类型标签。我们为我们的评估数据集中的100种最常见类型的GNN模型研究了不同的设计选择，并显示了我们最佳的准确性的两个GNN配置，分别实现了87.76％和86.89％的前1个精度，优于两个最密切相关的深度学习型推断从过去的工作 - 矮人的前进剂，顶级1的精度为84.62％，兰丹特精确为79.45％。此外，这两种配置的平均推理吞吐量为353.8和1,303.9文件/秒，而DeepTyper的186.7个文件/秒和LambDanet的1,050.3文件/秒。

本文通过自然应用程序对网页和元素分类来解决复杂结构数据的高效表示的问题。我们假设网页内部元素周围的上下文对问题的价值很高，目前正在被利用。本文旨在通过考虑到其上下文来解决将Web元素分类为DOM树的子树的问题。为实现这一目标，首先讨论当前在结构上工作的专家知识系统，如树 - LSTM。然后，我们向该模型提出上下文感知扩展。我们表明，在多级Web分类任务中，新模型实现了0.7973的平均F1分数。该模型为各种子树生成更好的表示，并且可以用于应用此类元素分类，钢筋在网上学习中的状态估计等。

在本文中，我们试图通过引入深度学习模型的句法归纳偏见来建立两所学校之间的联系。我们提出了两个归纳偏见的家族，一个家庭用于选区结构，另一个用于依赖性结构。选区归纳偏见鼓励深度学习模型使用不同的单位（或神经元）分别处理长期和短期信息。这种分离为深度学习模型提供了一种方法，可以从顺序输入中构建潜在的层次表示形式，即更高级别的表示由高级表示形式组成，并且可以分解为一系列低级表示。例如，在不了解地面实际结构的情况下，我们提出的模型学会通过根据其句法结构组成变量和运算符的表示来处理逻辑表达。另一方面，依赖归纳偏置鼓励模型在输入序列中找到实体之间的潜在关系。对于自然语言，潜在关系通常被建模为一个定向依赖图，其中一个单词恰好具有一个父节点和零或几个孩子的节点。将此约束应用于类似变压器的模型之后，我们发现该模型能够诱导接近人类专家注释的有向图，并且在不同任务上也优于标准变压器模型。我们认为，这些实验结果为深度学习模型的未来发展展示了一个有趣的选择。

许多真实世界图（网络）是具有不同类型的节点和边缘的异构。异构图嵌入，旨在学习异构图的低维节点表示，对于各种下游应用至关重要。已经提出了许多基于元路径的嵌入方法来学习近年来异构图的语义信息。然而，在学习异构图形嵌入时，大多数现有技术都在图形结构信息中忽略了图形结构信息。本文提出了一种新颖的结构意识异构图形神经网络（SHGNN），以解决上述限制。详细地，我们首先利用特征传播模块来捕获元路径中中间节点的本地结构信息。接下来，我们使用树关注聚合器将图形结构信息结合到元路径上的聚合模块中。最后，我们利用了元路径聚合器熔断来自不同元路径的聚合的信息。我们对节点分类和聚类任务进行了实验，并在基准数据集中实现了最先进的结果，该数据集显示了我们所提出的方法的有效性。

将包含文本和不同边缘类型的文本的信息节点连接的异质网络通常用于在各种现实世界应用程序中存储和处理信息。图形神经网络（GNNS）及其双曲线变体提供了一种有希望的方法，可以通过邻域聚集和分层特征提取在低维的潜在空间中编码此类网络。但是，这些方法通常忽略Metapath结构和可用的语义信息。此外，这些方法对训练数据中存在的噪声很敏感。为了解决这些局限性，在本文中，我们提出了富含文本的稀疏双曲图卷积网络（TESH-GCN），以使用语义信号捕获图形的Metapath结构，并进一步改善大型异质图中的预测。在TESH-GCN中，我们提取语义节点信息，该信息连接信号是从稀疏的双曲线图卷积层中从稀疏邻接张量中提取相关节点的局部邻域和图形级Metapath特征。这些提取的功能与语言模型的语义特征（用于鲁棒性）结合使用，用于最终下游任务。各种异质图数据集的实验表明，我们的模型在链接预测任务上的大幅度优于当前最新方法。我们还报告说，与现有的双曲线方法相比，训练时间和模型参数均减少了，通过重新的双曲线图卷积。此外，我们通过在图形结构和文本中使用不同级别的模拟噪声来说明模型的鲁棒性，并通过分析提取的Metapaths来解释Tesh-GCN的预测机制。

预期观众对某些文本的反应是社会的几个方面不可或缺的，包括政治，研究和商业行业。情感分析（SA）是一种有用的自然语言处理（NLP）技术，它利用词汇/统计和深度学习方法来确定不同尺寸的文本是否表现出正面，负面或中立的情绪。但是，目前缺乏工具来分析独立文本的组并从整体中提取主要情感。因此，当前的论文提出了一种新型算法，称为多层推文分析仪（MLTA），该算法使用多层网络（MLN）以图形方式对社交媒体文本进行了图形方式，以便更好地编码跨越独立的推文集的关系。与其他表示方法相比，图结构能够捕获复杂生态系统中有意义的关系。最先进的图形神经网络（GNN）用于从Tweet-MLN中提取信息，并根据提取的图形特征进行预测。结果表明，与标准的正面，负或中性相比，MLTA不仅可以从更大的可能情绪中预测，从而提供了更准确的情感，还允许对Twitter数据进行准确的组级预测。

图表神经网络（GNNS）已广泛应用于推荐任务，并获得了非常吸引人的性能。然而，大多数基于GNN的推荐方法在实践中遭受数据稀疏问题。同时，预训练技术在减轻了各个领域（如自然语言处理（NLP）和计算机视觉（CV）等域中的数据稀疏而取得了巨大成功。因此，图形预培训具有扩大基于GNN的建议的数据稀疏的巨大潜力。但是，预先培训GNN，建议面临独特的挑战。例如，不同推荐任务中的用户项交互图具有不同的用户和项目集，并且它们通常存在不同的属性。因此，在NLP和CV中常用的成功机制将知识从预训练任务转移到下游任务，例如共享所学习的嵌入式或特征提取器，而不是直接适用于现有的基于GNN的推荐模型。为了解决这些挑战，我们精致地设计了一个自适应图形预训练框架，用于本地化协作滤波（适应）。它不需要传输用户/项目嵌入式，并且能够跨越不同图的共同知识和每个图形的唯一性。广泛的实验结果表明了适应的有效性和优越性。

事实证明，信息提取方法可有效从结构化或非结构化数据中提取三重。以（头部实体，关系，尾部实体）形式组织这样的三元组的组织称为知识图（kgs）。当前的大多数知识图都是不完整的。为了在下游任务中使用kgs，希望预测kgs中缺少链接。最近，通过将实体和关系嵌入到低维的矢量空间中，旨在根据先前访问的三元组来预测三元组，从而对KGS表示不同的方法。根据如何独立或依赖对三元组进行处理，我们将知识图完成的任务分为传统和图形神经网络表示学习，并更详细地讨论它们。在传统的方法中，每个三重三倍将独立处理，并在基于GNN的方法中进行处理，三倍也考虑了他们的当地社区。查看全文

保持个人特征和复杂的关系，广泛利用和研究了图表数据。通过更新和聚合节点的表示，能够捕获结构信息，图形神经网络（GNN）模型正在获得普及。在财务背景下，该图是基于实际数据构建的，这导致复杂的图形结构，因此需要复杂的方法。在这项工作中，我们在最近的财务环境中对GNN模型进行了全面的审查。我们首先将普通使用的财务图分类并总结每个节点的功能处理步骤。然后，我们总结了每个地图类型的GNN方法，每个区域的应用，并提出一些潜在的研究领域。

图表表示学习是一种快速增长的领域，其中一个主要目标是在低维空间中产生有意义的图形表示。已经成功地应用了学习的嵌入式来执行各种预测任务，例如链路预测，节点分类，群集和可视化。图表社区的集体努力提供了数百种方法，但在所有评估指标下没有单一方法擅长，例如预测准确性，运行时间，可扩展性等。该调查旨在通过考虑算法来评估嵌入方法的所有主要类别的图表变体，参数选择，可伸缩性，硬件和软件平台，下游ML任务和多样化数据集。我们使用包含手动特征工程，矩阵分解，浅神经网络和深图卷积网络的分类法组织了图形嵌入技术。我们使用广泛使用的基准图表评估了节点分类，链路预测，群集和可视化任务的这些类别算法。我们在Pytorch几何和DGL库上设计了我们的实验，并在不同的多核CPU和GPU平台上运行实验。我们严格地审查了各种性能指标下嵌入方法的性能，并总结了结果。因此，本文可以作为比较指南，以帮助用户选择最适合其任务的方法。

Graph classification is an important area in both modern research and industry. Multiple applications, especially in chemistry and novel drug discovery, encourage rapid development of machine learning models in this area. To keep up with the pace of new research, proper experimental design, fair evaluation, and independent benchmarks are essential. Design of strong baselines is an indispensable element of such works. In this thesis, we explore multiple approaches to graph classification. We focus on Graph Neural Networks (GNNs), which emerged as a de facto standard deep learning technique for graph representation learning. Classical approaches, such as graph descriptors and molecular fingerprints, are also addressed. We design fair evaluation experimental protocol and choose proper datasets collection. This allows us to perform numerous experiments and rigorously analyze modern approaches. We arrive to many conclusions, which shed new light on performance and quality of novel algorithms. We investigate application of Jumping Knowledge GNN architecture to graph classification, which proves to be an efficient tool for improving base graph neural network architectures. Multiple improvements to baseline models are also proposed and experimentally verified, which constitutes an important contribution to the field of fair model comparison.

变压器架构已成为许多域中的主导选择，例如自然语言处理和计算机视觉。然而，与主流GNN变体相比，它对图形水平预测的流行排行榜没有竞争表现。因此，它仍然是一个谜，变形金机如何对图形表示学习表现良好。在本文中，我们通过提出了基于标准变压器架构构建的Gragemer来解决这一神秘性，并且可以在广泛的图形表示学习任务中获得优异的结果，特别是在最近的OGB大规模挑战上。我们在图中利用变压器的关键洞察是有效地将图形的结构信息有效地编码到模型中。为此，我们提出了几种简单但有效的结构编码方法，以帮助Gramemormer更好的模型图形结构数据。此外，我们在数学上表征了Gramemormer的表现力，并展示了我们编码图形结构信息的方式，许多流行的GNN变体都可以被涵盖为GrameRormer的特殊情况。