Monolith软件应用程序将所有功能功能封装到单个可部署单元中。虽然甚至在整料中，有意保持函数的清洁分离，但它们往往会因对新功能而不断增长的需求，改变团队成员，艰难的时间表，技能，技能等等等待而受到损害。他们难以理解和维护。因此，微服务架构越来越多地用于通过多个较小的尺寸小型耦合的功能服务构建应用程序，其中每个服务拥有单一的功能责任。这种方法使MicroServices架构作为基于云应用的自然选择。但是，对于已经写入的纪线代码的功能模块自动分离的挑战会减慢其迁移任务。图形是代表软件应用程序的自然选择。各种软件工件如程序，表和文件成为图表中的节点以及它们共享的不同关系，例如函数调用，继承，资源（表，文件）访问类型（创建，读取，更新，删除）可以表示为链接在图表中。因此，我们将这种传统的应用程序分解问题推断到基于异构图形的聚类任务。我们的解决方案是首先利用异构图形神经网络来学习这种多样化的软件实体的表示及其对聚类任务的关系。我们通过与软件工程和现有的基于图表表示技术的作品进行比较来研究效果。我们试验以像java的面向对象的语言编写的应用程序，如cobol等程序语言，并显示我们的工作适用于不同的编程范例。

高吞吐量数据处理应用的高效硬件加速器设计，例如深度神经网络，是计算机架构设计中有挑战性的任务。在这方面，高级合成（HLS）作为快速原型设计的解决方案，从应用程序计算流程的行为描述开始。这种设计空间探索（DSE）旨在识别帕累托最佳的合成配置，其穷举搜索由于设计空间维度和合成过程的禁止计算成本而往往不可行。在该框架内，我们通过提出在文献中，有效和有效地解决了设计问题图形神经网络，该神经网络共同预测了合成的行为规范的加速性能和硬件成本给出了优化指令。考虑到性能和成本估计，学习模型可用于通过引导DSE来快速接近帕累托曲线。所提出的方法优于传统的HLS驱动DSE方法，通过考虑任意长度的计算机程序和输入的不变特性。我们提出了一种新颖的混合控制和数据流图表示，可以在不同硬件加速器的规格上培训图形神经网络;该方法自然地转移到解除数据处理应用程序。此外，我们表明我们的方法实现了与常用模拟器的预测准确性相当，而无需访问HLS编译器和目标FPGA的分析模型，同时是更快的数量级。最后，通过微调来自新目标域的少量样本，可以在未开发的配置空间中解放所学习的表示。

动态类型的语言如JavaScript和Python已成为最受欢迎的使用中的使用中。重要的优势可以从动态类型的程序中的类型注释累积。逐渐键入的这种方法是由Querecript编程系统示例，允许程序员指定部分键入的程序，然后使用静态分析来推断剩余类型。然而，通常，静态类型推断的有效性受到限制，取决于程序结构和初始注释的复杂性。结果，对于可以在动态类型的程序中可以在静态预测类型中推进本领域的新​​方法的强大动机，并且该具有可接受的性能用于交互式编程环境。以前的工作表明了使用深度学习的概率类型推断的承诺。在本文中，我们通过引入一系列图形的神经网络（GNN）模型来推进过去的工作，该模型在新型流程图（TFG）表示上运行。 TFG表示输入程序的元素，作为与语法边缘和数据流边缘连接的图表节点，并且我们的GNN模型训练以预测给定输入程序的TFG中的类型标签。我们为我们的评估数据集中的100种最常见类型的GNN模型研究了不同的设计选择，并显示了我们最佳的准确性的两个GNN配置，分别实现了87.76％和86.89％的前1个精度，优于两个最密切相关的深度学习型推断从过去的工作 - 矮人的前进剂，顶级1的精度为84.62％，兰丹特精确为79.45％。此外，这两种配置的平均推理吞吐量为353.8和1,303.9文件/秒，而DeepTyper的186.7个文件/秒和LambDanet的1,050.3文件/秒。

Pre-publication draft of a book to be published byMorgan & Claypool publishers. Unedited version released with permission. All relevant copyrights held by the author and publisher extend to this pre-publication draft.

图形神经网络（GNNS）是一类强大的机器学习工具，可以模拟节点关系，用于制定节点或链接的预测。GNN开发人员依靠预测的定量度量来评估GNN，但类似于许多其他神经网络，他们很难了解GNN是否真正学习如预期的图形的特征。我们提出了一种对应于其节点嵌入（AKA潜像）的输入图的方法，稍后用于预测的GNN的公共组件。我们摘要数据和任务，并开发一个名为corgie的交互式多视图界面，以实例化抽象。作为Corgie的关键功能，我们提出了K-Hop图布局，以显示啤酒花和它们的聚类结构中的拓扑邻居。为了评估Corgie的功能和可用性，我们展示了如何在两种使用情况下使用Corgie，并使用五个GNN专家进行案例研究。

图形神经网络已被证明可以为各种软件工程任务产生令人印象深刻的结果。但是，现有技术仍然有两个问题：（1）长期依赖性和（2）不同的代码组件在不应该的情况下被视为平等。为了解决这些问题，我们提出了一种表示代码为层次结构（代码层次结构）的方法，其中不同的代码组件在各个粒度级别分别表示。然后，为了处理每个表示级别的表示，我们设计了一个新颖的网络体系结构Echelon，它结合了异质图形变压器网络和基于树的卷积神经网络的优势，以学习具有代码依赖性信息丰富的抽象语法树。我们还提出了一个新颖的预处理目标，称为缺失子树预测以补充我们的代码层次结构。评估结果表明，我们的方法在三个任务中大大优于其他基准：任何代码完成，代码分类和代码克隆检测。

由不同类型的节点和边缘组成的学习异质图增强了均匀图技术的结果。这样的图形的一个有趣示例是代表可能的软件代码执行流的控制流图。由于此类图代表了代码的更多语义信息，因此为这些图形开发技术和工具可能对检测软件中的漏洞的可靠性非常有益。但是，现有的异质图技术仍然不足以处理复杂的图形，在处理复杂的图形中，不同类型的节点和边缘数量较大且可变。本文集中于以太坊智能合约作为由构建在控制流图和包含不同类型的节点和链接的呼叫图的异质合同图表示的软件代码样本。我们提出了曼多（Mando），这是一种新的异质图表示，以学习这种异质合同图的结构。 Mando提取自定义的Metapaths，该Metapaths在不同类型的节点及其邻居之间建立了关系连接。此外，它开发了一个多米达异构图注意网络，以学习不同类型的节点及其在异质合同图中的多层嵌入，可以更准确地捕获智能合约的代码语义，并便利两者。 - 水平和粗粒合同级别的漏洞检测。我们对大型智能合同数据集的广泛评估表明，曼多（Mando）在粗粒合同水平上改善了其他技术的脆弱性检测结果。更重要的是，它是第一种基于学习的方法，能够在细粒度的线条层面上识别漏洞，并在F1分数方面将基于代码分析的传统漏洞检测方法显着提高了11.35％至70.81％。

Code review is an integral part of any mature software development process, and identifying the best reviewer for a code change is a well accepted problem within the software engineering community. Selecting a reviewer who lacks expertise and understanding can slow development or result in more defects. To date, most reviewer recommendation systems rely primarily on historical file change and review information; those who changed or reviewed a file in the past are the best positioned to review in the future. We posit that while these approaches are able to identify and suggest qualified reviewers, they may be blind to reviewers who have the needed expertise and have simply never interacted with the changed files before. To address this, we present CORAL, a novel approach to reviewer recommendation that leverages a socio-technical graph built from the rich set of entities (developers, repositories, files, pull requests, work-items, etc.) and their relationships in modern source code management systems. We employ a graph convolutional neural network on this graph and train it on two and a half years of history on 332 repositories. We show that CORAL is able to model the manual history of reviewer selection remarkably well. Further, based on an extensive user study, we demonstrate that this approach identifies relevant and qualified reviewers who traditional reviewer recommenders miss, and that these developers desire to be included in the review process. Finally, we find that "classical" reviewer recommendation systems perform better on smaller (in terms of developers) software projects while CORAL excels on larger projects, suggesting that there is "no one model to rule them all."

异质图卷积网络在解决异质网络数据的各种网络分析任务方面已广受欢迎，从链接预测到节点分类。但是，大多数现有作品都忽略了多型节点之间的多重网络的关系异质性，而在元路径中，元素嵌入中关系的重要性不同，这几乎无法捕获不同关系跨不同关系的异质结构信号。为了应对这一挑战，这项工作提出了用于异质网络嵌入的多重异质图卷积网络（MHGCN）。我们的MHGCN可以通过多层卷积聚合自动学习多重异质网络中不同长度的有用的异质元路径相互作用。此外，我们有效地将多相关结构信号和属性语义集成到学习的节点嵌入中，并具有无监督和精选的学习范式。在具有各种网络分析任务的五个现实世界数据集上进行的广泛实验表明，根据所有评估指标，MHGCN与最先进的嵌入基线的优势。

图表表示学习是一种快速增长的领域，其中一个主要目标是在低维空间中产生有意义的图形表示。已经成功地应用了学习的嵌入式来执行各种预测任务，例如链路预测，节点分类，群集和可视化。图表社区的集体努力提供了数百种方法，但在所有评估指标下没有单一方法擅长，例如预测准确性，运行时间，可扩展性等。该调查旨在通过考虑算法来评估嵌入方法的所有主要类别的图表变体，参数选择，可伸缩性，硬件和软件平台，下游ML任务和多样化数据集。我们使用包含手动特征工程，矩阵分解，浅神经网络和深图卷积网络的分类法组织了图形嵌入技术。我们使用广泛使用的基准图表评估了节点分类，链路预测，群集和可视化任务的这些类别算法。我们在Pytorch几何和DGL库上设计了我们的实验，并在不同的多核CPU和GPU平台上运行实验。我们严格地审查了各种性能指标下嵌入方法的性能，并总结了结果。因此，本文可以作为比较指南，以帮助用户选择最适合其任务的方法。

在线零售平台，积极检测交易风险至关重要，以提高客户体验，并尽量减少财务损失。在这项工作中，我们提出了一种可解释的欺诈行为预测框架，主要由探测器和解释器组成。 Xfraud探测器可以有效和有效地预测进货交易的合法性。具体地，它利用异构图形神经网络来从事务日志中的信息的非渗透键入实体中学习表达式表示。 Xfraud中的解释器可以从图表中生成有意义和人性化的解释，以便于业务部门中的进一步进程。在我们对具有高达11亿节点和37亿边缘的实际交易网络上的Xfraud实验中，XFraud能够在许多评估度量中倾销各种基线模型，同时在分布式设置中剩余可扩展。此外，我们表明，XFraud解释者可以通过定量和定性评估来显着帮助业务分析来产生合理的解释。

在实际执行或基准测试之前预测生产代码的性能是高度挑战的。在本文中，我们提出了一个被称为TEP-GNN的预测模型，该模型表明，对于预测单位测试执行时间的特殊情况，高准确性的性能预测是可能的。 Tep-gnn使用FA-asts或流动的ASTS作为基于图的代码表示方法，并使用强大的图形神经网络（GNN）深度学习模型预测测试执行时间。我们基于从项目公共存储库中开采的922个测试文件，使用四个现实生活中的Java开源程序评估TEP-GNN。我们发现我们的方法达到了0.789的较高的Pearson相关性，表现优于基线深度学习模型。但是，我们还发现，训练有素的模型需要更多的工作来概括看不见的项目。我们的工作表明，FA-asts和GNN是预测绝对性能值的可行方法，并作为能够在执行前预测任意代码的性能的重要中介步骤。

即使机器学习算法已经在数据科学中发挥了重要作用，但许多当前方法对输入数据提出了不现实的假设。由于不兼容的数据格式，或数据集中的异质，分层或完全缺少的数据片段，因此很难应用此类方法。作为解决方案，我们提出了一个用于样本表示，模型定义和培训的多功能，统一的框架，称为“ Hmill”。我们深入审查框架构建和扩展的机器学习的多个范围范式。从理论上讲，为HMILL的关键组件的设计合理，我们将通用近似定理的扩展显示到框架中实现的模型所实现的所有功能的集合。本文还包含有关我们实施中技术和绩效改进的详细讨论，该讨论将在MIT许可下发布供下载。该框架的主要资产是其灵活性，它可以通过相同的工具对不同的现实世界数据源进行建模。除了单独观察到每个对象的一组属性的标准设置外，我们解释了如何在框架中实现表示整个对象系统的图表中的消息推断。为了支持我们的主张，我们使用框架解决了网络安全域的三个不同问题。第一种用例涉及来自原始网络观察结果的IoT设备识别。在第二个问题中，我们研究了如何使用以有向图表示的操作系统的快照可以对恶意二进制文件进行分类。最后提供的示例是通过网络中实体之间建模域黑名单扩展的任务。在所有三个问题中，基于建议的框架的解决方案可实现与专业方法相当的性能。

Graph AutoCododers（GAE）和变分图自动编码器（VGAE）作为链接预测的强大方法出现。他们的表现对社区探测问题的印象不那么令人印象深刻，根据最近和同意的实验评估，它们的表现通常超过了诸如louvain方法之类的简单替代方案。目前尚不清楚可以通过GAE和VGAE改善社区检测的程度，尤其是在没有节点功能的情况下。此外，不确定是否可以在链接预测上同时保留良好的性能。在本文中，我们表明，可以高精度地共同解决这两个任务。为此，我们介绍和理论上研究了一个社区保留的消息传递方案，通过在计算嵌入空间时考虑初始图形结构和基于模块化的先验社区来掺杂我们的GAE和VGAE编码器。我们还提出了新颖的培训和优化策略，包括引入一个模块化的正规器，以补充联合链路预测和社区检测的现有重建损失。我们通过对各种现实世界图的深入实验验证，证明了方法的经验有效性，称为模块化感知的GAE和VGAE。

成功的材料选择对于设计和制造产品的设计自动化至关重要。设计师通过通过性能，制造性和可持续性评估选择最合适的材料来利用他们的知识和经验来创建高质量的设计。智能工具可以通过提供从先前的设计中学到的建议来帮助具有不同专业知识的设计师。为了实现这一目标，我们介绍了一个图表表示学习框架，该框架支持组装中身体的物质预测。我们将材料选择任务作为节点级预测任务，对CAD模型的汇编图表示，并使用图形神经网络（GNN）对其进行处理。在Fusion 360画廊数据集上执行的三个实验协议的评估表明我们的方法的可行性，达到了0.75 TOP-3 Micro-F1分数。提出的框架可以扩展到大型数据集，并将设计师的知识纳入学习过程。这些功能使该框架可以作为设计自动化的推荐系统以及未来工作的基准，从而缩小了人类设计师与智能设计代理之间的差距。

Deep learning has revolutionized many machine learning tasks in recent years, ranging from image classification and video processing to speech recognition and natural language understanding. The data in these tasks are typically represented in the Euclidean space. However, there is an increasing number of applications where data are generated from non-Euclidean domains and are represented as graphs with complex relationships and interdependency between objects. The complexity of graph data has imposed significant challenges on existing machine learning algorithms. Recently, many studies on extending deep learning approaches for graph data have emerged. In this survey, we provide a comprehensive overview of graph neural networks (GNNs) in data mining and machine learning fields. We propose a new taxonomy to divide the state-of-the-art graph neural networks into four categories, namely recurrent graph neural networks, convolutional graph neural networks, graph autoencoders, and spatial-temporal graph neural networks. We further discuss the applications of graph neural networks across various domains and summarize the open source codes, benchmark data sets, and model evaluation of graph neural networks. Finally, we propose potential research directions in this rapidly growing field.

现代软件系统依赖于存储在公共云中的业务敏感数据的采矿见解。数据泄露通常会给商业组织带来重大（货币）损失。从概念上讲，云安全性在很大程度上依赖于身份访问管理（IAM）策略，其策略需要正确配置和定期更新。安全的疏忽和人为错误通常会导致IAM政策错误配置，这可能为攻击者打开后门。为了解决这些挑战，首先，我们开发了一个新颖的框架，该框架使用约束编程（CP）编码生成最佳IAM策略。我们将减少云用户的黑暗权限确定为最佳标准，这直觉上意味着最大程度地减少了不必要的数据存储访问权限。其次，为了使IAM策略可解释，我们使用应用于用户的历史访问模式的图表学习来增强我们的CP模型具有相似性约束：相似的用户应分组在一起并共享常见的IAM策略。第三，我们描述了多个攻击模型，并表明我们优化的IAM政策可大大减少使用来自8个商业组织和合成实例的真实数据的安全攻击的影响。

Recent years have witnessed the emerging success of graph neural networks (GNNs) for modeling structured data. However, most GNNs are designed for homogeneous graphs, in which all nodes and edges belong to the same types, making them infeasible to represent heterogeneous structures. In this paper, we present the Heterogeneous Graph Transformer (HGT) architecture for modeling Web-scale heterogeneous graphs. To model heterogeneity, we design node-and edge-type dependent parameters to characterize the heterogeneous attention over each edge, empowering HGT to maintain dedicated representations for different types of nodes and edges. To handle dynamic heterogeneous graphs, we introduce the relative temporal encoding technique into HGT, which is able to capture the dynamic structural dependency with arbitrary durations. To handle Web-scale graph data, we design the heterogeneous mini-batch graph sampling algorithm-HGSampling-for efficient and scalable training. Extensive experiments on the Open Academic Graph of 179 million nodes and 2 billion edges show that the proposed HGT model consistently outperforms all the state-of-the-art GNN baselines by 9%-21% on various downstream tasks. The dataset and source code of HGT are publicly available at https://github.com/acbull/pyHGT.

Machine learning on graphs is an important and ubiquitous task with applications ranging from drug design to friendship recommendation in social networks. The primary challenge in this domain is finding a way to represent, or encode, graph structure so that it can be easily exploited by machine learning models. Traditionally, machine learning approaches relied on user-defined heuristics to extract features encoding structural information about a graph (e.g., degree statistics or kernel functions). However, recent years have seen a surge in approaches that automatically learn to encode graph structure into low-dimensional embeddings, using techniques based on deep learning and nonlinear dimensionality reduction. Here we provide a conceptual review of key advancements in this area of representation learning on graphs, including matrix factorization-based methods, random-walk based algorithms, and graph neural networks. We review methods to embed individual nodes as well as approaches to embed entire (sub)graphs. In doing so, we develop a unified framework to describe these recent approaches, and we highlight a number of important applications and directions for future work.

TensorFlow GNN（TF-GNN）是张量曲线的图形神经网络的可扩展库。它是从自下而上设计的，以支持当今信息生态系统中发生的丰富的异质图数据。Google的许多生产模型都使用TF-GNN，最近已作为开源项目发布。在本文中，我们描述了TF-GNN数据模型，其KERAS建模API以及相关功能，例如图形采样，分布式训练和加速器支持。