深度学习在各种软件工程任务中广泛使用，例如，节目分类和缺陷预测。虽然该技术消除了特征工程所需的过程，但源代码模型的构建显着影响了这些任务的性能。最近的作品主要集中在通过引入从CFG提取的上下文依赖项来补充基于AST的源代码模型。但是，所有这些都关注基本块的表示，这是上下文依赖性的基础。在本文中，我们集成了AST和CFG，并提出了一种嵌入了分层依赖项的新型源代码模型。基于此，我们还设计了一种神经网络，这取决于图表关注机制。特殊地，我们介绍了基本块的句法结构，即其对应的AST，在源代码模型中提供足够的信息并填补间隙。我们在三种实际软件工程任务中评估了该模型，并将其与其他最先进的方法进行了比较。结果表明，我们的模型可以显着提高性能。例如，与最佳性能的基线相比，我们的模型将参数的比例降低了50 \％并实现了对程序分类任务的准确性的4 \％改进。

代码搜索目标是根据自然语言查询检索相关的代码片段，以提高软件生产力和质量。但是，由于源代码和查询之间的语义间隙，自动代码搜索是具有挑战性的。大多数现有方法主要考虑嵌入的顺序信息，其中文本背后的结构信息不完全考虑。在本文中，我们设计了一个名为GraphsearchNet的新型神经网络框架，通过共同学习源代码和查询的富集语义来启用有效和准确的源代码搜索。具体地，我们建议将源代码和查询编码为两个图，其中双向GGNN以捕获图表的本地结构信息。此外，我们通过利用有效的多主题来增强BigGNN，以补充BigGNN错过的全球依赖。关于Java和Python数据集的广泛实验说明了GraphSearchNet优于当前最先进的工作原位。

尽管不断努力提高代码搜索的有效性和效率，但仍未解决两个问题。首先，编程语言具有固有的牢固结构链接，并且代码的特征是文本表单将省略其中包含的结构信息。其次，代码和查询之间存在潜在的语义关系，跨序列对齐代码和文本是具有挑战性的，因此在相似性匹配期间，向量在空间上保持一致。为了解决这两个问题，在本文中，提出了一个名为CSSAM的代码搜索模型（代码语义和结构注意匹配）。通过引入语义和结构匹配机制，CSSAM有效提取并融合了多维代码功能。具体而言，开发了交叉和残留层，以促进代码和查询的高纬度空间比对。通过利用残差交互，匹配模块旨在保留更多的代码语义和描述性功能，从而增强了代码及其相应查询文本之间的附着力。此外，为了提高模型对代码固有结构的理解，提出了一个名为CSRG的代码表示结构（代码语义表示图），用于共同表示抽象语法树节点和代码的数据流。根据两个包含540K和330K代码段的公开可用数据集的实验结果，CSSAM在两个数据集中分别在获得最高的SR@1/5/10，MRR和NDCG@50方面大大优于基本线。此外，进行消融研究是为了定量衡量CSSAM每个关键组成部分对代码搜索效率和有效性的影响，这为改进高级代码搜索解决方案提供了见解。

动态类型的语言如JavaScript和Python已成为最受欢迎的使用中的使用中。重要的优势可以从动态类型的程序中的类型注释累积。逐渐键入的这种方法是由Querecript编程系统示例，允许程序员指定部分键入的程序，然后使用静态分析来推断剩余类型。然而，通常，静态类型推断的有效性受到限制，取决于程序结构和初始注释的复杂性。结果，对于可以在动态类型的程序中可以在静态预测类型中推进本领域的新​​方法的强大动机，并且该具有可接受的性能用于交互式编程环境。以前的工作表明了使用深度学习的概率类型推断的承诺。在本文中，我们通过引入一系列图形的神经网络（GNN）模型来推进过去的工作，该模型在新型流程图（TFG）表示上运行。 TFG表示输入程序的元素，作为与语法边缘和数据流边缘连接的图表节点，并且我们的GNN模型训练以预测给定输入程序的TFG中的类型标签。我们为我们的评估数据集中的100种最常见类型的GNN模型研究了不同的设计选择，并显示了我们最佳的准确性的两个GNN配置，分别实现了87.76％和86.89％的前1个精度，优于两个最密切相关的深度学习型推断从过去的工作 - 矮人的前进剂，顶级1的精度为84.62％，兰丹特精确为79.45％。此外，这两种配置的平均推理吞吐量为353.8和1,303.9文件/秒，而DeepTyper的186.7个文件/秒和LambDanet的1,050.3文件/秒。

由不同类型的节点和边缘组成的学习异质图增强了均匀图技术的结果。这样的图形的一个有趣示例是代表可能的软件代码执行流的控制流图。由于此类图代表了代码的更多语义信息，因此为这些图形开发技术和工具可能对检测软件中的漏洞的可靠性非常有益。但是，现有的异质图技术仍然不足以处理复杂的图形，在处理复杂的图形中，不同类型的节点和边缘数量较大且可变。本文集中于以太坊智能合约作为由构建在控制流图和包含不同类型的节点和链接的呼叫图的异质合同图表示的软件代码样本。我们提出了曼多（Mando），这是一种新的异质图表示，以学习这种异质合同图的结构。 Mando提取自定义的Metapaths，该Metapaths在不同类型的节点及其邻居之间建立了关系连接。此外，它开发了一个多米达异构图注意网络，以学习不同类型的节点及其在异质合同图中的多层嵌入，可以更准确地捕获智能合约的代码语义，并便利两者。 - 水平和粗粒合同级别的漏洞检测。我们对大型智能合同数据集的广泛评估表明，曼多（Mando）在粗粒合同水平上改善了其他技术的脆弱性检测结果。更重要的是，它是第一种基于学习的方法，能够在细粒度的线条层面上识别漏洞，并在F1分数方面将基于代码分析的传统漏洞检测方法显着提高了11.35％至70.81％。

基于语义相似性的代码克隆检测方法在软件工程任务中具有重要价值（例如，软件演进，软件重用）。传统的代码克隆检测技术更加注重语法级别的代码的相似性，并且不太注重代码的语义相似性。结果，忽略语义中类似的候选代码。要解决此问题，我们提出了一种基于语义相似性的代码克隆检测方法。通过将代码视为连续发生的一系列相互依存事件，我们设计了一个模型即欧欧，基于事件嵌入和事件依赖性编码代码语义信息。 EDAM模型使用事件嵌入方法来模拟程序语句的执行特征以及所有语句之间的数据依赖信息。以这种方式，我们可以将程序语义信息嵌入到向量中，并使用矢量来检测语义中类似的代码。实验结果表明，我们的EDAM模型的性能优于用于码克隆检测的最先进的开源模型。

Machine Learning for Source Code (ML4Code) is an active research field in which extensive experimentation is needed to discover how to best use source code's richly structured information. With this in mind, we introduce JEMMA, an Extensible Java Dataset for ML4Code Applications, which is a large-scale, diverse, and high-quality dataset targeted at ML4Code. Our goal with JEMMA is to lower the barrier to entry in ML4Code by providing the building blocks to experiment with source code models and tasks. JEMMA comes with a considerable amount of pre-processed information such as metadata, representations (e.g., code tokens, ASTs, graphs), and several properties (e.g., metrics, static analysis results) for 50,000 Java projects from the 50KC dataset, with over 1.2 million classes and over 8 million methods. JEMMA is also extensible allowing users to add new properties and representations to the dataset, and evaluate tasks on them. Thus, JEMMA becomes a workbench that researchers can use to experiment with novel representations and tasks operating on source code. To demonstrate the utility of the dataset, we also report results from two empirical studies on our data, ultimately showing that significant work lies ahead in the design of context-aware source code models that can reason over a broader network of source code entities in a software project, the very task that JEMMA is designed to help with.

深度学习方法的最新突破引发了人们对基于学习的错误探测器的兴趣。与传统的静态分析工具相比，这些错误检测器是直接从数据中学到的，因此更容易创建。另一方面，它们很难训练，需要大量数据，而这些数据不容易获得。在本文中，我们提出了一种称为Meta Bug检测的新方法，该方法比现有基于学习的错误探测器具有三个至关重要的优势：Bug-Type通用（即，能够捕获在培训期间完全没有观察到的错误类型），可以自我解释（即能够在没有任何外部可解释方法的情况下解释其自身的预测）和样本有效（即，比标准错误检测器所需的培训数据要少得多）。我们的广泛评估表明，我们的元错误检测器（MBD）有效地捕获了各种错误，包括NULL指针解除，阵列索引外部漏洞，文件句柄泄漏甚至是并发程序中的数据竞赛；在此过程中，MBD还大大优于几个值得注意的基线，包括Facebook推断，一种著名的静态分析工具和FICS，即最新的异常检测方法。

在实际执行或基准测试之前预测生产代码的性能是高度挑战的。在本文中，我们提出了一个被称为TEP-GNN的预测模型，该模型表明，对于预测单位测试执行时间的特殊情况，高准确性的性能预测是可能的。 Tep-gnn使用FA-asts或流动的ASTS作为基于图的代码表示方法，并使用强大的图形神经网络（GNN）深度学习模型预测测试执行时间。我们基于从项目公共存储库中开采的922个测试文件，使用四个现实生活中的Java开源程序评估TEP-GNN。我们发现我们的方法达到了0.789的较高的Pearson相关性，表现优于基线深度学习模型。但是，我们还发现，训练有素的模型需要更多的工作来概括看不见的项目。我们的工作表明，FA-asts和GNN是预测绝对性能值的可行方法，并作为能够在执行前预测任意代码的性能的重要中介步骤。

Decompilation aims to transform a low-level program language (LPL) (eg., binary file) into its functionally-equivalent high-level program language (HPL) (e.g., C/C++). It is a core technology in software security, especially in vulnerability discovery and malware analysis. In recent years, with the successful application of neural machine translation (NMT) models in natural language processing (NLP), researchers have tried to build neural decompilers by borrowing the idea of NMT. They formulate the decompilation process as a translation problem between LPL and HPL, aiming to reduce the human cost required to develop decompilation tools and improve their generalizability. However, state-of-the-art learning-based decompilers do not cope well with compiler-optimized binaries. Since real-world binaries are mostly compiler-optimized, decompilers that do not consider optimized binaries have limited practical significance. In this paper, we propose a novel learning-based approach named NeurDP, that targets compiler-optimized binaries. NeurDP uses a graph neural network (GNN) model to convert LPL to an intermediate representation (IR), which bridges the gap between source code and optimized binary. We also design an Optimized Translation Unit (OTU) to split functions into smaller code fragments for better translation performance. Evaluation results on datasets containing various types of statements show that NeurDP can decompile optimized binaries with 45.21% higher accuracy than state-of-the-art neural decompilation frameworks.

代码克隆是实现类似功能的代码段对。克隆检测是自动源代码理解的基本分支，在重构建议，窃检测和代码摘要中具有许多应用程序。克隆检测的一个特别有趣的案例是检测语义克隆，即具有相同功能但实现方面有显着差异的代码段。检测语义克隆的一种有希望的方法是对比度学习（CL），这是一种在计算机视觉中流行的机器学习范式，但尚未用于代码处理。我们的工作旨在评估最受欢迎的CL算法以及两个任务上的三个源代码表示形式。第一个任务是代码克隆检测，我们在包含104个算法的实现的POJ-104数据集上进行了评估。第二个任务是窃检测。为了评估此任务上的模型，我们介绍了CodeTransFormator，这是用于转换源代码的工具。我们使用它来创建一个基于竞争性编程解决方案模仿窃代码的数据集。我们为这两项任务培训了九个模型，并将其与现有的六种方法进行了比较，包括传统工具和现代培训的神经模型。我们评估的结果表明，提议的模型在每个任务中都具有多样性，但是基于图的模型的性能通常高于其他模型。在CL算法中，SIMCLR和SWAV带来更好的结果，而MoCo是最强大的方法。我们的代码和训练有素的模型可在https://doi.org/10.5281/zenodo.6360627，https://doi.org/10.5281/zenodo.5596345获得。

Context: The IoT system infrastructure platform facility vulnerability attack has become the main battlefield of network security attacks. Most of the traditional vulnerability mining methods rely on vulnerability detection tools to realize vulnerability discovery. However, due to the inflexibility of tools and the limitation of file size, its scalability It is relatively low and cannot be applied to large-scale power big data fields. Objective: The goal of the research is to intelligently detect vulnerabilities in source codes of high-level languages such as C/C++. This enables us to propose a code representation of sensitive sentence-related slices of source code, and to detect vulnerabilities by designing a distributed deep ensemble learning model. Method: In this paper, a new directional vulnerability mining method of parallel ensemble learning is proposed to solve the problem of large-scale data vulnerability mining. By extracting sensitive functions and statements, a sensitive statement library of vulnerable codes is formed. The AST stream-based vulnerability code slice with higher granularity performs doc2vec sentence vectorization on the source code through the random sampling module, obtains different classification results through distributed training through the Bi-LSTM trainer, and obtains the final classification result by voting. Results: This method designs and implements a distributed deep ensemble learning system software vulnerability mining system called DCDetector. It can make accurate predictions by using the syntactic information of the code, and is an effective method for analyzing large-scale vulnerability data. Conclusion: Experiments show that this method can reduce the false positive rate of traditional static analysis and improve the performance and accuracy of machine learning.

图形神经网络已被证明可以为各种软件工程任务产生令人印象深刻的结果。但是，现有技术仍然有两个问题：（1）长期依赖性和（2）不同的代码组件在不应该的情况下被视为平等。为了解决这些问题，我们提出了一种表示代码为层次结构（代码层次结构）的方法，其中不同的代码组件在各个粒度级别分别表示。然后，为了处理每个表示级别的表示，我们设计了一个新颖的网络体系结构Echelon，它结合了异质图形变压器网络和基于树的卷积神经网络的优势，以学习具有代码依赖性信息丰富的抽象语法树。我们还提出了一个新颖的预处理目标，称为缺失子树预测以补充我们的代码层次结构。评估结果表明，我们的方法在三个任务中大大优于其他基准：任何代码完成，代码分类和代码克隆检测。

高吞吐量数据处理应用的高效硬件加速器设计，例如深度神经网络，是计算机架构设计中有挑战性的任务。在这方面，高级合成（HLS）作为快速原型设计的解决方案，从应用程序计算流程的行为描述开始。这种设计空间探索（DSE）旨在识别帕累托最佳的合成配置，其穷举搜索由于设计空间维度和合成过程的禁止计算成本而往往不可行。在该框架内，我们通过提出在文献中，有效和有效地解决了设计问题图形神经网络，该神经网络共同预测了合成的行为规范的加速性能和硬件成本给出了优化指令。考虑到性能和成本估计，学习模型可用于通过引导DSE来快速接近帕累托曲线。所提出的方法优于传统的HLS驱动DSE方法，通过考虑任意长度的计算机程序和输入的不变特性。我们提出了一种新颖的混合控制和数据流图表示，可以在不同硬件加速器的规格上培训图形神经网络;该方法自然地转移到解除数据处理应用程序。此外，我们表明我们的方法实现了与常用模拟器的预测准确性相当，而无需访问HLS编译器和目标FPGA的分析模型，同时是更快的数量级。最后，通过微调来自新目标域的少量样本，可以在未开发的配置空间中解放所学习的表示。

恢复程序的呼叫图对于基于流程间分析任务和应用程序至关重要。核心挑战是识别间接呼叫的目标（即，间接分支机构）。由于二进制文件中的信息丢失，如果目标程序以二元形式为二元形式，则变得更具挑战性。二进制文件的现有间接Callee识别解决方案都具有高误报和负面，使呼叫图不准确。在本文中，我们提出了一种基于暹罗神经网络的新解决方案，受到质疑答案应用的进步的启发。关键洞察力是，神经网络可以学习通过理解其上下文，即附近呼叫和分支机构的指示是间接代表的潜在目标。在此洞察力之后，我们首先预处理目标二进制文件，以提取电话和分支的上下文。然后，我们构建适用于汇编语言的自定义自然语言处理（NLP）模型。此外，我们收集了丰富的呼叫和分支，并将其上下文与NLP模型嵌入，然后培训暹罗网络和分类器以回答电呼叫路上的问题。我们已经实施了Inclelee的原型，并在几组目标上进行了评估。评价结果表明，我们的解决方案可以将手段与F1措施相匹配93.7％，召回的93.8％，精度为93.5％，比最先进的解决方案好得多。为了展示其有用性，我们将iCallee应用于两个特定的应用 - 二进制代码相似性检测和二进制程序硬化，并发现它可以大大提高最先进的解决方案。

深学习方法，已经在诸如图像分类和自然语言处理领域中的成功应用，最近被应用到源代码分析过，由于免费提供源代码（例如，从开源软件库）的巨大数额。在这项工作中，我们阐述在国家的最先进的方法来使用有关其句法结构信息的源代码表示，我们适应它代表源的变化（即，提交）。我们使用这种表示安全相关的分类提交。因为我们的方法是使用迁移学习（也就是我们训练的一个“借口任务”是可用的丰富的标签数据的网络，然后我们使用这样的网络提交分类的目标任务，为此，少标记实例可用）我们研究了前培训使用两种不同的借口任务与随机初始化模型的网络的影响。我们的研究结果表明，通过利用代码语法跑赢基于令牌的表示得到的结构信息表示。此外，具有非常大的数据集上的松散的相关任务借口训练前时所获得的性能度量（$> 10 ^ 6个$样品）上的更小的数据集训练前当超过（$> 10 ^ 4 $样品）但对于一个借口任务更密切相关的目标任务。

代码摘要可帮助开发人员理解程序并减少在软件维护过程中推断程序功能的时间。最近的努力诉诸深度学习技术，例如序列到序列模型，以生成准确的代码摘要，其中基于变压器的方法已实现了有希望的性能。但是，在此任务域中，有效地将代码结构信息集成到变压器中的情况不足。在本文中，我们提出了一种名为SG-Trans的新方法，将代码结构属性纳入变压器。具体而言，我们将局部符号信息（例如，代码令牌和语句）和全局句法结构（例如，数据流程图）注入变压器的自我发项模块中。为了进一步捕获代码的层次结构特征，局部信息和全局结构旨在分布在下层和变压器高层的注意力头中。广泛的评估表明，SG-trans的表现优于最先进的方法。与表现最佳的基线相比，SG-Trans在流星评分方面仍然可以提高1.4％和2.0％，这是一个广泛用于测量发电质量的度量，分别在两个基准数据集上。

终止分析研究了打算检测非终止的程序的终止行为，这众所周知会导致各种程序错误（例如悬挂程序，拒绝服务漏洞）。除了正式的方法外，已经进行了各种尝试来估计使用神经网络的程序的终止行为。但是，这些方法中的大多数继续依靠形式方法来提供强大的健全性保证，因此受到了类似的限制。在本文中，我们摆脱了形式的方法，拥抱机器学习模型的随机性质。我们的目标不是要通过解决方案来解释的严格保证，而是提供估计程序的终止行为，以及程序员可以将其用于调试目的的可能性不终止的可能原因（如果适用）。与以前使用神经网络进行程序终止的方法相比，我们还通过采用图形神经网络来利用程序的图表表示。为了进一步协助程序员理解和调试非终止错误，我们适应了以前用于其他应用程序域的注意力和语义细分的概念。总体而言，我们设计和实现了基于图形卷积网络和图形注意网络的程序终止的分类器，以及语义分割图形神经网络，该神经网络本地定位可能导致非终止的AST节点。我们还说明了如何将语义细分提供的信息与程序切片结合在一起，以进一步帮助调试。

软件测试可能是一个漫长且昂贵的过程，尤其是如果无法测试的软件进行测试。重构技术可以通过改善影响可检验性的软件指标来增强可检验性。在构建回归模型学习如何将计算的源代码计算指标与其可检验性相关联的指标时，确定了指标。我们确定了15个软件指标，在解释我们的可检测性预测模型的同时，高度影响可检验性。我们使用42个Java类的实验表明，除了改善其他一些质量属性外，改善这15个指标的重构平均可以提高可测试性15.57％。我们的可测试性预测模型经过训练，可以映射源代码指标，以测试有效性和效率，作为可测试软件的两种重要成分。随着测试套件获得的覆盖范围的增加，测试有效性会提高。另一方面，随着测试套件的大小增加，测试效率会降低。本文提供了一个数学模型，以根据测试套件的大小和覆盖范围来计算类可检验性。我们使用此数学模型来计算可测试性作为我们可检测性预测模型的目标。数学模型要求执行正在测试的类以计算测试覆盖范围，而我们的回归模型在静态上测量了测试性。在测试性方面的测试结果预测应在测试之前，以避免不必要的成本。我们的可测试性预测模型已在23,886个Java类和262个软件指标上进行了培训和测试。学习的模型以R2为0.68，平均平方误差为0.03，可预测可验证性。

异质图卷积网络在解决异质网络数据的各种网络分析任务方面已广受欢迎，从链接预测到节点分类。但是，大多数现有作品都忽略了多型节点之间的多重网络的关系异质性，而在元路径中，元素嵌入中关系的重要性不同，这几乎无法捕获不同关系跨不同关系的异质结构信号。为了应对这一挑战，这项工作提出了用于异质网络嵌入的多重异质图卷积网络（MHGCN）。我们的MHGCN可以通过多层卷积聚合自动学习多重异质网络中不同长度的有用的异质元路径相互作用。此外，我们有效地将多相关结构信号和属性语义集成到学习的节点嵌入中，并具有无监督和精选的学习范式。在具有各种网络分析任务的五个现实世界数据集上进行的广泛实验表明，根据所有评估指标，MHGCN与最先进的嵌入基线的优势。