在开源存储库中发现的真正错误修复似乎是学习本地化和修复实际错误的理想来源。但是，缺乏大规模的错误修复集合使过去难以有效利用过去的较大神经模型的真正错误修复。相比之下，人工错误 - 通过突变现有源代码产生的人为错误可以轻松地以足够的规模获得，因此在培训现有方法时通常是首选的。尽管如此，在面对真正的错误时，经过对人造错误的培训的本地化和维修模型通常在表现不佳。这就提出了一个问题，是否在实际错误修复程序上培训的错误本地化和维修模型在本地化和维修实际错误方面更有效。我们通过引入Realit，这是一种预先培训和预先计算方法，以有效地学习从真正的错误修复中进行本地化和修复真实的错误来解决这个问题。 Realit首先是在传统突变操作员产生的大量人造错误上进行的，然后在较小的一组实际错误修复程序上进行了微调。微调不需要对学习算法进行任何修改，因此可以轻松地在各种培训方案中用于错误定位或维修（即使实际培训数据很少）。此外，我们发现，对使用真实错误修复的培训在经验上几乎使现有模型在实际错误上的本地化性能翻了一番，同时维护甚至改善了维修性能。

基于机器学习的程序分析最近显示了整合正式和概率推理对辅助软件开发的承诺。但是，在没有大型注释的语料库的情况下，培训这些分析是挑战性的。为了解决这个问题，我们呈现Buglab，一种自我监督学习的错误检测和修复方法。Buglab Co-Trains两种型号：（1）检测仪模型，用于检测和修复代码中的错误，（2）选择器模型，了解为探测器创建用于训练数据的错误代码。在2374个真实错误的测试数据集上，Buglab的Python实现在基线方法上提高了30％，并在开源软件中找到19个以前未知的错误。

在本文中，我们解决了深入学习的软件漏洞自动修复问题。数据驱动漏洞修复的主要问题是已知确认漏洞的少数现有数据集仅由几千例组成。然而，培训深度学习模型通常需要数十万例的例子。在这项工作中，我们利用了错误修复任务和漏洞修复任务的直觉相关，并且可以传输来自错误修复的知识可以传输到修复漏洞。在机器学习界中，这种技术称为转移学习。在本文中，我们提出了一种修复名为Vreepair的安全漏洞的方法，该方法是基于转移学习。 vreepair首先在大型错误修复语料库上培训，然后在漏洞修复数据集上调整，这是一个较小的数量级。在我们的实验中，我们表明，仅在错误修复语料库上培训的模型可能已经修复了一些漏洞。然后，我们证明转移学习改善了修复易受攻击的C功能的能力。我们还表明，转移学习模型比具有去噪任务训练的模型更好，并在漏洞固定任务上进行微调。总而言之，本文表明，与在小型数据集上的学习相比，转移学习适用于修复C中的安全漏洞。

Automated software debugging is a crucial task for improving the productivity of software developers. Many neural-based techniques have been proven effective for debugging-related tasks such as bug localization and program repair (or bug fixing). However, these techniques often focus only on either one of them or approach them in a stage-wise manner, ignoring the mutual benefits between them. In this work, we propose a novel unified \emph{Detect-Localize-Repair} framework based on a pretrained programming language model CodeT5 to seamlessly address these tasks, named CodeT5-DLR. Specifically, we propose three objectives to adapt the generic CodeT5 for debugging: a bug detection objective to determine whether a given code snippet is buggy or not, a bug localization objective to identify the buggy lines, and a program repair objective to translate the buggy code to its fixed version. We evaluate it on each of these tasks and their combined setting on two newly collected line-level debugging datasets in Java and Python. Extensive results show that our model significantly outperforms existing baselines from both NLP and software engineering domains.

深度学习最近在程序分析任务（例如错误检测）方面取得了最初的成功。缺乏真正的错误，大多数现有的作品通过将合成错误注入正确的程序来构建培训和测试数据。尽管达到了高测试精度（例如90％），但发现所得的错误检测器在实践中令人惊讶地无法使用，即用于扫描真实软件存储库时<10％的精度。在这项工作中，我们认为这种巨大的性能差异是由分布变化引起的，即实际错误分布与用于训练和评估检测器的合成错误分布之间的基本不匹配。为了应对这一关键挑战，我们建议在两个阶段训练一个错误检测器，首先是合成错误分布，以使模型适应错误检测域，然后在真实的错误分布上调整模型，以将模型驱动到真实分布。在这两个阶段中，我们利用多任务层次结构，焦点损失和对比度学习来进一步提高性能。我们对三种经过广泛研究的错误类型进行了广泛的评估，为此，我们仔细设计了新的数据集，以捕获真正的错误分布。结果表明，我们的方法实际上是有效的，并且可以成功地减轻分配的转变：我们学到的检测器在测试集和最新版本的开源存储库中都表现出色。我们的代码，数据集和模型可在https://github.com/eth-sri/learning-real-bug-detector上公开获取。

软件工程（ML4SE）的机器学习是一个积极发展的研究领域，专注于帮助程序员工作的方法。为了在实践中应用开发的方法，他们需要实现合理的质量，以帮助而不是分散开发人员的注意力。尽管开发新方法来代码表示和数据收集可以提高模型的整体质量，但它没有考虑到我们可以从手头项目中获得的信息。在这项工作中，我们研究了如果我们针对特定项目，则如何提高模型的质量。我们开发一个框架来评估质量改进，模型可以在特定项目上的方法名称预测任务进行微调后获得。我们评估了三种不同复杂性的模型，并在三个设置中进行了比较它们的质量：在大型Java项目的大型数据集上进行培训，进一步对特定项目的数据进行了微调，并从头开始训练了此数据。我们表明，每项项目的微调可以极大地提高模型的质量，因为它们捕获了项目的领域和命名约定。我们开放用于数据收集的工具以及运行实验的代码：https：//zenodo.org/record/6040745。

在源代码中自动定位易受攻击的陈述至关重要，以确保软件安全性和缓解开发人员的调试工作。这在当今软件生态系统中变得更加重要，其中易受攻击的代码可以在像GitHub这样的软件存储库中轻松且无意中流动。在这类数百万的代码行中，传统的静态和动态方法争取缩放。虽然基于机器学习的方法在这样的设置中看起来很有希望，但大多数工作都在较高的粒度下检测到脆弱的代码 - 在方法或文件级别。因此，开发人员仍然需要检查大量代码以找到需要修复的弱势陈述。本文提出了一种新的集合学习方法来定位脆弱的陈述。我们的模型结合了基于图形的基于序列的神经网络，以成功捕获程序图的本地和全局上下文，并有效地了解代码语义和易受攻击的模式。为了研究天鹅绒的效果，我们使用了一个现成的合成数据集和最近发布的现实世界数据集。在静态分析设置中，未提前检测到易受攻击功能，Velvet可以实现4.5倍的性能，而不是真实世界数据上的基线静态分析仪。对于孤立的漏洞本地化任务，在我们假设特定漏洞声明未知的同时知道函数的漏洞，我们将天鹅绒与几个神经网络进行比较，这些内部网络也参加了本地和全局代码背景。天鹅绒分别达到99.6％和43.6％的13.6％，分别在合成数据和现实世界数据上实现了高精度，优于基线深度学习模型5.3-29.0％。

Automated Program Repair (APR) is defined as the process of fixing a bug/defect in the source code, by an automated tool. APR tools have recently experienced promising results by leveraging state-of-the-art Neural Language Processing (NLP) techniques. APR tools such as TFix and CodeXGLUE combine text-to-text transformers with software-specific techniques are outperforming alternatives, these days. However, in most APR studies the train and test sets are chosen from the same set of projects. In reality, however, APR models are meant to be generalizable to new and different projects. Therefore, there is a potential threat that reported APR models with high effectiveness perform poorly when the characteristics of the new project or its bugs are different than the training set's(Domain Shift). In this study, we first define and measure the domain shift problem in automated program repair. Then, we then propose a domain adaptation framework that can adapt an APR model for a given target project. We conduct an empirical study with three domain adaptation methods FullFineTuning, TuningWithLightWeightAdapterLayers, and CurriculumLearning using two state-of-the-art domain adaptation tools (TFix and CodeXGLUE) and two APR models on 611 bugs from 19 projects. The results show that our proposed framework can improve the effectiveness of TFix by 13.05% and CodeXGLUE by 23.4%. Another contribution of this study is the proposal of a data synthesis method to address the lack of labelled data in APR. We leverage transformers to create a bug generator model. We use the generated synthetic data to domain adapt TFix and CodeXGLUE on the projects with no data (Zero-shot learning), which results in an average improvement of 5.76% and 24.42% for TFix and CodeXGLUE, respectively.

自动化程序维修（APR）旨在自动修复源代码中的错误。最近，随着深度学习（DL）领域的进步，神经程序修复（NPR）研究的兴起，该研究将APR作为翻译任务从Buggy Code开始，以纠正代码并采用基于编码器decoder架构的神经网络。与其他APR技术相比，NPR方法在适用性方面具有很大的优势，因为它们不需要任何规范（即测试套件）。尽管NPR一直是一个热门的研究方向，但该领域还没有任何概述。为了帮助感兴趣的读者了解现有NPR系统的体系结构，挑战和相应的解决方案，我们对本文的最新研究进行了文献综述。我们首先介绍该领域的背景知识。接下来，要理解，我们将NPR过程分解为一系列模块，并在每个模块上阐述各种设计选择。此外，我们确定了一些挑战并讨论现有解决方案的影响。最后，我们得出结论，并为未来的研究提供了一些有希望的方向。

深层神经网络（DNN）越来越多地用于软件工程和代码智能任务。这些是强大的工具，能够通过数百万参数从大型数据集中学习高度概括的模式。同时，它们的大容量可以使他们容易记住数据点。最近的工作表明，当训练数据集嘈杂，涉及许多模棱两可或可疑的样本时，记忆风险特别强烈表现出来，而记忆是唯一的追索权。本文的目的是评估和比较神经代码智能模型中的记忆和概括程度。它旨在提供有关记忆如何影响神经模型在代码智能系统中的学习行为的见解。为了观察模型中的记忆程度，我们为原始训练数据集增加了随机噪声，并使用各种指标来量化噪声对训练和测试各个方面的影响。我们根据Java，Python和Ruby Codebase评估了几种最先进的神经代码智能模型和基准。我们的结果突出了重要的风险：数百万可训练的参数允许神经网络记住任何包括嘈杂数据，并提供错误的概括感。我们观察到所有模型都表现出某些形式的记忆。在大多数代码智能任务中，这可能会很麻烦，因为它们依赖于相当容易发生噪声和重复性数据源，例如GitHub的代码。据我们所知，我们提供了第一个研究，以量化软件工程和代码智能系统领域的记忆效应。这项工作提高了人们的意识，并为训练神经模型的重要问题提供了新的见解，这些问题通常被软件工程研究人员忽略。

Machine Learning for Source Code (ML4Code) is an active research field in which extensive experimentation is needed to discover how to best use source code's richly structured information. With this in mind, we introduce JEMMA, an Extensible Java Dataset for ML4Code Applications, which is a large-scale, diverse, and high-quality dataset targeted at ML4Code. Our goal with JEMMA is to lower the barrier to entry in ML4Code by providing the building blocks to experiment with source code models and tasks. JEMMA comes with a considerable amount of pre-processed information such as metadata, representations (e.g., code tokens, ASTs, graphs), and several properties (e.g., metrics, static analysis results) for 50,000 Java projects from the 50KC dataset, with over 1.2 million classes and over 8 million methods. JEMMA is also extensible allowing users to add new properties and representations to the dataset, and evaluate tasks on them. Thus, JEMMA becomes a workbench that researchers can use to experiment with novel representations and tasks operating on source code. To demonstrate the utility of the dataset, we also report results from two empirical studies on our data, ultimately showing that significant work lies ahead in the design of context-aware source code models that can reason over a broader network of source code entities in a software project, the very task that JEMMA is designed to help with.

Code completion aims to help improve developers' productivity by suggesting the next code tokens from a given context. Various approaches have been proposed to incorporate abstract syntax tree (AST) information for model training, ensuring that code completion is aware of the syntax of the programming languages. However, existing syntax-aware code completion approaches are not on-the-fly, as we found that for every two-thirds of characters that developers type, AST fails to be extracted because it requires the syntactically correct source code, limiting its practicality in real-world scenarios. On the other hand, existing on-the-fly code completion does not consider syntactic information yet. In this paper, we propose PyCoder to leverage token types, a kind of lightweight syntactic information, which is readily available and aligns with the natural order of source code. Our PyCoder is trained in a multi-task training manner so that by learning the supporting task of predicting token types during the training phase, the models achieve better performance on predicting tokens and lines of code without the need for token types in the inference phase. Comprehensive experiments show that PyCoder achieves the first rank on the CodeXGLUE leaderboard with an accuracy of 77.12% for the token-level predictions, which is 0.43%-24.25% more accurate than baselines. In addition, PyCoder achieves an exact match of 43.37% for the line-level predictions, which is 3.63%-84.73% more accurate than baselines. These results lead us to conclude that token type information (an alternative to syntactic information) that is rarely used in the past can greatly improve the performance of code completion approaches, without requiring the syntactically correct source code like AST-based approaches do. Our PyCoder is publicly available on HuggingFace.

训练有素的机器学习模型，利用大量的开源软件数据，现在已经成为自动化许多软件工程任务的有趣方法。几个硒任务都受到这种方法，在过去的几年里，性能逐渐改善，具有更好的模型和培训方法。更多，更多样化，清洁，标记数据更好的培训;但构建高质量的数据集是耗时和挑战。增强清洁量和多样性的方法，标记数据通常具有广泛的适用性。对于某些语言（例如，Ruby）标记的数据不那么丰富;在其他（例如，JavaScript）中，可用数据可能更多地关注某些应用域，从而更加多样化。作为围绕此类数据瓶颈，我们提出了证据表明，不同语言（执行相同功能）的人写代码相当相似，特别是保留标识符命名模式;我们进一步提出了证据表明标识符是软件工程任务培训数据的一个非常重要的要素。我们利用这种相当偶然的现象来查找可用的多语言训练数据（跨不同语言）的证据可用于放大性能。我们研究这一点3个不同的任务：代码摘要，代码检索和功能命名。我们注意到，这种数据增强方法与不同的任务，语言和机器学习模型广泛兼容。

代码克隆是实现类似功能的代码段对。克隆检测是自动源代码理解的基本分支，在重构建议，窃检测和代码摘要中具有许多应用程序。克隆检测的一个特别有趣的案例是检测语义克隆，即具有相同功能但实现方面有显着差异的代码段。检测语义克隆的一种有希望的方法是对比度学习（CL），这是一种在计算机视觉中流行的机器学习范式，但尚未用于代码处理。我们的工作旨在评估最受欢迎的CL算法以及两个任务上的三个源代码表示形式。第一个任务是代码克隆检测，我们在包含104个算法的实现的POJ-104数据集上进行了评估。第二个任务是窃检测。为了评估此任务上的模型，我们介绍了CodeTransFormator，这是用于转换源代码的工具。我们使用它来创建一个基于竞争性编程解决方案模仿窃代码的数据集。我们为这两项任务培训了九个模型，并将其与现有的六种方法进行了比较，包括传统工具和现代培训的神经模型。我们评估的结果表明，提议的模型在每个任务中都具有多样性，但是基于图的模型的性能通常高于其他模型。在CL算法中，SIMCLR和SWAV带来更好的结果，而MoCo是最强大的方法。我们的代码和训练有素的模型可在https://doi.org/10.5281/zenodo.6360627，https://doi.org/10.5281/zenodo.5596345获得。

大多数低编码平台的用户，例如Excel和PowerApps，都以特定于域的公式语言编写程序来执行非平凡的任务。用户通常可以编写他们想要的大部分程序，但是引入了一些小错误，这些错误会产生破损的公式。这些错误既可以是句法和语义，也很难让低代码用户识别和修复，即使只能通过一些编辑解决。我们正式化了产生最后一英里维修问题等编辑的问题。为了解决这个问题，我们开发了Lamirage，这是一种最后一英里的维修发动机发电机，结合了符号和神经技术，以低代码公式语言进行最后一英里维修。 Lamirage采用语法和一组特定领域的约束/规则，它们共同近似目标语言，并使用它们来生成可以用该语言修复公式的维修引擎。为了应对本地化错误和对候选维修进行排名的挑战，Lamirage利用神经技术，而它依赖于符号方法来生成候选维修。这种组合使Lamirage可以找到满足提供的语法和约束的维修，然后选择最自然的修复。我们将Lamirage与400个Real Excel和PowerFX公式的最新神经和符号方法进行了比较，其中Lamirage的表现优于所有基线。我们释放这些基准，以鼓励在低代码域中进行后续工作。

大规模的，预训练的语言模型几乎没有学习的方法是回答有关代码问题的有力方法，例如，如何完成给定的代码示例，甚至从头开始生成代码段。这些模型的成功提出了一个问题，它们是否可以作为构建广泛代码生成工具的基础。传统上，此类工具是为每个任务手动和单独构建的。取而代之的是，只需提供一些示例或对预期工具行为的自然语言描述，就可以从单个预训练的语言模型中获取不同的工具。本文研究了代码的最先进的，预先训练的代码模型，Codex可能会达到此目的。我们考虑通过一系列传统工具针对的三个代码操纵和代码生成任务：（i）代码突变； （ii）从自然语言文档中测试甲骨文的生成； （iii）测试案例生成。对于每个任务，我们将几杆学习与手动构建的工具进行比较。我们的结果表明，基于模型的工具补充（代码突变），在PAR上（测试Oracle生成），甚至超越了其各自的传统构建的工具（测试案例生成），同时施加了开发它们的努力。通过比较基于模型的工具的不同变体的有效性，我们提供了有关如何将适当输入（“提示”）设计到模型以及模型大小的影响的见解。例如，我们发现，提供对代码生成任务的小型自然语言描述是改善预测的一种简单方法。总体而言，我们得出的结论是，很少有语言模型令人惊讶地有效，但是还有更多的工作要做，例如探索更多样化的方式来促使和解决更多有关任务。

我们提出了Pangu-Coder，这是一种仅预读的解码器语言模型，该模型采用pangu-alpha架构进行文本到代码生成，即给定自然语言问题描述的编程语言解决方案的合成。我们使用两阶段策略训练Pangu-Coder：第一阶段采用因果语言建模（CLM）来预先培训原始编程语言数据，而第二阶段则使用因果语言建模和掩盖语言建模（MLM）的组合培训目标，专注于文本到代码生成的下游任务，并培训松散的自然语言程序定义和代码功能。最后，我们讨论了pangu-coder-ft，该pander the是通过竞争性编程问题和代码与持续集成测试的结合进行了微调的。我们评估了pangu-coder，重点是它是否生成功能上正确的程序，并证明它在参加较小的上下文窗口和较少的数据培训的同时，它比诸如Codex之类的类似大小的模型（例如Codex）实现等效性或更好的性能。

源代码存储库由大型代码库组成，通常包含容易发生的程序。软件的复杂性日益增加导致时间和识别这些缺陷的时间和成本急剧上升。存在各种方法可以自动生成错误代码的修复程序。但是，由于特定错误的可能解决方案的组合空间很大，因此没有很多工具和数据集可以有效地评估生成的代码。在这项工作中，我们介绍了FixeVal，这是一个基准，其中包括竞争性编程问题及其各自修复程序的基准。我们引入了丰富的测试套件，以评估和评估模型生成程序修复的正确性。我们将两种在编程语言上鉴定的变压器语言模型视为我们的基准，并使用基于匹配和基于执行的评估指标对其进行比较。我们的实验表明，基于匹配的指标不能准确反映模型生成的程序修复，而基于执行的方法通过专门为该解决方案设计的所有情况和场景评估程序。因此，我们认为FixeVal提供了朝着实际自动错误修复和模型生成的代码评估的步骤。

Deep learning (DL) models of code have recently reported great progress for vulnerability detection. In some cases, DL-based models have outperformed static analysis tools. Although many great models have been proposed, we do not yet have a good understanding of these models. This limits the further advancement of model robustness, debugging, and deployment for the vulnerability detection. In this paper, we surveyed and reproduced 9 state-of-the-art (SOTA) deep learning models on 2 widely used vulnerability detection datasets: Devign and MSR. We investigated 6 research questions in three areas, namely model capabilities, training data, and model interpretation. We experimentally demonstrated the variability between different runs of a model and the low agreement among different models' outputs. We investigated models trained for specific types of vulnerabilities compared to a model that is trained on all the vulnerabilities at once. We explored the types of programs DL may consider "hard" to handle. We investigated the relations of training data sizes and training data composition with model performance. Finally, we studied model interpretations and analyzed important features that the models used to make predictions. We believe that our findings can help better understand model results, provide guidance on preparing training data, and improve the robustness of the models. All of our datasets, code, and results are available at https://figshare.com/s/284abfba67dba448fdc2.

源代码的预训练的生成语言模型（例如PLBART，CODET5，SPT-CODE）在过去几年中对多个任务（包括代码生成和翻译）产生了强劲的结果。这些模型采用了不同的训练前目标，以自我监督的方式从非常大规模的语料库中学习代码构建的统计数据。预训练模型的成功很大程度上取决于这些预训练的目标。本文提出了一个新的预训练目标，即“归化”源代码，利用代码的双峰，双通道（正式和自然渠道）性质。与自然语言不同，代码的双峰，双通道的性质使我们能够大规模生成语义上等效的代码。我们介绍了六类的语义保存转换，以引入非自然的代码形式，然后强迫我们的模型制作开发人员编写的更自然的原创程序。学习在没有明确的手动监督的情况下，通过大型的开源代码来生成等效但更自然的代码，有助于模型学习摄入和生成代码。我们将模型在三个生成软件工程任务中微调：代码生成，代码翻译和代码改进，具有有限的人类策划标记数据并实现最先进的性能与CODET5。我们表明，我们的预训练模型在零射门和少数学习方面特别有竞争力，并且在学习代码属性（例如语法，数据流）方面更好。