最近的工作通过从上下文重建令牌来了解源代码的上下文表示。对于诸如英语中汇总代码的下游语义理解任务，这些表示应该理想地捕获程序功能。但是，我们表明流行的基于重建的BERT模型对源代码编辑敏感，即使编辑保存语义。我们提出了僵局：一种学习代码功能的对比预训练任务，而不是形成。触发预先训练神经网络，以识别许多不等效的干扰者之间的程序的功能类似的变体。我们使用自动源到源编译器作为数据增强的形式来缩放可扩展这些变体。对比预训练将JavaScript摘要和打字类型推理准确性提高2％至13％。我们还提出了一个新的零拍摄JavaScript代码克隆检测数据集，显示施加均比更强大和语义有意义。就此而言，我们以39％的Auroc在普发的环境中以39％的AUROC倾斜，高达5％的自然代码。

随着预先训练模型的巨大成功，Pretrain-Then-Finetune范式已被广泛采用下游任务，以获得源代码的理解。但是，与昂贵的培训从头开始培训，如何将预先训练的模型从划痕进行有效地调整到新任务的训练模型尚未完全探索。在本文中，我们提出了一种桥接预先训练的模型和与代码相关任务的方法。我们利用语义保留的转换来丰富下游数据分集，并帮助预先接受的模型学习语义特征不变于这些语义上等效的转换。此外，我们介绍课程学习以易于努力的方式组织转换的数据，以微调现有的预先训练的模型。我们将我们的方法应用于一系列预先训练的型号，它们在源代码理解的任务中显着优于最先进的模型，例如算法分类，代码克隆检测和代码搜索。我们的实验甚至表明，在没有重量训练的代码数据上，自然语言预先训练的模型罗伯塔微调我们的轻质方法可以优于或竞争现有的代码，在上述任务中进行微调，如Codebert和Codebert和GraphCodebert。这一发现表明，代码预训练模型中仍有很大的改进空间。

代码克隆是实现类似功能的代码段对。克隆检测是自动源代码理解的基本分支，在重构建议，窃检测和代码摘要中具有许多应用程序。克隆检测的一个特别有趣的案例是检测语义克隆，即具有相同功能但实现方面有显着差异的代码段。检测语义克隆的一种有希望的方法是对比度学习（CL），这是一种在计算机视觉中流行的机器学习范式，但尚未用于代码处理。我们的工作旨在评估最受欢迎的CL算法以及两个任务上的三个源代码表示形式。第一个任务是代码克隆检测，我们在包含104个算法的实现的POJ-104数据集上进行了评估。第二个任务是窃检测。为了评估此任务上的模型，我们介绍了CodeTransFormator，这是用于转换源代码的工具。我们使用它来创建一个基于竞争性编程解决方案模仿窃代码的数据集。我们为这两项任务培训了九个模型，并将其与现有的六种方法进行了比较，包括传统工具和现代培训的神经模型。我们评估的结果表明，提议的模型在每个任务中都具有多样性，但是基于图的模型的性能通常高于其他模型。在CL算法中，SIMCLR和SWAV带来更好的结果，而MoCo是最强大的方法。我们的代码和训练有素的模型可在https://doi.org/10.5281/zenodo.6360627，https://doi.org/10.5281/zenodo.5596345获得。

源代码的预训练的生成语言模型（例如PLBART，CODET5，SPT-CODE）在过去几年中对多个任务（包括代码生成和翻译）产生了强劲的结果。这些模型采用了不同的训练前目标，以自我监督的方式从非常大规模的语料库中学习代码构建的统计数据。预训练模型的成功很大程度上取决于这些预训练的目标。本文提出了一个新的预训练目标，即“归化”源代码，利用代码的双峰，双通道（正式和自然渠道）性质。与自然语言不同，代码的双峰，双通道的性质使我们能够大规模生成语义上等效的代码。我们介绍了六类的语义保存转换，以引入非自然的代码形式，然后强迫我们的模型制作开发人员编写的更自然的原创程序。学习在没有明确的手动监督的情况下，通过大型的开源代码来生成等效但更自然的代码，有助于模型学习摄入和生成代码。我们将模型在三个生成软件工程任务中微调：代码生成，代码翻译和代码改进，具有有限的人类策划标记数据并实现最先进的性能与CODET5。我们表明，我们的预训练模型在零射门和少数学习方面特别有竞争力，并且在学习代码属性（例如语法，数据流）方面更好。

变量名称对于传达预期的程序行为至关重要。基于机器学习的程序分析方法使用变量名称表示广泛的任务，例如建议新的变量名称和错误检测。理想情况下，这些方法可以捕获句法相似性的名称之间的语义关系，例如，名称平均和均值的事实是相似的。不幸的是，以前的工作发现，即使是先前的最佳的表示方法主要是捕获相关性（是否有两个变量始终链接），而不是相似性（是否具有相同的含义）。我们提出了VarCLR，一种用于学习变量名称的语义表示的新方法，这些方法有效地捕获了这种更严格的意义上的可变相似性。我们观察到这个问题是对比学习的优秀契合，旨在最小化明确类似的输入之间的距离，同时最大化不同输入之间的距离。这需要标记的培训数据，因此我们构建了一种新颖的弱监督的变量重命名数据集，从GitHub编辑开采。我们表明VarCLR能够有效地应用BERT等复杂的通用语言模型，以变为变量名称表示，因此也是与变量名称相似性搜索或拼写校正等相关的下游任务。 varclr产生模型，显着越优于idbench的最先进的现有基准，明确地捕获可变相似度（与相关性不同）。最后，我们贡献了所有数据，代码和预先训练模型的版本，旨在为现有或未来程序分析中使用的可变表示提供的可变表示的替代品。

We integrate contrastive learning (CL) with adversarial learning to co-optimize the robustness and accuracy of code models. Different from existing works, we show that code obfuscation, a standard code transformation operation, provides novel means to generate complementary `views' of a code that enable us to achieve both robust and accurate code models. To the best of our knowledge, this is the first systematic study to explore and exploit the robustness and accuracy benefits of (multi-view) code obfuscations in code models. Specifically, we first adopt adversarial codes as robustness-promoting views in CL at the self-supervised pre-training phase. This yields improved robustness and transferability for downstream tasks. Next, at the supervised fine-tuning stage, we show that adversarial training with a proper temporally-staggered schedule of adversarial code generation can further improve robustness and accuracy of the pre-trained code model. Built on the above two modules, we develop CLAWSAT, a novel self-supervised learning (SSL) framework for code by integrating $\underline{\textrm{CL}}$ with $\underline{\textrm{a}}$dversarial vie$\underline{\textrm{w}}$s (CLAW) with $\underline{\textrm{s}}$taggered $\underline{\textrm{a}}$dversarial $\underline{\textrm{t}}$raining (SAT). On evaluating three downstream tasks across Python and Java, we show that CLAWSAT consistently yields the best robustness and accuracy ($\textit{e.g.}$ 11$\%$ in robustness and 6$\%$ in accuracy on the code summarization task in Python). We additionally demonstrate the effectiveness of adversarial learning in CLAW by analyzing the characteristics of the loss landscape and interpretability of the pre-trained models.

我们提出了Pangu-Coder，这是一种仅预读的解码器语言模型，该模型采用pangu-alpha架构进行文本到代码生成，即给定自然语言问题描述的编程语言解决方案的合成。我们使用两阶段策略训练Pangu-Coder：第一阶段采用因果语言建模（CLM）来预先培训原始编程语言数据，而第二阶段则使用因果语言建模和掩盖语言建模（MLM）的组合培训目标，专注于文本到代码生成的下游任务，并培训松散的自然语言程序定义和代码功能。最后，我们讨论了pangu-coder-ft，该pander the是通过竞争性编程问题和代码与持续集成测试的结合进行了微调的。我们评估了pangu-coder，重点是它是否生成功能上正确的程序，并证明它在参加较小的上下文窗口和较少的数据培训的同时，它比诸如Codex之类的类似大小的模型（例如Codex）实现等效性或更好的性能。

As the complexity of modern software continues to escalate, software engineering has become an increasingly daunting and error-prone endeavor. In recent years, the field of Neural Code Intelligence (NCI) has emerged as a promising solution, leveraging the power of deep learning techniques to tackle analytical tasks on source code with the goal of improving programming efficiency and minimizing human errors within the software industry. Pretrained language models have become a dominant force in NCI research, consistently delivering state-of-the-art results across a wide range of tasks, including code summarization, generation, and translation. In this paper, we present a comprehensive survey of the NCI domain, including a thorough review of pretraining techniques, tasks, datasets, and model architectures. We hope this paper will serve as a bridge between the natural language and programming language communities, offering insights for future research in this rapidly evolving field.

In software development, it is common for programmers to copy-paste or port code snippets and then adapt them to their use case. This scenario motivates the code adaptation task -- a variant of program repair which aims to adapt variable identifiers in a pasted snippet of code to the surrounding, preexisting source code. However, no existing approach has been shown to effectively address this task. In this paper, we introduce AdaptivePaste, a learning-based approach to source code adaptation, based on transformers and a dedicated dataflow-aware deobfuscation pre-training task to learn meaningful representations of variable usage patterns. We evaluate AdaptivePaste on a dataset of code snippets in Python. Results suggest that our model can learn to adapt source code with 79.8% accuracy. To evaluate how valuable is AdaptivePaste in practice, we perform a user study with 10 Python developers on a hundred real-world copy-paste instances. The results show that AdaptivePaste reduces the dwell time to nearly half the time it takes for manual code adaptation, and helps to avoid bugs. In addition, we utilize the participant feedback to identify potential avenues for improvement of AdaptivePaste.

在编程中，学习代码表示有各种应用程序，包括代码分类，代码搜索，注释生成，错误预测等。已经提出了在令牌，语法树，依赖图，代码导航路径或其变体组合方面的各种代码表示，但是，现有的vanilla学习技术具有鲁棒性的主要限制，即，型号很容易当输入以微妙的方式改变输入时，要进行错误的预测。为了增强稳健性，现有方法专注于识别对抗性样本，而不是在落在给定分布之外的有效样品上，我们将其称为分配（OOD）样本。识别出这样的ood样本是本文研究的新问题。为此，我们建议首先使用分发的样本进行in =分发数据集，使得当培训在一起时，它们将增强模型的鲁棒性。我们建议使用能量有界学习的目标函数来将更高的分数分配给分布式样本和较低的分数，以便将这种分布式样品纳入源的培训过程中代码模型。在检测和逆势样本检测方面，我们的评估结果表明，现有源代码模型的稳健性更加准确，在识别ood数据时，同时在同时对对抗性攻击更具抵抗力。此外，所提出的能量有限评分优于大幅的余量，包括Softmax置信度评分，Mahalanobis评分和Odin。

基于变压器的大型语言模型在自然语言处理中表现出色。通过考虑这些模型在一个领域中获得的知识的可传递性，以及自然语言与高级编程语言（例如C/C ++）的亲密关系，这项工作研究了如何利用（大）基于变压器语言模型检测软件漏洞以及这些模型在漏洞检测任务方面的良好程度。在这方面，首先提出了一个系统的（凝聚）框架，详细介绍了源代码翻译，模型准备和推理。然后，使用具有多个漏洞的C/C ++源代码的软件漏洞数据集进行经验分析，该数据集对应于库功能调用，指针使用，数组使用情况和算术表达式。我们的经验结果证明了语言模型在脆弱性检测中的良好性能。此外，这些语言模型具有比当代模型更好的性能指标，例如F1得分，即双向长期记忆和双向封闭式复发单元。由于计算资源，平台，库和依赖项的要求，对语言模型进行实验始终是具有挑战性的。因此，本文还分析了流行的平台，以有效地微调这些模型并在选择平台时提出建议。

Masked language modeling (MLM) pre-training methods such as BERT corrupt the input by replacing some tokens with [MASK] and then train a model to reconstruct the original tokens. While they produce good results when transferred to downstream NLP tasks, they generally require large amounts of compute to be effective. As an alternative, we propose a more sample-efficient pre-training task called replaced token detection. Instead of masking the input, our approach corrupts it by replacing some tokens with plausible alternatives sampled from a small generator network. Then, instead of training a model that predicts the original identities of the corrupted tokens, we train a discriminative model that predicts whether each token in the corrupted input was replaced by a generator sample or not. Thorough experiments demonstrate this new pre-training task is more efficient than MLM because the task is defined over all input tokens rather than just the small subset that was masked out. As a result, the contextual representations learned by our approach substantially outperform the ones learned by BERT given the same model size, data, and compute. The gains are particularly strong for small models; for example, we train a model on one GPU for 4 days that outperforms GPT (trained using 30x more compute) on the GLUE natural language understanding benchmark. Our approach also works well at scale, where it performs comparably to RoBERTa and XLNet while using less than 1/4 of their compute and outperforms them when using the same amount of compute.

训练有素的机器学习模型，利用大量的开源软件数据，现在已经成为自动化许多软件工程任务的有趣方法。几个硒任务都受到这种方法，在过去的几年里，性能逐渐改善，具有更好的模型和培训方法。更多，更多样化，清洁，标记数据更好的培训;但构建高质量的数据集是耗时和挑战。增强清洁量和多样性的方法，标记数据通常具有广泛的适用性。对于某些语言（例如，Ruby）标记的数据不那么丰富;在其他（例如，JavaScript）中，可用数据可能更多地关注某些应用域，从而更加多样化。作为围绕此类数据瓶颈，我们提出了证据表明，不同语言（执行相同功能）的人写代码相当相似，特别是保留标识符命名模式;我们进一步提出了证据表明标识符是软件工程任务培训数据的一个非常重要的要素。我们利用这种相当偶然的现象来查找可用的多语言训练数据（跨不同语言）的证据可用于放大性能。我们研究这一点3个不同的任务：代码摘要，代码检索和功能命名。我们注意到，这种数据增强方法与不同的任务，语言和机器学习模型广泛兼容。

在本文中，我们解决了深入学习的软件漏洞自动修复问题。数据驱动漏洞修复的主要问题是已知确认漏洞的少数现有数据集仅由几千例组成。然而，培训深度学习模型通常需要数十万例的例子。在这项工作中，我们利用了错误修复任务和漏洞修复任务的直觉相关，并且可以传输来自错误修复的知识可以传输到修复漏洞。在机器学习界中，这种技术称为转移学习。在本文中，我们提出了一种修复名为Vreepair的安全漏洞的方法，该方法是基于转移学习。 vreepair首先在大型错误修复语料库上培训，然后在漏洞修复数据集上调整，这是一个较小的数量级。在我们的实验中，我们表明，仅在错误修复语料库上培训的模型可能已经修复了一些漏洞。然后，我们证明转移学习改善了修复易受攻击的C功能的能力。我们还表明，转移学习模型比具有去噪任务训练的模型更好，并在漏洞固定任务上进行微调。总而言之，本文表明，与在小型数据集上的学习相比，转移学习适用于修复C中的安全漏洞。

We present CodeBERT, a bimodal pre-trained model for programming language (PL) and natural language (NL). CodeBERT learns general-purpose representations that support downstream NL-PL applications such as natural language code search, code documentation generation, etc. We develop Code-BERT with Transformer-based neural architecture, and train it with a hybrid objective function that incorporates the pre-training task of replaced token detection, which is to detect plausible alternatives sampled from generators. This enables us to utilize both "bimodal" data of NL-PL pairs and "unimodal" data, where the former provides input tokens for model training while the latter helps to learn better generators. We evaluate CodeBERT on two NL-PL applications by fine-tuning model parameters. Results show that CodeBERT achieves state-of-the-art performance on both natural language code search and code documentation generation. Furthermore, to investigate what type of knowledge is learned in CodeBERT, we construct a dataset for NL-PL probing, and evaluate in a zero-shot setting where parameters of pre-trained models are fixed. Results show that CodeBERT performs better than previous pre-trained models on NL-PL probing. 1

在过去的几年中，世界已转向多核和多核共享内存体系结构。结果，通过将共享内存并行化方案引入软件应用程序，越来越需要利用这些体系结构。 OpenMP是实现此类方案的最全面的API，其特征是可读接口。然而，由于平行共享内存的管理中普遍存在的陷阱，将OpenMP引入代码很具有挑战性。为了促进此任务的性能，多年来创建了许多源代码（S2S）编译器，任务是将OpenMP指令自动插入代码。除了对输入格式的鲁棒性有限外，这些编译器仍然无法在定位可行的代码和生成适当指令时获得令人满意的覆盖范围和精确度。在这项工作中，我们建议利用ML技术的最新进展，特别是自然语言处理（NLP），以完全替换S2S编译器。我们创建一个数据库（语料库），专门用于此目标。 Open-Opm包含28,000多个代码片段，其中一半包含OpenMP指令，而另一半根本不需要并行化。我们使用语料库来培训系统来自动对需要并行化的代码段进行分类，并建议单个OpenMP条款。我们为这些任务培训了几个名为Bragformer的变压器模型，并表明它们的表现优于统计训练的基线和自动S2S并行化编译器，这既可以分类OpenMP指令的总体需求，又要介绍私人和还原条款。我们的源代码和数据库可在以下网址获得：https：//github.com/scientific-computing-lab-nrcn/pragformer。

反向工程师受益于二进制中的标识符（例如函数名称）的存在，但通常将其删除以释放。训练机器学习模型自动预测功能名称是有希望的，但从根本上讲很难：与自然语言中的单词不同，大多数函数名称仅出现一次。在本文中，我们通过引入极端功能标签（XFL）来解决此问题，这是一种极端的多标签学习方法，可为二进制功能选择适当的标签。 XFL将函数名称分为代币，将每个功能视为具有自然语言标记文本的问题的信息标签。我们将二进制代码的语义与通过dexter进行标签，这是一种新颖的函数，将基于静态分析的特征与来自呼叫图的本地上下文和整个二进制的全局上下文相结合。我们证明，XFL/Dexter在Debian Project的10,047个二进制数据集上的功能标签上优于最新技术，获得了83.5％的精度。我们还研究了XFL与文献中的替代二进制嵌入的组合，并表明Dexter始终为这项任务做得最好。结果，我们证明了二进制函数标记可以通过多标签学习有效地措辞，并且二进制函数嵌入得益于包括明确的语义特征。

在过去的几年中，使用机器学习的编程语言处理（PLP）取得了广泛的改进。越来越多的人有兴趣探索这个有前途的领域。但是，对于新的研究人员和开发人员来说，要找到合适的组件来构建自己的机器学习管道，鉴于要解决的多样化的PLP任务，已发布大量数据集和模型，以及一组复杂的编译器或工具。涉及。为了改善机器学习组件的可发现性，可访问性，互操作性和可重复性（公平性），我们在基于机器学习的PLP领域中收集和分析了一组代表性论文。然后，我们确定并表征关键概念，包括PLP任务，模型架构和支持工具。最后，我们展示了一些利用可重复使用的组件来构建机器学习管道以解决一组PLP任务的例子。

我们从第一批原则提供了一个理论分析，该原则在预训练和微调性能的关系归纳偏差之间建立了新的联系，同时提供了一般预训练模型的延长视图。我们进一步探讨了现有的预训练方法如何强加相关的归纳偏差，发现绝大多数现有方法几乎专注于以帧内方式建模的关系，而不是每种样本方式。我们建立了这些调查结果，这些发现与跨越3个数据模式和10个下游任务的标准基准测试。这些调查验证了我们的理论分析，并提供了一种方法，以产生新的预训练方法，该方法与现有的方法符合用户指定的关系图。

We introduce a new language representation model called BERT, which stands for Bidirectional Encoder Representations from Transformers. Unlike recent language representation models (Peters et al., 2018a;Radford et al., 2018), BERT is designed to pretrain deep bidirectional representations from unlabeled text by jointly conditioning on both left and right context in all layers. As a result, the pre-trained BERT model can be finetuned with just one additional output layer to create state-of-the-art models for a wide range of tasks, such as question answering and language inference, without substantial taskspecific architecture modifications.BERT is conceptually simple and empirically powerful. It obtains new state-of-the-art results on eleven natural language processing tasks, including pushing the GLUE score to 80.5% (7.7% point absolute improvement), MultiNLI accuracy to 86.7% (4.6% absolute improvement), SQuAD v1.1 question answering Test F1 to 93.2 (1.5 point absolute improvement) and SQuAD v2.0 Test F1 to 83.1 (5.1 point absolute improvement).