Pre-trained language models have achieved promising success in code retrieval tasks, where a natural language documentation query is given to find the most relevant existing code snippet. However, existing models focus only on optimizing the documentation code pairs by embedding them into latent space, without the association of external knowledge. In this paper, we propose a generation-augmented query expansion framework. Inspired by the human retrieval process - sketching an answer before searching, in this work, we utilize the powerful code generation model to benefit the code retrieval task. Specifically, we demonstrate that rather than merely retrieving the target code snippet according to the documentation query, it would be helpful to augment the documentation query with its generation counterpart - generated code snippets from the code generation model. To the best of our knowledge, this is the first attempt that leverages the code generation model to enhance the code retrieval task. We achieve new state-of-the-art results on the CodeSearchNet benchmark and surpass the baselines significantly.

We present CodeBERT, a bimodal pre-trained model for programming language (PL) and natural language (NL). CodeBERT learns general-purpose representations that support downstream NL-PL applications such as natural language code search, code documentation generation, etc. We develop Code-BERT with Transformer-based neural architecture, and train it with a hybrid objective function that incorporates the pre-training task of replaced token detection, which is to detect plausible alternatives sampled from generators. This enables us to utilize both "bimodal" data of NL-PL pairs and "unimodal" data, where the former provides input tokens for model training while the latter helps to learn better generators. We evaluate CodeBERT on two NL-PL applications by fine-tuning model parameters. Results show that CodeBERT achieves state-of-the-art performance on both natural language code search and code documentation generation. Furthermore, to investigate what type of knowledge is learned in CodeBERT, we construct a dataset for NL-PL probing, and evaluate in a zero-shot setting where parameters of pre-trained models are fixed. Results show that CodeBERT performs better than previous pre-trained models on NL-PL probing. 1

As the complexity of modern software continues to escalate, software engineering has become an increasingly daunting and error-prone endeavor. In recent years, the field of Neural Code Intelligence (NCI) has emerged as a promising solution, leveraging the power of deep learning techniques to tackle analytical tasks on source code with the goal of improving programming efficiency and minimizing human errors within the software industry. Pretrained language models have become a dominant force in NCI research, consistently delivering state-of-the-art results across a wide range of tasks, including code summarization, generation, and translation. In this paper, we present a comprehensive survey of the NCI domain, including a thorough review of pretraining techniques, tasks, datasets, and model architectures. We hope this paper will serve as a bridge between the natural language and programming language communities, offering insights for future research in this rapidly evolving field.

GitHub提交的记录，该代码随着自然语言消息的描述而变化，对于软件开发人员来说，在理解软件演变方面起着至关重要的作用。为了促进开源软件社区的开发，我们收集了一个提交基准，包括790万次跨7种编程语言的投入。基于此基准测试，我们提出了Citsbart，这是GitHub提交的大型预训练的编码器变压器模型。该模型由三个类别（即，为了学习提交碎片表示的六个预训练任务）预先培训（即，剥夺目标，跨模式生成和对比度学习）。此外，我们将一个“委托智能”框架与一项理解任务和提交的三个世代任务统一。这些任务的综合实验表明，提案巴特大大优于以前的代码预先培训作品。进一步的分析还揭示了每个预训练任务可增强模型性能。我们鼓励后续研究人员在将来为我们的框架贡献更多与承诺相关的下游任务。

我们提出了Pangu-Coder，这是一种仅预读的解码器语言模型，该模型采用pangu-alpha架构进行文本到代码生成，即给定自然语言问题描述的编程语言解决方案的合成。我们使用两阶段策略训练Pangu-Coder：第一阶段采用因果语言建模（CLM）来预先培训原始编程语言数据，而第二阶段则使用因果语言建模和掩盖语言建模（MLM）的组合培训目标，专注于文本到代码生成的下游任务，并培训松散的自然语言程序定义和代码功能。最后，我们讨论了pangu-coder-ft，该pander the是通过竞争性编程问题和代码与持续集成测试的结合进行了微调的。我们评估了pangu-coder，重点是它是否生成功能上正确的程序，并证明它在参加较小的上下文窗口和较少的数据培训的同时，它比诸如Codex之类的类似大小的模型（例如Codex）实现等效性或更好的性能。

Natural language processing for programming, which aims to use NLP techniques to assist programming, has experienced an explosion in recent years. However, there is no literature that systematically reviews related work from the full spectrum. In this paper, we comprehensively investigate existing work, ranging from early deductive models to the latest competition-level models. Another advantage of this paper is the completeness of the technique category, which provides easy access to locating and comparing future works.

最近，人们对使用深度学习自动化软件工程任务的兴趣激增。这项工作解决了代码生成问题的问题，该问题是在其中以不同的语言或自然语言描述生成目标代码的目标代码。代码生成的大多数最先进的深度学习模型都使用主要是为自然语言设计的培训策略。但是，理解和生成代码需要对代码语法和语义的更严格理解。通过这种动机，我们开发了一个编码器变压器模型，其中训练编码器和解码器分别识别源和目标代码中的语法和数据流。我们不仅通过利用源代码的语法树和数据流程图来使编码器结构感知，而且我们还确保我们的解码器通过引入两个辅助任务来保留目标代码的语法和数据流：路径预测和数据流预测。据我们所知，这是第一项引入结构感知的变压器解码器，以通过对目标语法和数据流进行建模来增强生成代码的质量。所提出的结构编码器模型在CodexGlue基准测试中实现了代码翻译和文本对代码生成任务的最新性能。

预训练模型已在许多代码智能任务中有效。这些模型在大规模未标记的语料库中进行了预训练，然后在下游任务中进行了微调。但是，由于预训练和下游任务的输入是不同的形式，因此很难充分探索预训练模型的知识。此外，微调的性能强烈依赖于下游数据的量，而实际上，具有稀缺数据的场景很常见。自然语言处理（NLP）领域的最新研究表明，迅速调整，一种调整的新范式，减轻上述问题并在各种NLP任务中实现了有希望的结果。在迅速调整中，在调整过程中插入的提示提供了特定于任务的知识，这对于具有相对较少数据的任务特别有益。在本文中，我们凭经验评估了代码智能任务中迅速调整的用法和效果。我们对流行的预训练模型Codebert和codet5进行及时调整，并尝试三个代码智能任务，包括缺陷预测，代码摘要和代码翻译。我们的实验结果表明，在所有三个任务中，迅速调整始终优于微调。此外，及时调整在低资源场景中显示出很大的潜力，例如，对于代码摘要，平均将微调的BLEU分数提高了26％以上。我们的结果表明，我们可以调整代码智能任务的迅速调整，以实现更好的性能，尤其是在缺乏特定于任务的数据时，我们可以调整及时调整。

Dense retrieval aims to map queries and passages into low-dimensional vector space for efficient similarity measuring, showing promising effectiveness in various large-scale retrieval tasks. Since most existing methods commonly adopt pre-trained Transformers (e.g. BERT) for parameter initialization, some work focuses on proposing new pre-training tasks for compressing the useful semantic information from passages into dense vectors, achieving remarkable performances. However, it is still challenging to effectively capture the rich semantic information and relations about passages into the dense vectors via one single particular pre-training task. In this work, we propose a multi-task pre-trained model, MASTER, that unifies and integrates multiple pre-training tasks with different learning objectives under the bottlenecked masked autoencoder architecture. Concretely, MASTER utilizes a multi-decoder architecture to integrate three types of pre-training tasks: corrupted passages recovering, related passage recovering and PLMs outputs recovering. By incorporating a shared deep encoder, we construct a representation bottleneck in our architecture, compressing the abundant semantic information across tasks into dense vectors. The first two types of tasks concentrate on capturing the semantic information of passages and relationships among them within the pre-training corpus. The third one can capture the knowledge beyond the corpus from external PLMs (e.g. GPT-2). Extensive experiments on several large-scale passage retrieval datasets have shown that our approach outperforms the previous state-of-the-art dense retrieval methods. Our code and data are publicly released in https://github.com/microsoft/SimXNS

训练有素的机器学习模型，利用大量的开源软件数据，现在已经成为自动化许多软件工程任务的有趣方法。几个硒任务都受到这种方法，在过去的几年里，性能逐渐改善，具有更好的模型和培训方法。更多，更多样化，清洁，标记数据更好的培训;但构建高质量的数据集是耗时和挑战。增强清洁量和多样性的方法，标记数据通常具有广泛的适用性。对于某些语言（例如，Ruby）标记的数据不那么丰富;在其他（例如，JavaScript）中，可用数据可能更多地关注某些应用域，从而更加多样化。作为围绕此类数据瓶颈，我们提出了证据表明，不同语言（执行相同功能）的人写代码相当相似，特别是保留标识符命名模式;我们进一步提出了证据表明标识符是软件工程任务培训数据的一个非常重要的要素。我们利用这种相当偶然的现象来查找可用的多语言训练数据（跨不同语言）的证据可用于放大性能。我们研究这一点3个不同的任务：代码摘要，代码检索和功能命名。我们注意到，这种数据增强方法与不同的任务，语言和机器学习模型广泛兼容。

近年来，在应用预训练的语言模型（例如Bert）上，取得了巨大进展，以获取信息检索（IR）任务。在网页中通常使用的超链接已被利用用于设计预训练目标。例如，超链接的锚文本已用于模拟查询，从而构建了巨大的查询文档对以进行预训练。但是，作为跨越两个网页的桥梁，尚未完全探索超链接的潜力。在这项工作中，我们专注于建模通过超链接连接的两个文档之间的关系，并为临时检索设计一个新的预训练目标。具体而言，我们将文档之间的关系分为四组：无链接，单向链接，对称链接和最相关的对称链接。通过比较从相邻组采样的两个文档，该模型可以逐渐提高其捕获匹配信号的能力。我们提出了一个渐进的超链接预测（{php}）框架，以探索预训练中超链接的利用。对两个大规模临时检索数据集和六个提问数据集的实验结果证明了其优于现有的预训练方法。

天然语言对代码模型学会生成具有自然语言（NL）意图的代码段。但是，由于每天引入新的库和功能，因此不可能使用培训示例来覆盖所有API的公开库和专有库和功能的快速增长。因此，现有模型本质上不能仅通过将它们纳入培训数据而概括地使用看不见的功能和库。相反，当人类程序员编写程序时，他们经常指文本资源，例如代码手册，文档和教程，以探索和理解可用的库功能。受此观察的启发，我们介绍了Doccoder：一种方法，该方法通过（1）检索给定NL意图的相关文档明确利用代码手册和文档，以及（2）基于NL意图和检索到的文档生成代码。我们的方法是一般的，可以应用于任何编程语言，并且对基础神经模型不可知。我们证明，Doccoder始终改善NL-TO-代码模型：DOCCODER在新的Bash数据集TLDR上的强基准比强基础高11倍；在受欢迎的Python Conala基准中，Doccoder在强大的基线上提高了1.65 BLEU。

最近，培训预培训方法在以任务为导向的对话框（TOD）系统中表现出了很大的成功。但是，大多数现有的预培训模型用于TOD专注于对话的理解或对话生成，但并非两者兼而有之。在本文中，我们提出了Space-3，这是一种新型的统一的半监督预培训的预训练的对话模型，从大规模对话CORPORA中学习有限的注释，可以有效地对广泛的下游对话任务进行微调。具体而言，Space-3由单个变压器中的四个连续组件组成，以维护TOD系统中的任务流：（i）对话框编码模块编码对话框历史记录，（ii）对话框理解模块以从任一用户中提取语义向量查询或系统响应，（iii）一个对话框策略模块，以生成包含响应高级语义的策略向量，以及（iv）对话框生成模块以产生适当的响应。我们为每个组件设计一个专门的预训练目标。具体而言，我们预先培训对话框编码模块，使用跨度掩码语言建模，以学习上下文化对话框信息。为了捕获“结构化对话框”语义，我们通过额外的对话注释通过新颖的树诱导的半监视对比度学习目标来预先培训对话框理解模块。此外，我们通过将其输出策略向量与响应响应的语义向量之间的L2距离最小化以进行策略优化，从而预先培训对话策略模块。最后，对话框生成模型由语言建模预先训练。结果表明，Space-3在八个下游对话框基准中实现最新性能，包括意图预测，对话框状态跟踪和端到端对话框建模。我们还表明，在低资源设置下，Space-3比现有模型具有更强的射击能力。

在本文中，我们提出了一个新的密集检索模型，该模型通过深度查询相互作用学习了各种文档表示。我们的模型使用一组生成的伪Queries编码每个文档，以获取查询信息的多视文档表示。它不仅具有较高的推理效率，例如《香草双编码模型》，而且还可以在文档编码中启用深度查询文档的交互，并提供多方面的表示形式，以更好地匹配不同的查询。几个基准的实验证明了所提出的方法的有效性，表现出色的双重编码基准。

在过去的几年中，使用机器学习的编程语言处理（PLP）取得了广泛的改进。越来越多的人有兴趣探索这个有前途的领域。但是，对于新的研究人员和开发人员来说，要找到合适的组件来构建自己的机器学习管道，鉴于要解决的多样化的PLP任务，已发布大量数据集和模型，以及一组复杂的编译器或工具。涉及。为了改善机器学习组件的可发现性，可访问性，互操作性和可重复性（公平性），我们在基于机器学习的PLP领域中收集和分析了一组代表性论文。然后，我们确定并表征关键概念，包括PLP任务，模型架构和支持工具。最后，我们展示了一些利用可重复使用的组件来构建机器学习管道以解决一组PLP任务的例子。

代码摘要可帮助开发人员理解程序并减少在软件维护过程中推断程序功能的时间。最近的努力诉诸深度学习技术，例如序列到序列模型，以生成准确的代码摘要，其中基于变压器的方法已实现了有希望的性能。但是，在此任务域中，有效地将代码结构信息集成到变压器中的情况不足。在本文中，我们提出了一种名为SG-Trans的新方法，将代码结构属性纳入变压器。具体而言，我们将局部符号信息（例如，代码令牌和语句）和全局句法结构（例如，数据流程图）注入变压器的自我发项模块中。为了进一步捕获代码的层次结构特征，局部信息和全局结构旨在分布在下层和变压器高层的注意力头中。广泛的评估表明，SG-trans的表现优于最先进的方法。与表现最佳的基线相比，SG-Trans在流星评分方面仍然可以提高1.4％和2.0％，这是一个广泛用于测量发电质量的度量，分别在两个基准数据集上。

排名模型是信息检索系统的主要组成部分。排名的几种方法是基于传统的机器学习算法，使用一组手工制作的功能。最近，研究人员在信息检索中利用了深度学习模型。这些模型的培训结束于结束，以提取来自RAW数据的特征来排序任务，因此它们克服了手工制作功能的局限性。已经提出了各种深度学习模型，每个模型都呈现了一组神经网络组件，以提取用于排名的特征。在本文中，我们在不同方面比较文献中提出的模型，以了解每个模型的主要贡献和限制。在我们对文献的讨论中，我们分析了有前途的神经元件，并提出了未来的研究方向。我们还显示文档检索和其他检索任务之间的类比，其中排名的项目是结构化文档，答案，图像和视频。

随着图像文本对的大量数据以及视觉和语言（V＆L）任务的多样性，学者在该研究领域引入了大量的深度学习模型。此外，近年来，转移学习还显示出在计算机愿景中的巨大成功，例如图像分类，对象检测等以及在自然语言处理中以进行问答，机器翻译等的自然语言处理。继承转移学习的精神， V＆L的研究工作已经在大规模数据集上设计了多种预训练技术，以增强下游任务的性能。本文的目的是提供当代V＆L预审前模型的全面修订。特别是，我们对预处理的方法进行了分类和描述，以及最先进的视觉和语言预训练模型的摘要。此外，还提供了培训数据集和下游任务的列表，以进一步提高V＆L预处理的观点。最后，我们决定采取进一步的一步，讨论众多未来研究的方向。

上下文：堆栈溢出对于寻求编程问题答案的软件开发人员非常有帮助。先前的研究表明，越来越多的问题质量低，因此从潜在的答案者那里获得了更少的关注。 Gao等。提出了一个基于LSTM的模型（即BilstM-CC），以自动从代码片段中生成问题标题，以提高问题质量。但是，只有在问题主体中使用代码段无法为标题生成提供足够的信息，而LSTMS无法捕获令牌之间的远程依赖性。目的：本文提出了基于深度学习的新型模型CCBERT，旨在通过充分利用整个问题主体的双模式信息来增强问题标题生成的性能。方法：CCBERT遵循编码器范式范式，并使用Codebert将问题主体编码为隐藏的表示形式，堆叠的变压器解码器以生成预测的代币，以及附加的复制注意层来完善输出分布。编码器和解码器都执行多头自我注意操作，以更好地捕获远程依赖性。本文构建了一个数据集，该数据集包含大约200,000个高质量问题，该数据从Stack Overflow正式发布的数据中滤除，以验证CCBERT模型的有效性。结果：CCBERT优于数据集上的所有基线模型。对仅代码和低资源数据集进行的实验表明，CCBERT的优势性能较小。人类评估还显示了CCBERT关于可读性和相关标准的出色表现。

收集与特定API方法相关的API示例，用法和提及在诸如堆栈溢出之类的场地上的讨论中不是一个微不足道的问题。它需要努力正确认识讨论是否指的是开发人员/工具正在搜索的API方法。线程的内容包括描述API方法在讨论中的参与和包含API调用的代码片段中的文本段落，可以参考给定的API方法。利用此观察，我们开发FacOS，一种特定于背景算法，可以在讨论中捕获段落和代码片段的语义和语法信息。FACOS将基于语法的单词的分数与来自Codebert的精细调整的预测模型的分数相结合。Facos在F1分数方面将最先进的方法击败了13.9％。