GitHub Copilot，由大规模语言模型Codex提供支持的Visual Studio代码开发环境的扩展，为软件开发人员提供自动程序合成。该模型在深度学习领域中已经广泛研究，然而，与遗传编程的比较尚未以自动编程合成的性能所知。在本文中，我们在标准程序综合基准问题上评估GitHub CopIlot，并将与遗传编程文献中的结果进行比较。此外，我们讨论了两种方法的性能。我们发现，在基准问题上的两种方法的性能非常相似，但与GitHub Copilot相比，基于遗传编程的程序合成方法尚未成熟，以支持实际软件开发中的程序员。遗传编程通常需要大量昂贵的手工标记训练箱，并且需要太多时间来产生解决方案。此外，由遗传编程方法产生的源代码通常是膨胀和难以理解的。对于未来的遗传编程综合的工作，我们建议研究人员，专注于提高执行时间，可读性和可用性。

一般计划的合成已成为遗传编程（GP）和人工智能的重要应用领域。代码构建遗传编程（CBGP）是最近引入的一般程序合成的GP方法，它利用反射和一级规格支持可能使用任意数据类型，多态性和从现有代码库中汲取的功能的程序的演变。但是，尚未报告正式描述和CBGP的彻底基准测试。在这项工作中，我们使用类型理论的算法对CBGP的方法进行形式化。特别是，我们表明，功能性编程语言和Hindley-Milner类型系统可用于使用原始CBGP纸中抽象描述的过程来发展类型安全程序。此外，与其他当代GP程序合成方法相比，我们对CBGP的该功能变体的搜索性能进行了全面分析。

大型语言模型，例如OpenAI的法典和DeepMind的字母，可以生成代码来解决以自然语言表达的各种问题。这项技术已经在至少一项广泛使用的编程编辑器扩展程序中进行了商业化：Github Copilot。在本文中，我们探讨了具有大型语言模型（LLM辅助编程）的编程与程序员协助的先前概念化相似，并且与众不同。我们借鉴了公开可用的经验报告，有关LLM辅助编程以及先前的可用性和设计研究。我们发现，尽管LLM辅助编程通过搜索和重用分享了一些编译，配对编程和编程的属性，但技术可能性和实践经验都存在根本差异。因此，应该将LLM辅助编程视为具有自己独特的属性和挑战的新方法。最后，我们借鉴了用户研究的观察结果，在该观察中，非专家最终用户程序员使用LLM辅助工具来求解电子表格中的数据任务。我们讨论可能出现的问题，并在将大型语言模型应用于最终用户编程时，尤其是对于几乎没有编程专业知识的用户。

The Codex model has demonstrated extraordinary competence in synthesizing code from natural language problem descriptions. However, in order to reveal unknown failure modes and hidden biases, such large-scale models must be systematically subjected to multiple and diverse evaluation studies. In this work, we evaluate the code synthesis capabilities of the Codex model based on a set of 115 Python problem statements from a popular competitive programming portal: HackerRank. Our evaluation shows that Codex is indeed proficient in Python, solving 96% of the problems in a zero-shot setting, and 100% of the problems in a few-shot setting. However, Codex exhibits clear signs of generating memorized code based on our evaluation. This is alarming, especially since the adoption and use of such models could directly impact how code is written and produced in the foreseeable future. With this in mind, we further discuss and highlight some of the prominent risks associated with large-scale models of source code. Finally, we propose a framework for code-synthesis evaluation using variations of problem statements based on mutations.

大规模的，预训练的语言模型几乎没有学习的方法是回答有关代码问题的有力方法，例如，如何完成给定的代码示例，甚至从头开始生成代码段。这些模型的成功提出了一个问题，它们是否可以作为构建广泛代码生成工具的基础。传统上，此类工具是为每个任务手动和单独构建的。取而代之的是，只需提供一些示例或对预期工具行为的自然语言描述，就可以从单个预训练的语言模型中获取不同的工具。本文研究了代码的最先进的，预先训练的代码模型，Codex可能会达到此目的。我们考虑通过一系列传统工具针对的三个代码操纵和代码生成任务：（i）代码突变； （ii）从自然语言文档中测试甲骨文的生成； （iii）测试案例生成。对于每个任务，我们将几杆学习与手动构建的工具进行比较。我们的结果表明，基于模型的工具补充（代码突变），在PAR上（测试Oracle生成），甚至超越了其各自的传统构建的工具（测试案例生成），同时施加了开发它们的努力。通过比较基于模型的工具的不同变体的有效性，我们提供了有关如何将适当输入（“提示”）设计到模型以及模型大小的影响的见解。例如，我们发现，提供对代码生成任务的小型自然语言描述是改善预测的一种简单方法。总体而言，我们得出的结论是，很少有语言模型令人惊讶地有效，但是还有更多的工作要做，例如探索更多样化的方式来促使和解决更多有关任务。

我们介绍了一种称为编程拼图的新型编程挑战，作为方案合成的客观和全面评估，并释放Python编程拼图的开源数据集（P3）。每个拼图由短Python程序$ F $定义，目标是找到一个使$ F $返回true的输入。谜题是目的，因为每个人都由其验证者$ F $的源代码完全指定，因此评估为测试候选解决方案所需的$ F $。它们不需要答案密钥或输入/输出示例，也不依赖于自然语言理解。该数据集是全面的，因为它跨越一系列困难和域的问题，从琐碎的字符串操纵问题，经典编程谜题（例如，河内塔），用于采访/竞争编程问题（例如，动态编程），在算法和数学中的长期开放问题（例如，因子）。我们开发基准枚举程序合成，GPT-3和能够解决难题的食盒求解器 - 即使没有访问任何参考解决方案 - 通过从他们自己的过去的解决方案中学习。 Codex表现最佳，解决高达18％的397个测试问题的测试问题，每次尝试和80％的问题占1,000个问题。在一个小的用户学习中，我们发现拼图解决性能和编码体验之间的正相关性，以及人类和AI求解器的难题难度之间。因此，P3的进一步改进可能对许多程序合成区域产生重大影响。

我们提出了Pangu-Coder，这是一种仅预读的解码器语言模型，该模型采用pangu-alpha架构进行文本到代码生成，即给定自然语言问题描述的编程语言解决方案的合成。我们使用两阶段策略训练Pangu-Coder：第一阶段采用因果语言建模（CLM）来预先培训原始编程语言数据，而第二阶段则使用因果语言建模和掩盖语言建模（MLM）的组合培训目标，专注于文本到代码生成的下游任务，并培训松散的自然语言程序定义和代码功能。最后，我们讨论了pangu-coder-ft，该pander the是通过竞争性编程问题和代码与持续集成测试的结合进行了微调的。我们评估了pangu-coder，重点是它是否生成功能上正确的程序，并证明它在参加较小的上下文窗口和较少的数据培训的同时，它比诸如Codex之类的类似大小的模型（例如Codex）实现等效性或更好的性能。

自动程序合成是软件工程中的持久梦想。最近，Open AI和Microsoft提出了一种有希望的深度学习（DL）解决方案，称为Copilot，作为工业产品。尽管一些研究评估了副驾驶解决方案的正确性并报告其问题，但需要进行更多的经验评估，以了解开发人员如何有效地受益。在本文中，我们研究了两项不同的编程任务中副标士的功能：（1）为基本算法问题生成（和复制）正确，有效的解决方案，（2）将副副副总裁与人类程序员的建议解决方案与一组人的建议解决方案进行比较编程任务。对于前者，我们评估副铜在解决计算机科学中选定的基本问题（例如对基本数据结构的基本问题）中的性能和功能。在后者中，使用人提供的解决方案的编程问题数据集。结果表明，Copilot能够为几乎所有基本算法问题提供解决方案，但是，某些解决方案是越野车且不可复制的。此外，Copilot在组合多种方法来生成解决方案方面存在一些困难。将副驾驶员与人类进行比较，我们的结果表明，人类溶液的正确比率大于副本的正确比率，​​而副铜产生的越野车解决方案需要更少的努力来维修。尽管本研究和以前的研究中的强调，副柯洛特（Copilot）作为开发人员特别是在高级编程任务中的助手表现出局限性，但它可以为基本编程任务生成初步解决方案。

人类开发人员可以使用网络安全缺陷生产代码。可以新兴'智能'代码完成工具有助于修复这些缺点吗？在这项工作中，我们研究了对零拍摄漏洞修复的代码（如Openai的Codex和AI21的侏罗纪J-1）使用大型语言模型（如Openai的Codex和AI21的J-1）。我们调查设计方面的挑战，提示将Coax LLMS进入生成不安全代码的修复版本。由于许多方法来短语和句法 - 具有自然语言，这很困难。通过对四个商业，黑盒子，“现成的”典型的模型进行大规模研究，以及局部训练的模型，在合成，手工制作和现实世界的安全错误场景的混合中，我们的实验表明，LLMS可以共同修复100％的综合生成和手工制作的情景，以及58％的脆弱性，在真实的开源项目中的历史错误中选择。

Despite recent success in large language model (LLM) reasoning, LLMs still struggle with hierarchical multi-step reasoning like generating complex programs. In these cases, humans often start with a high-level algorithmic design and implement each part gradually. We introduce Parsel, a framework enabling automatic implementation and validation of complex algorithms with code LLMs, based on hierarchical function descriptions in natural language. Parsel can be used across domains requiring hierarchical reasoning, e.g. code synthesis, theorem proving, and robotic planning. We demonstrate Parsel's capabilities by using it to generate complex programs that cannot currently be automatically implemented from one description and backtranslating Python programs in the APPS dataset. Beyond modeling capabilities, Parsel allows problem-solving with high-level algorithmic designs, benefiting both students and professional programmers.

在本文中，我们解决了深入学习的软件漏洞自动修复问题。数据驱动漏洞修复的主要问题是已知确认漏洞的少数现有数据集仅由几千例组成。然而，培训深度学习模型通常需要数十万例的例子。在这项工作中，我们利用了错误修复任务和漏洞修复任务的直觉相关，并且可以传输来自错误修复的知识可以传输到修复漏洞。在机器学习界中，这种技术称为转移学习。在本文中，我们提出了一种修复名为Vreepair的安全漏洞的方法，该方法是基于转移学习。 vreepair首先在大型错误修复语料库上培训，然后在漏洞修复数据集上调整，这是一个较小的数量级。在我们的实验中，我们表明，仅在错误修复语料库上培训的模型可能已经修复了一些漏洞。然后，我们证明转移学习改善了修复易受攻击的C功能的能力。我们还表明，转移学习模型比具有去噪任务训练的模型更好，并在漏洞固定任务上进行微调。总而言之，本文表明，与在小型数据集上的学习相比，转移学习适用于修复C中的安全漏洞。

大型预先训练的语言模型可以在可以在一个可以“单通”中的任务上进行非常好，例如生成现实文本或合成计算机程序。但是，他们与需要无限的多步计算的任务斗争，例如添加整数或执行程序。令人惊讶的是，我们发现这些相同的模型能够执行复杂的多步计算 - 即使在少量射门中，当被要求执行操作“一步一步”时，表示中间计算的结果。特别是，我们通过询问它们将中间计算步骤发出到“ScratchPad”来执行变压器来执行多步计算。在一系列越来越复杂的任务范围内，从加入任意程序的执行范围，我们表明Scratchpads显着提高了语言模型执行多步计算的能力。

虽然编程是现代社会中最广泛适用的技能之一，但现代机器学习模型仍然无法对基本问题的解决方案。尽管重要的是，对评估代码生成令人惊讶的是，很少有效，并且难以准确地评估代码生成性能。为了满足这一挑战，我们介绍了一个用于代码生成的基准。与在更受限制的设置中的事先工作不同，我们的基准测试衡量模型采取任意自然语言规范的能力，并生成满意的Python代码。类似于公司如何评估候选软件开发人员，然后我们通过检查测试用例的生成代码来评估模型。我们的基准测试包括10,000个问题，从具有简单的单线解决方案来实现实质性算法挑战。我们在GitHub和我们的培训集上微调大型语言模型，我们发现语法错误的普遍性随着模型的提高而导致呈指数级递减。最近的模型如GPT-Neo可以通过大约20％的介绍性问题的测试用例，因此我们发现机器学习模型现在开始学习如何代码。随着自动代码生成的社会意义在未来几年增加，我们的基准可以提供跟踪进步的重要措施。

As the complexity of modern software continues to escalate, software engineering has become an increasingly daunting and error-prone endeavor. In recent years, the field of Neural Code Intelligence (NCI) has emerged as a promising solution, leveraging the power of deep learning techniques to tackle analytical tasks on source code with the goal of improving programming efficiency and minimizing human errors within the software industry. Pretrained language models have become a dominant force in NCI research, consistently delivering state-of-the-art results across a wide range of tasks, including code summarization, generation, and translation. In this paper, we present a comprehensive survey of the NCI domain, including a thorough review of pretraining techniques, tasks, datasets, and model architectures. We hope this paper will serve as a bridge between the natural language and programming language communities, offering insights for future research in this rapidly evolving field.

大型语言模型已经证明了能够在自然语言和编程语言文本上进行条件和生成的能力。这样的模型打开了多语言代码生成的可能性：代码生成模型是否可以将知识从一种语言推广到另一种语言？尽管当代代码生成模型可以生成语义上正确的Python代码，但对它们使用其他语言的能力知之甚少。我们通过提出Multipl-E来促进该主题的探索，这是自然语言到代码生成的第一个多语言平行基准。 Multipl-E扩展了HumaneVal基准（Chen等，2021），以支持另外18种编程语言，涵盖了一系列编程范式和受欢迎程度。我们在Multipl-E：Codex和Incoder上评估了两个最先进的代码生成模型。我们发现，在几种语言上，法典匹配，甚至超过了其在Python上的性能。在多型E中表示的编程语言范围使我们能够探索语言频率和语言功能对模型性能的影响。最后，将代码生成基准分配给新编程语言的多重方法既可扩展又可扩展。我们描述了一种通用方法，可以轻松地增加对新基准和语言的支持。

由摩尔定律驱动的计算系统性能的改善已改变了社会。由于这种硬件驱动的收益放缓，对于软件开发人员而言，专注于开发过程中的性能和效率变得更加重要。尽管几项研究表明了这种提高的代码效率的潜力（例如，与硬件相比，2倍更好的世代改进），但在实践中解锁这些收益是充满挑战的。关于算法复杂性以及硬件编码模式的相互作用的推理对于普通程序员来说可能是具有挑战性的，尤其是当与围绕开发速度和多人发展的务实约束结合使用时。本文旨在解决这个问题。我们分析了Google Code JAM竞争中的大型竞争编程数据集，并发现有效的代码确实很少见，中位数和第90％的解决方案之间的运行时间差异为2倍。我们建议使用机器学习以提示的形式自动提供规范反馈，以指导程序员编写高性能代码。为了自动从数据集中学习这些提示，我们提出了一种新颖的离散变异自动编码器，其中每个离散的潜在变量代表了不同的代码编辑类别，从而提高了性能。我们表明，此方法代表代码效率的多模式空间比序列到序列基线更好地编辑，并生成更有效的解决方案的分布。

源代码的最先进的神经模型倾向于在代码的生成时进行评估，并且通常在长地平任务中的产生，例如整个方法体的产生。我们建议使用静态程序分析仪的弱监督来解决这一缺陷。我们的神经统计方法允许深入的生成模型来象征地计算它已经生成的代码中的静态分析工具，长距离语义关系。在培训期间，该模型观察这些关系，并学习生成条件上的程序。考虑到包含该方法的类的剩余部分，我们将我们的方法应用于生成整个Java方法的问题。我们的实验表明，该方法显着地优于最先进的变换器和模型，明确试图在制作程序中没有基本语义错误的程序以及在句法匹配地面真理方面来学习此任务的模型。

The problem of reversing the compilation process, decompilation, is an important tool in reverse engineering of computer software. Recently, researchers have proposed using techniques from neural machine translation to automate the process in decompilation. Although such techniques hold the promise of targeting a wider range of source and assembly languages, to date they have primarily targeted C code. In this paper we argue that existing neural decompilers have achieved higher accuracy at the cost of requiring language-specific domain knowledge such as tokenizers and parsers to build an abstract syntax tree (AST) for the source language, which increases the overhead of supporting new languages. We explore a different tradeoff that, to the extent possible, treats the assembly and source languages as plain text, and show that this allows us to build a decompiler that is easily retargetable to new languages. We evaluate our prototype decompiler, Beyond The C (BTC), on Go, Fortran, OCaml, and C, and examine the impact of parameters such as tokenization and training data selection on the quality of decompilation, finding that it achieves comparable decompilation results to prior work in neural decompilation with significantly less domain knowledge. We will release our training data, trained decompilation models, and code to help encourage future research into language-agnostic decompilation.

本文探讨了培训来生成代码的大型语言模型（LLMS）可以极大地提高对基因编程（GP）应用程序的突变操作员的有效性。由于此类LLM受益于包括顺序更改和修改的训练数据，因此它们可以近似人类会做出的可能变化。为了强调通过大型模型（ELM）的这种进化的含义的广度，在主要实验ELM与MAP-ELITE结合产生了数十万个Python程序的功能示例，这些示例在Sodarace域中输出了在Sodarace域中运行AMBULE的机器人，原始LLM从未在预训练中见过。然后，这些示例有助于引导培训一种新的条件语言模型，该模型可以为特定地形输出合适的步行者。引导新模型可以在以前可用的零培训数据中为给定上下文中输出适当的工件的新模型具有对开放性，深度学习和增强学习的影响。在这里深入探讨了这些含义，以期激发榆树现在打开的新研究方向。

自然语言处理（NLP）已成为当前人工智能繁荣中的主要应用领域之一。转移学习已经启用了大量深入学习的神经网络，接受了语言建模任务，以大大提高了所有语言任务的性能。有趣的是，当模型培训使用包含软件代码的数据培训时，它们在从自然语言规范中生成功能计算机代码时展示了显着的能力。我们认为这是一种难题，用于神经模型为生成词组结构语法提供了一种替代理论，以说明语言有效。由于编程语言的语法由短语结构语法决定，因此成功的神经模型显然是对编程语言的理论基础的理论基础，以及通过扩展，自然语言来实现。我们认为语言模型的术语模型是误导性的，因为深度学习模型不是语言的理论模型，并提出采用语料库模型，这更好地反映了模型的成因和内容。