近年来，研究人员创建并引入了大量各种代码生成模型。由于对每个新模型版本的人类评估都是不可行的，因此社区采用了自动评估指标，例如BLEU来近似人类判断的结果。这些指标源自机器翻译域，目前尚不清楚它们是否适用于代码生成任务，以及他们与人类对此任务的评估有多一致。还有两个指标，即Codebleu和Ruby，它们是为了估计代码的相似性并考虑了代码属性的。但是，对于这些指标，几乎没有关于他们与人类评估一致的研究。尽管如此，公制得分的最小差异仍用于声称某些代码生成模型的优越性。在本文中，我们介绍了一项有关六个指标的适用性的研究-Bleu，Rouge-L，Meteor，Chrf，Codebleu，Ruby-用于评估代码生成模型。我们对两个不同的代码生成数据集进行了一项研究，并使用人类注释来评估这些数据集上运行的所有模型的质量。结果表明，对于Python单线的Conala数据集，如果模型得分的差异小于5分，则没有一个指标可以正确模拟人类判断，而$ 95 \％$确定性，则使用$> 95 \％$确定性。对于由特定结构类别组成的炉石传说数据集，至少2分的模型得分差异足以声称一种模型比另一个模型的优越性。使用我们的发现，我们得出了有关使用指标来估计代码生成任务的模型性能的几项建议。
translated by 谷歌翻译
代码克隆是实现类似功能的代码段对。克隆检测是自动源代码理解的基本分支，在重构建议，窃检测和代码摘要中具有许多应用程序。克隆检测的一个特别有趣的案例是检测语义克隆，即具有相同功能但实现方面有显着差异的代码段。检测语义克隆的一种有希望的方法是对比度学习（CL），这是一种在计算机视觉中流行的机器学习范式，但尚未用于代码处理。我们的工作旨在评估最受欢迎的CL算法以及两个任务上的三个源代码表示形式。第一个任务是代码克隆检测，我们在包含104个算法的实现的POJ-104数据集上进行了评估。第二个任务是窃检测。为了评估此任务上的模型，我们介绍了CodeTransFormator，这是用于转换源代码的工具。我们使用它来创建一个基于竞争性编程解决方案模仿窃代码的数据集。我们为这两项任务培训了九个模型，并将其与现有的六种方法进行了比较，包括传统工具和现代培训的神经模型。我们评估的结果表明，提议的模型在每个任务中都具有多样性，但是基于图的模型的性能通常高于其他模型。在CL算法中，SIMCLR和SWAV带来更好的结果，而MoCo是最强大的方法。我们的代码和训练有素的模型可在https://doi.org/10.5281/zenodo.6360627，https://doi.org/10.5281/zenodo.5596345获得。
translated by 谷歌翻译
随着研究人员和从业人员将机器学习应用于越来越多的软件工程问题，他们使用的方法变得更加复杂。许多现代方法都以抽象语法树（AST）或其扩展形式使用内部代码结构：基于路径的表示，复杂的图将AST与其他边缘结合在一起。即使可以使用不同的解析器来从代码中提取AST的过程，但选择解析器对最终模型质量的影响仍然没有研究。此外，研究人员经常省略提取特定代码表示的确切细节。在这项工作中，我们在方法名称预测任务中评估了两个模型，即Code2Seq和Treelstm，由八个不同的解析器用于Java语言。为了将数据制备的过程与不同的解析器统一，我们开发了SuperParser，这是基于Pathminer的多语言解析器 - 不合Snostic库。 SuperParser促进了适用于培训和评估ML模型的数据集的端到端创建，这些模型与源代码中的结构信息合作。我们的结果表明，不同解析器建造的树木的结构和内容各不相同。然后，我们分析这种多样性如何影响模型的质量，并表明两种模型最不合适的解析器之间的质量差距非常重要。最后，我们讨论了解析器的其他功能，研究人员和从业人员在选择解析器时应考虑这些特征，以及对模型质量的影响。 SuperParser代码可在https://doi.org/10.5281/zenodo.6366591上公开获得。我们还发布了Java-Norm，即我们用于评估模型的数据集：https：//doi.org/10.5281/zenodo.6366599。
translated by 谷歌翻译
软件工程（ML4SE）的机器学习是一个积极发展的研究领域，专注于帮助程序员工作的方法。为了在实践中应用开发的方法，他们需要实现合理的质量，以帮助而不是分散开发人员的注意力。尽管开发新方法来代码表示和数据收集可以提高模型的整体质量，但它没有考虑到我们可以从手头项目中获得的信息。在这项工作中，我们研究了如果我们针对特定项目，则如何提高模型的质量。我们开发一个框架来评估质量改进，模型可以在特定项目上的方法名称预测任务进行微调后获得。我们评估了三种不同复杂性的模型，并在三个设置中进行了比较它们的质量：在大型Java项目的大型数据集上进行培训，进一步对特定项目的数据进行了微调，并从头开始训练了此数据。我们表明，每项项目的微调可以极大地提高模型的质量，因为它们捕获了项目的领域和命名约定。我们开放用于数据收集的工具以及运行实验的代码：https：//zenodo.org/record/6040745。
translated by 谷歌翻译
在这项工作中，我们提出了一种从IDE中从用户那里收集完成使用日志的方法，并使用它们来训练基于机器学习的模型来排名完成候选。我们开发了一组描述候选人及其上下文的功能，并在基于Intellij的IDE的早期访问程序中部署了其匿名集合。我们使用日志从用户那里收集代码完成数据集，并使用它来训练排名catboost模型。然后，我们在两种设置中对其进行了评估：在收集到的完成的一组持有的集合中，并在IDE中的两个不同组的用户对单独的A/B测试中进行了评估。我们的评估表明，使用对过去用户行为日志训练的简单排名模型可显着改善代码完成体验。与默认的基于启发式的排名相比，我们的模型表明，在2.073中执行IDE完成所需的打字操作数量减少到1.832。该方法遵守隐私要求和法律约束，因为它不需要收集个人信息，在客户方面执行所有必要的匿名化。重要的是，它可以连续改进：实施新功能，收集新数据并评估新模型 - 这样，我们自2020年底以来就一直在生产中使用它。
translated by 谷歌翻译
Learning-based image compression has improved to a level where it can outperform traditional image codecs such as HEVC and VVC in terms of coding performance. In addition to good compression performance, device interoperability is essential for a compression codec to be deployed, i.e., encoding and decoding on different CPUs or GPUs should be error-free and with negligible performance reduction. In this paper, we present a method to solve the device interoperability problem of a state-of-the-art image compression network. We implement quantization to entropy networks which output entropy parameters. We suggest a simple method which can ensure cross-platform encoding and decoding, and can be implemented quickly with minor performance deviation, of 0.3% BD-rate, from floating point model results.
translated by 谷歌翻译