源代码（MLONCODE）上的机器学习有望改变软件的交付方式。通过挖掘软件伪像之间的上下文和关系，mloncode通过代码自动生成，代码建议，代码自动标记和其他数据驱动的增强功能增强了软件开发人员的功能。对于许多任务中，代码的脚本级别表示足够，但是，在许多情况下，要考虑各种依赖关系和存储库结构的存储库级表示，例如，自动标记存储库具有主题或自动记录的存储库。代码等，用于计算存储库级表示的现有方法受（a）依赖代码的自然语言文档（例如，读书文件）（b）方法/脚本级表示的天真聚集，例如，通过串联或平均值。本文介绍了一个深度神经网络，该网络可直接从源代码中生成可公开可用的GitHub代码存储库的存储库嵌入。主题结合了一种注意机制，该机制将源代码，完整依赖关系图和脚本级别的文本信息投射到密集的存储库级表示中。为了计算存储库级别的表示，局部训练可以预测与存储库相关的主题，该主题是在公开可用的GitHub存储库数据集中，这些存储库与他们的地面真相主题标签一起爬行。我们的实验表明，局部计算的嵌入能够胜过多个基线，包括通过在存储库自动标记的任务下平均或串联来天真地结合方法级表示的基线。

GitHub是Internet上最大的开源软件主机。这个大型，可自由访问的数据库吸引了从业人员和研究人员的注意。但是，随着Github的增长的继续，越来越难以导航遍布广泛领域的大量存储库。过去的工作表明，考虑到应用程序域对于预测存储库的普及以及有关项目质量的推理的任务至关重要。在这项工作中，我们建立在先前注释的5,000个GitHub存储库的数据集上，以设计自动分类器，以通过其应用程序域对存储库进行分类。分类器使用最先进的自然语言处理技术和机器学习，根据五个应用程序域从多个数据源和目录存储库中学习。我们用（1）自动分类器贡献，该分类器可以将流行的存储库分配给每个应用程序域，至少具有70％的精度，（2）对该方法在不流行的存储库中的性能进行调查，以及（3）这种方法对这种方法的实际应用程序，用于回答软件工程实践的采用如何在应用程序域之间有何不同。我们的工作旨在帮助GitHub社区确定感兴趣的存储库，并为未来的工作开放有希望的途径，以调查来自不同应用领域的存储库之间的差异。

Machine Learning for Source Code (ML4Code) is an active research field in which extensive experimentation is needed to discover how to best use source code's richly structured information. With this in mind, we introduce JEMMA, an Extensible Java Dataset for ML4Code Applications, which is a large-scale, diverse, and high-quality dataset targeted at ML4Code. Our goal with JEMMA is to lower the barrier to entry in ML4Code by providing the building blocks to experiment with source code models and tasks. JEMMA comes with a considerable amount of pre-processed information such as metadata, representations (e.g., code tokens, ASTs, graphs), and several properties (e.g., metrics, static analysis results) for 50,000 Java projects from the 50KC dataset, with over 1.2 million classes and over 8 million methods. JEMMA is also extensible allowing users to add new properties and representations to the dataset, and evaluate tasks on them. Thus, JEMMA becomes a workbench that researchers can use to experiment with novel representations and tasks operating on source code. To demonstrate the utility of the dataset, we also report results from two empirical studies on our data, ultimately showing that significant work lies ahead in the design of context-aware source code models that can reason over a broader network of source code entities in a software project, the very task that JEMMA is designed to help with.

对开发人员的领域专业知识的准确评估对于分配适当的候选人来为项目做出贡献或参加工作职位很重要。由于潜在的候选人可以来自大型池，因此对该领域专业知识的自动评估是一个理想的目标。尽管以前的方法在单个软件项目中取得了成功，但对开发人员的领域专业知识的评估跨多个项目的贡献更具挑战性。在本文中，我们采用DOC2VEC来代表开发人员的领域专业知识作为嵌入向量。这些向量来自包含开发人员专业知识的证据的不同来源，例如对他们贡献的存储库的描述，解决历史的问题以及API在他们的委托中呼吁。我们将其命名为Dev2Vec，并证明其在代表开发人员的技术专业化方面的有效性。我们的结果表明，编码开发人员在嵌入矢量中的专业知识优于最先进的方法，并提高了F1得分高达21％。此外，我们的发现表明，开发人员的``问题解决历史''是代表开发人员在嵌入空间中的领域专业知识的最有用的信息来源。

代码克隆是实现类似功能的代码段对。克隆检测是自动源代码理解的基本分支，在重构建议，窃检测和代码摘要中具有许多应用程序。克隆检测的一个特别有趣的案例是检测语义克隆，即具有相同功能但实现方面有显着差异的代码段。检测语义克隆的一种有希望的方法是对比度学习（CL），这是一种在计算机视觉中流行的机器学习范式，但尚未用于代码处理。我们的工作旨在评估最受欢迎的CL算法以及两个任务上的三个源代码表示形式。第一个任务是代码克隆检测，我们在包含104个算法的实现的POJ-104数据集上进行了评估。第二个任务是窃检测。为了评估此任务上的模型，我们介绍了CodeTransFormator，这是用于转换源代码的工具。我们使用它来创建一个基于竞争性编程解决方案模仿窃代码的数据集。我们为这两项任务培训了九个模型，并将其与现有的六种方法进行了比较，包括传统工具和现代培训的神经模型。我们评估的结果表明，提议的模型在每个任务中都具有多样性，但是基于图的模型的性能通常高于其他模型。在CL算法中，SIMCLR和SWAV带来更好的结果，而MoCo是最强大的方法。我们的代码和训练有素的模型可在https://doi.org/10.5281/zenodo.6360627，https://doi.org/10.5281/zenodo.5596345获得。

代码搜索目标是根据自然语言查询检索相关的代码片段，以提高软件生产力和质量。但是，由于源代码和查询之间的语义间隙，自动代码搜索是具有挑战性的。大多数现有方法主要考虑嵌入的顺序信息，其中文本背后的结构信息不完全考虑。在本文中，我们设计了一个名为GraphsearchNet的新型神经网络框架，通过共同学习源代码和查询的富集语义来启用有效和准确的源代码搜索。具体地，我们建议将源代码和查询编码为两个图，其中双向GGNN以捕获图表的本地结构信息。此外，我们通过利用有效的多主题来增强BigGNN，以补充BigGNN错过的全球依赖。关于Java和Python数据集的广泛实验说明了GraphSearchNet优于当前最先进的工作原位。

收集与特定API方法相关的API示例，用法和提及在诸如堆栈溢出之类的场地上的讨论中不是一个微不足道的问题。它需要努力正确认识讨论是否指的是开发人员/工具正在搜索的API方法。线程的内容包括描述API方法在讨论中的参与和包含API调用的代码片段中的文本段落，可以参考给定的API方法。利用此观察，我们开发FacOS，一种特定于背景算法，可以在讨论中捕获段落和代码片段的语义和语法信息。FACOS将基于语法的单词的分数与来自Codebert的精细调整的预测模型的分数相结合。Facos在F1分数方面将最先进的方法击败了13.9％。

在过去的几年中，世界已转向多核和多核共享内存体系结构。结果，通过将共享内存并行化方案引入软件应用程序，越来越需要利用这些体系结构。 OpenMP是实现此类方案的最全面的API，其特征是可读接口。然而，由于平行共享内存的管理中普遍存在的陷阱，将OpenMP引入代码很具有挑战性。为了促进此任务的性能，多年来创建了许多源代码（S2S）编译器，任务是将OpenMP指令自动插入代码。除了对输入格式的鲁棒性有限外，这些编译器仍然无法在定位可行的代码和生成适当指令时获得令人满意的覆盖范围和精确度。在这项工作中，我们建议利用ML技术的最新进展，特别是自然语言处理（NLP），以完全替换S2S编译器。我们创建一个数据库（语料库），专门用于此目标。 Open-Opm包含28,000多个代码片段，其中一半包含OpenMP指令，而另一半根本不需要并行化。我们使用语料库来培训系统来自动对需要并行化的代码段进行分类，并建议单个OpenMP条款。我们为这些任务培训了几个名为Bragformer的变压器模型，并表明它们的表现优于统计训练的基线和自动S2S并行化编译器，这既可以分类OpenMP指令的总体需求，又要介绍私人和还原条款。我们的源代码和数据库可在以下网址获得：https：//github.com/scientific-computing-lab-nrcn/pragformer。

尽管不断努力提高代码搜索的有效性和效率，但仍未解决两个问题。首先，编程语言具有固有的牢固结构链接，并且代码的特征是文本表单将省略其中包含的结构信息。其次，代码和查询之间存在潜在的语义关系，跨序列对齐代码和文本是具有挑战性的，因此在相似性匹配期间，向量在空间上保持一致。为了解决这两个问题，在本文中，提出了一个名为CSSAM的代码搜索模型（代码语义和结构注意匹配）。通过引入语义和结构匹配机制，CSSAM有效提取并融合了多维代码功能。具体而言，开发了交叉和残留层，以促进代码和查询的高纬度空间比对。通过利用残差交互，匹配模块旨在保留更多的代码语义和描述性功能，从而增强了代码及其相应查询文本之间的附着力。此外，为了提高模型对代码固有结构的理解，提出了一个名为CSRG的代码表示结构（代码语义表示图），用于共同表示抽象语法树节点和代码的数据流。根据两个包含540K和330K代码段的公开可用数据集的实验结果，CSSAM在两个数据集中分别在获得最高的SR@1/5/10，MRR和NDCG@50方面大大优于基本线。此外，进行消融研究是为了定量衡量CSSAM每个关键组成部分对代码搜索效率和有效性的影响，这为改进高级代码搜索解决方案提供了见解。

The automation of an increasingly large number of software engineering tasks is becoming possible thanks to Machine Learning (ML). One foundational building block in the application of ML to software artifacts is the representation of these artifacts (e.g., source code or executable code) into a form that is suitable for learning. Many studies have leveraged representation learning, delegating to ML itself the job of automatically devising suitable representations. Yet, in the context of Android problems, existing models are either limited to coarse-grained whole-app level (e.g., apk2vec) or conducted for one specific downstream task (e.g., smali2vec). Our work is part of a new line of research that investigates effective, task-agnostic, and fine-grained universal representations of bytecode to mitigate both of these two limitations. Such representations aim to capture information relevant to various low-level downstream tasks (e.g., at the class-level). We are inspired by the field of Natural Language Processing, where the problem of universal representation was addressed by building Universal Language Models, such as BERT, whose goal is to capture abstract semantic information about sentences, in a way that is reusable for a variety of tasks. We propose DexBERT, a BERT-like Language Model dedicated to representing chunks of DEX bytecode, the main binary format used in Android applications. We empirically assess whether DexBERT is able to model the DEX language and evaluate the suitability of our model in two distinct class-level software engineering tasks: Malicious Code Localization and Defect Prediction. We also experiment with strategies to deal with the problem of catering to apps having vastly different sizes, and we demonstrate one example of using our technique to investigate what information is relevant to a given task.

深学习方法，已经在诸如图像分类和自然语言处理领域中的成功应用，最近被应用到源代码分析过，由于免费提供源代码（例如，从开源软件库）的巨大数额。在这项工作中，我们阐述在国家的最先进的方法来使用有关其句法结构信息的源代码表示，我们适应它代表源的变化（即，提交）。我们使用这种表示安全相关的分类提交。因为我们的方法是使用迁移学习（也就是我们训练的一个“借口任务”是可用的丰富的标签数据的网络，然后我们使用这样的网络提交分类的目标任务，为此，少标记实例可用）我们研究了前培训使用两种不同的借口任务与随机初始化模型的网络的影响。我们的研究结果表明，通过利用代码语法跑赢基于令牌的表示得到的结构信息表示。此外，具有非常大的数据集上的松散的相关任务借口训练前时所获得的性能度量（$> 10 ^ 6个$样品）上的更小的数据集训练前当超过（$> 10 ^ 4 $样品）但对于一个借口任务更密切相关的目标任务。

基于变压器的大型语言模型在自然语言处理中表现出色。通过考虑这些模型在一个领域中获得的知识的可传递性，以及自然语言与高级编程语言（例如C/C ++）的亲密关系，这项工作研究了如何利用（大）基于变压器语言模型检测软件漏洞以及这些模型在漏洞检测任务方面的良好程度。在这方面，首先提出了一个系统的（凝聚）框架，详细介绍了源代码翻译，模型准备和推理。然后，使用具有多个漏洞的C/C ++源代码的软件漏洞数据集进行经验分析，该数据集对应于库功能调用，指针使用，数组使用情况和算术表达式。我们的经验结果证明了语言模型在脆弱性检测中的良好性能。此外，这些语言模型具有比当代模型更好的性能指标，例如F1得分，即双向长期记忆和双向封闭式复发单元。由于计算资源，平台，库和依赖项的要求，对语言模型进行实验始终是具有挑战性的。因此，本文还分析了流行的平台，以有效地微调这些模型并在选择平台时提出建议。

建模法检索和检索作为预测问题最近被出现为法律智能的主要方法。专注于法律文章检索任务，我们展示了一个名为Lamberta的深度学习框架，该框架被设计用于民法代码，并在意大利民法典上专门培训。为了我们的知识，这是第一项研究提出了基于伯特（来自变压器的双向编码器表示）学习框架的意大利法律制度对意大利法律制度的高级法律文章预测的研究，最近引起了深度学习方法的增加，呈现出色的有效性在几种自然语言处理和学习任务中。我们通过微调意大利文章或其部分的意大利预先训练的意大利预先训练的伯爵来定义Lamberta模型，因为法律文章作为分类任务检索。我们Lamberta框架的一个关键方面是我们构思它以解决极端的分类方案，其特征在于课程数量大，少量学习问题，以及意大利法律预测任务的缺乏测试查询基准。为了解决这些问题，我们为法律文章的无监督标签定义了不同的方法，原则上可以应用于任何法律制度。我们提供了深入了解我们Lamberta模型的解释性和可解释性，并且我们对单一标签以及多标签评估任务进行了广泛的查询模板实验分析。经验证据表明了Lamberta的有效性，以及对广泛使用的深度学习文本分类器和一些构思的几次学习者来说，其优越性是对属性感知预测任务的优势。

The rapid advancement of AI technology has made text generation tools like GPT-3 and ChatGPT increasingly accessible, scalable, and effective. This can pose serious threat to the credibility of various forms of media if these technologies are used for plagiarism, including scientific literature and news sources. Despite the development of automated methods for paraphrase identification, detecting this type of plagiarism remains a challenge due to the disparate nature of the datasets on which these methods are trained. In this study, we review traditional and current approaches to paraphrase identification and propose a refined typology of paraphrases. We also investigate how this typology is represented in popular datasets and how under-representation of certain types of paraphrases impacts detection capabilities. Finally, we outline new directions for future research and datasets in the pursuit of more effective paraphrase detection using AI.

软件开发互动期间的有毒对话可能会对免费开源软件（FOSS）开发项目产生严重影响。例如，有毒对话的受害者可能会害怕表达自己，因此会丧失自己的动力，并最终可能离开该项目。自动过滤有毒的对话可能有助于福斯社区保持其成员之间的健康互动。但是，现成的毒性探测器在软件工程（SE）数据集上的表现较差，例如从代码审查评论中策划的一个。为了遇到这一挑战，我们提出了毒性，这是一种基于学习的基于学习的毒性识别工具，用于代码审查互动。有毒物质包括选择一种监督学习算法之一，选择文本矢量化技术，八个预处理步骤以及一个大规模标记的数据集，其中包括19,571个代码评论评论。在这八个预处理步骤中，有两个是特定于SE域。通过对预处理步骤和矢量化技术的各种组合的模型进行严格的评估，我们已经确定了数据集的最佳组合，可提高95.8％的精度和88.9％的F1得分。毒性明显优于我们数据集中的现有毒性探测器。我们已发布了数据集，预处理的模型，评估结果和源代码，网址为：https：//github.com/wsu-seal/toxicr

（源）代码摘要旨在以自然语言的形式自动为给定代码段生成摘要/注释。此类摘要在帮助开发人员理解和维护源代码方面起着关键作用。现有的代码摘要技术可以分类为提取方法和抽象方法。提取方法使用检索技术从代码段中提取重要语句和关键字的子集，并生成一个摘要，该摘要保留了重要语句和关键字中的事实详细信息。但是，这样的子集可能会错过标识符或实体命名，因此，产生的摘要的自然性通常很差。抽象方法可以生成类似人写的摘要，从而利用神经机器翻译域的编码器模型。然而，生成的摘要通常会错过重要的事实细节。为了通过保留的事实细节生成类似人写的摘要，我们提出了一个新颖的提取和吸收框架。框架中的提取模块执行了提取代码摘要的任务，该任务列入了代码段，并预测包含关键事实细节的重要陈述。框架中的抽象模块执行了抽象代码摘要的任务，该任务是在整个代码段和并行的重要陈述中进行的，并生成了简洁而人工写的类似的自然语言摘要。我们通过在涉及六种编程语言的三个数据集上进行广泛的实验来评估称为EACS的有效性。实验结果表明，在所有三种广泛使用的指标（包括BLEU，流星和Rough-l）方面，EACS明显优于最先进的技术。

反向工程师受益于二进制中的标识符（例如函数名称）的存在，但通常将其删除以释放。训练机器学习模型自动预测功能名称是有希望的，但从根本上讲很难：与自然语言中的单词不同，大多数函数名称仅出现一次。在本文中，我们通过引入极端功能标签（XFL）来解决此问题，这是一种极端的多标签学习方法，可为二进制功能选择适当的标签。 XFL将函数名称分为代币，将每个功能视为具有自然语言标记文本的问题的信息标签。我们将二进制代码的语义与通过dexter进行标签，这是一种新颖的函数，将基于静态分析的特征与来自呼叫图的本地上下文和整个二进制的全局上下文相结合。我们证明，XFL/Dexter在Debian Project的10,047个二进制数据集上的功能标签上优于最新技术，获得了83.5％的精度。我们还研究了XFL与文献中的替代二进制嵌入的组合，并表明Dexter始终为这项任务做得最好。结果，我们证明了二进制函数标记可以通过多标签学习有效地措辞，并且二进制函数嵌入得益于包括明确的语义特征。

物联网是一个快速新兴的范式，现在几乎涵盖了我们现代生活的各个方面。因此，确保物联网设备的安全至关重要。物联网设备与传统计算可能有所不同，从而在物联网设备中设计和实施适当的安全措施可能具有挑战性。我们观察到，物联网开发人员在堆栈溢出（SO）等开发人员论坛中讨论了与安全相关的挑战。但是，我们发现，在SO中，物联网安全讨论也可以埋葬在非安全性讨论中。在本文中，我们旨在了解物联网开发人员在将安全实践和技术应用于IoT设备时面临的挑战。我们有两个目标：（1）开发一个模型，该模型可以自动在SO中找到与安全有关的物联网讨论，并且（2）研究模型输出以了解与IoT开发人员安全相关的挑战。首先，我们从中下载了53k帖子，因此包含有关物联网的讨论。其次，我们手动将53K帖子的5,919个句子标记为1或0。第三，我们使用此基准测试来研究一套深度学习变压器模型。最佳性能模型称为SECBOT。第四，我们将SECBOT应用于整个帖子，并找到大约30K安全性的句子。第五，我们将主题建模应用于与安全有关的句子。然后，我们标记并分类主题。第六，我们分析了主题的演变。我们发现（1）SECBOT是基于深度学习模型Roberta的重建。 SECBOT提供的最佳F1分数为0.935，（2）SECBOT错误分类的样本中有六个错误类别。当关键字/上下文是模棱两可的（例如，网关可以是安全网关或简单网关）时，SECBOT主要是错误的，（3）有9个安全主题分为三个类别：软件，硬件和网络，以及（4）最多的主题属于软件安全性，然后是网络安全。

深度学习在各种软件工程任务中广泛使用，例如，节目分类和缺陷预测。虽然该技术消除了特征工程所需的过程，但源代码模型的构建显着影响了这些任务的性能。最近的作品主要集中在通过引入从CFG提取的上下文依赖项来补充基于AST的源代码模型。但是，所有这些都关注基本块的表示，这是上下文依赖性的基础。在本文中，我们集成了AST和CFG，并提出了一种嵌入了分层依赖项的新型源代码模型。基于此，我们还设计了一种神经网络，这取决于图表关注机制。特殊地，我们介绍了基本块的句法结构，即其对应的AST，在源代码模型中提供足够的信息并填补间隙。我们在三种实际软件工程任务中评估了该模型，并将其与其他最先进的方法进行了比较。结果表明，我们的模型可以显着提高性能。例如，与最佳性能的基线相比，我们的模型将参数的比例降低了50 \％并实现了对程序分类任务的准确性的4 \％改进。

本次调查绘制了用于分析社交媒体数据的生成方法的研究状态的广泛的全景照片（Sota）。它填补了空白，因为现有的调查文章在其范围内或被约会。我们包括两个重要方面，目前正在挖掘和建模社交媒体的重要性：动态和网络。社会动态对于了解影响影响或疾病的传播，友谊的形成，友谊的形成等，另一方面，可以捕获各种复杂关系，提供额外的洞察力和识别否则将不会被注意的重要模式。