在本文中，我们解决了在二进制形式中的两个程序的函数之间找到了对应或匹配的问题，这是二进制不同的最常见任务之一。我们将此问题的新配方作为图表编辑问题的特定实例通过程序的呼叫图。在该配方中，关于函数内容和呼叫图相似度同时评估映射的质量。我们表明该配方相当于网络对齐问题。基于MAX-Product信念传播，我们提出了解决这个问题的解决策略。最后，我们实施了我们的方法的原型，称为QBindiff，并提出了一个广泛的评估，表明我们的方法优于艺术的态度而不是工具。

在本文中，我们提出了一种解决网络对齐问题的新算法。它受到了Bayati等人的先前消息传递框架。[2]并包括旨在显着加快消息更新以及强制增长的修改。实验表明，我们所提出的模型优于其他最先进的求解器。最后，我们建议应用我们的方法，以解决二元困难问题。我们展示我们的解决方案提供的优于几乎所有提交的实例的参考，并概述了利用二进制程序的图形结构的重要性。

即使机器学习算法已经在数据科学中发挥了重要作用，但许多当前方法对输入数据提出了不现实的假设。由于不兼容的数据格式，或数据集中的异质，分层或完全缺少的数据片段，因此很难应用此类方法。作为解决方案，我们提出了一个用于样本表示，模型定义和培训的多功能，统一的框架，称为“ Hmill”。我们深入审查框架构建和扩展的机器学习的多个范围范式。从理论上讲，为HMILL的关键组件的设计合理，我们将通用近似定理的扩展显示到框架中实现的模型所实现的所有功能的集合。本文还包含有关我们实施中技术和绩效改进的详细讨论，该讨论将在MIT许可下发布供下载。该框架的主要资产是其灵活性，它可以通过相同的工具对不同的现实世界数据源进行建模。除了单独观察到每个对象的一组属性的标准设置外，我们解释了如何在框架中实现表示整个对象系统的图表中的消息推断。为了支持我们的主张，我们使用框架解决了网络安全域的三个不同问题。第一种用例涉及来自原始网络观察结果的IoT设备识别。在第二个问题中，我们研究了如何使用以有向图表示的操作系统的快照可以对恶意二进制文件进行分类。最后提供的示例是通过网络中实体之间建模域黑名单扩展的任务。在所有三个问题中，基于建议的框架的解决方案可实现与专业方法相当的性能。

组合优化是运营研究和计算机科学领域的一个公认领域。直到最近，它的方法一直集中在孤立地解决问题实例，而忽略了它们通常源于实践中的相关数据分布。但是，近年来，人们对使用机器学习，尤其是图形神经网络（GNN）的兴趣激增，作为组合任务的关键构件，直接作为求解器或通过增强确切的求解器。GNN的电感偏差有效地编码了组合和关系输入，因为它们对排列和对输入稀疏性的意识的不变性。本文介绍了对这个新兴领域的最新主要进步的概念回顾，旨在优化和机器学习研究人员。

图形匹配优化问题是计算机视觉中许多任务的重要组成部分，例如在通信中带来两个可变形对象。自然，在过去的几十年中，已经提出了广泛的适用算法。由于尚未开发出通用的标准基准，因此由于对不同的问题实例的评估和标准使结果无与伦比，因此通常很难验证其绩效主张。为了解决这些缺点，我们提出了匹配算法的比较研究。我们创建了一个统一的基准测试标准，在其中收集和分类了一组现有和公开可用的计算机视觉图形匹配问题，以通用格式。同时，我们收集和分类图形匹配算法的最流行的开源实现。它们的性能以与比较优化算法的最佳实践相符的方式进行评估。该研究旨在可再现和扩展，以作为未来的宝贵资源。我们的研究提供了三个值得注意的见解：1。）流行问题实例在少于1秒的时间内完全可以解决，因此不足以进行将来的经​​验评估； 2.）最受欢迎的基线方法高于最佳可用方法； 3.）尽管该问题存在NP硬度，但即使对于具有超过500个顶点的图形，也可以在几秒钟内求解来自视力应用程序的实例。

近年来，基于Weisfeiler-Leman算法的算法和神经架构，是一个众所周知的Graph同构问题的启发式问题，它成为具有图形和关系数据的机器学习的强大工具。在这里，我们全面概述了机器学习设置中的算法的使用，专注于监督的制度。我们讨论了理论背景，展示了如何将其用于监督的图形和节点表示学习，讨论最近的扩展，并概述算法的连接（置换 - ）方面的神经结构。此外，我们概述了当前的应用和未来方向，以刺激进一步的研究。

近年来，在平衡（超级）图分配算法的设计和评估中取得了重大进展。我们调查了过去十年的实用算法的趋势，用于平衡（超级）图形分区以及未来的研究方向。我们的工作是对先前有关该主题的调查的更新。特别是，该调查还通过涵盖了超图形分区和流算法来扩展先前的调查，并额外关注并行算法。

在过去十年中，图形内核引起了很多关注，并在结构化数据上发展成为一种快速发展的学习分支。在过去的20年中，该领域发生的相当大的研究活动导致开发数十个图形内核，每个图形内核都对焦于图形的特定结构性质。图形内核已成功地成功地在广泛的域中，从社交网络到生物信息学。本调查的目标是提供图形内核的文献的统一视图。特别是，我们概述了各种图形内核。此外，我们对公共数据集的几个内核进行了实验评估，并提供了比较研究。最后，我们讨论图形内核的关键应用，并概述了一些仍有待解决的挑战。

图表匹配是一个重要的问题，它受到了广泛的关注，特别是在计算机视野领域。最近，最先进的方法寻求将图形与深度学习融合。然而，没有研究可以解释图形匹配算法在模型中播放的角色。因此，我们提出了一种积分对匹配问题的MILP制定的方法。该配方解决了最佳，它提供固有的基线。同时，通过释放图形匹配求解器的最佳保证并通过引入质量水平来导出类似的方法。这种质量级别控制了图形匹配求解器提供的解决方案的质量。此外，图表匹配问题的几个放松将进行测试。我们的实验评估提供了若干理论上的见解，并指导深图匹配方法的方向。

深度学习方法的最新突破引发了人们对基于学习的错误探测器的兴趣。与传统的静态分析工具相比，这些错误检测器是直接从数据中学到的，因此更容易创建。另一方面，它们很难训练，需要大量数据，而这些数据不容易获得。在本文中，我们提出了一种称为Meta Bug检测的新方法，该方法比现有基于学习的错误探测器具有三个至关重要的优势：Bug-Type通用（即，能够捕获在培训期间完全没有观察到的错误类型），可以自我解释（即能够在没有任何外部可解释方法的情况下解释其自身的预测）和样本有效（即，比标准错误检测器所需的培训数据要少得多）。我们的广泛评估表明，我们的元错误检测器（MBD）有效地捕获了各种错误，包括NULL指针解除，阵列索引外部漏洞，文件句柄泄漏甚至是并发程序中的数据竞赛；在此过程中，MBD还大大优于几个值得注意的基线，包括Facebook推断，一种著名的静态分析工具和FICS，即最新的异常检测方法。

反向工程师受益于二进制中的标识符（例如函数名称）的存在，但通常将其删除以释放。训练机器学习模型自动预测功能名称是有希望的，但从根本上讲很难：与自然语言中的单词不同，大多数函数名称仅出现一次。在本文中，我们通过引入极端功能标签（XFL）来解决此问题，这是一种极端的多标签学习方法，可为二进制功能选择适当的标签。 XFL将函数名称分为代币，将每个功能视为具有自然语言标记文本的问题的信息标签。我们将二进制代码的语义与通过dexter进行标签，这是一种新颖的函数，将基于静态分析的特征与来自呼叫图的本地上下文和整个二进制的全局上下文相结合。我们证明，XFL/Dexter在Debian Project的10,047个二进制数据集上的功能标签上优于最新技术，获得了83.5％的精度。我们还研究了XFL与文献中的替代二进制嵌入的组合，并表明Dexter始终为这项任务做得最好。结果，我们证明了二进制函数标记可以通过多标签学习有效地措辞，并且二进制函数嵌入得益于包括明确的语义特征。

比较图形等结构的对象是许多学习任务中涉及的基本操作。为此，基于最优传输（OT）的Gromov-Wasserstein（GW）距离已被证明可以成功处理相关对象的特定性质。更具体地说，通过节点连接关系，GW在图表上运行，视为特定空间上的概率测量。在OT的核心处是质量守恒的想法，这在两个被认为的图表中的所有节点之间施加了耦合。我们在本文中争辩说，这种财产可能对图形字典或分区学习等任务有害，我们通过提出新的半轻松的Gromov-Wasserstein发散来放松它。除了立即计算福利之外，我们讨论其属性，并表明它可以导致有效的图表字典学习算法。我们经验展示其对图形上的复杂任务的相关性，例如分区，聚类和完成。

子图相似度搜索是图形分析中的基本操作员。在此框架中，给定查询图和图形数据库，目标是识别结构图的数据库图的子图，这些图是与查询相似的。子图编辑距离（SED）是子图相似度最有表现力的措施之一。在这项工作中，我们研究了从训练的图形对和他们的SED值训练SED的问题。为此，我们设计了一种名为Neurosed的新型暹罗图形神经网络，其学习嵌入空间，具有丰富的结构，让人想起SED。借助专门制作的归纳偏差，不仅可以实现高精度，而且确保预测的SED，如真正的SED，满足三角不等式。设计足够通用，也可以模拟图表编辑距离（GED），同时确保预测的GED空间是指标，如真正的GED空间。对于SED和GED的真实图数据集进行了广泛的实验，建立了神经传播的RMSE比现有技术的约2倍，并且比最快的基线快约18倍。此外，由于其对独立的嵌入和理论性质，神经翻转允许大约3个峰值检索图形和子图。

We review clustering as an analysis tool and the underlying concepts from an introductory perspective. What is clustering and how can clusterings be realised programmatically? How can data be represented and prepared for a clustering task? And how can clustering results be validated? Connectivity-based versus prototype-based approaches are reflected in the context of several popular methods: single-linkage, spectral embedding, k-means, and Gaussian mixtures are discussed as well as the density-based protocols (H)DBSCAN, Jarvis-Patrick, CommonNN, and density-peaks.

Machine Learning for Source Code (ML4Code) is an active research field in which extensive experimentation is needed to discover how to best use source code's richly structured information. With this in mind, we introduce JEMMA, an Extensible Java Dataset for ML4Code Applications, which is a large-scale, diverse, and high-quality dataset targeted at ML4Code. Our goal with JEMMA is to lower the barrier to entry in ML4Code by providing the building blocks to experiment with source code models and tasks. JEMMA comes with a considerable amount of pre-processed information such as metadata, representations (e.g., code tokens, ASTs, graphs), and several properties (e.g., metrics, static analysis results) for 50,000 Java projects from the 50KC dataset, with over 1.2 million classes and over 8 million methods. JEMMA is also extensible allowing users to add new properties and representations to the dataset, and evaluate tasks on them. Thus, JEMMA becomes a workbench that researchers can use to experiment with novel representations and tasks operating on source code. To demonstrate the utility of the dataset, we also report results from two empirical studies on our data, ultimately showing that significant work lies ahead in the design of context-aware source code models that can reason over a broader network of source code entities in a software project, the very task that JEMMA is designed to help with.

恢复程序的呼叫图对于基于流程间分析任务和应用程序至关重要。核心挑战是识别间接呼叫的目标（即，间接分支机构）。由于二进制文件中的信息丢失，如果目标程序以二元形式为二元形式，则变得更具挑战性。二进制文件的现有间接Callee识别解决方案都具有高误报和负面，使呼叫图不准确。在本文中，我们提出了一种基于暹罗神经网络的新解决方案，受到质疑答案应用的进步的启发。关键洞察力是，神经网络可以学习通过理解其上下文，即附近呼叫和分支机构的指示是间接代表的潜在目标。在此洞察力之后，我们首先预处理目标二进制文件，以提取电话和分支的上下文。然后，我们构建适用于汇编语言的自定义自然语言处理（NLP）模型。此外，我们收集了丰富的呼叫和分支，并将其上下文与NLP模型嵌入，然后培训暹罗网络和分类器以回答电呼叫路上的问题。我们已经实施了Inclelee的原型，并在几组目标上进行了评估。评价结果表明，我们的解决方案可以将手段与F1措施相匹配93.7％，召回的93.8％，精度为93.5％，比最先进的解决方案好得多。为了展示其有用性，我们将iCallee应用于两个特定的应用 - 二进制代码相似性检测和二进制程序硬化，并发现它可以大大提高最先进的解决方案。

The International Workshop on Reading Music Systems (WoRMS) is a workshop that tries to connect researchers who develop systems for reading music, such as in the field of Optical Music Recognition, with other researchers and practitioners that could benefit from such systems, like librarians or musicologists. The relevant topics of interest for the workshop include, but are not limited to: Music reading systems; Optical music recognition; Datasets and performance evaluation; Image processing on music scores; Writer identification; Authoring, editing, storing and presentation systems for music scores; Multi-modal systems; Novel input-methods for music to produce written music; Web-based Music Information Retrieval services; Applications and projects; Use-cases related to written music. These are the proceedings of the 3rd International Workshop on Reading Music Systems, held in Alicante on the 23rd of July 2021.

深度学习在各种软件工程任务中广泛使用，例如，节目分类和缺陷预测。虽然该技术消除了特征工程所需的过程，但源代码模型的构建显着影响了这些任务的性能。最近的作品主要集中在通过引入从CFG提取的上下文依赖项来补充基于AST的源代码模型。但是，所有这些都关注基本块的表示，这是上下文依赖性的基础。在本文中，我们集成了AST和CFG，并提出了一种嵌入了分层依赖项的新型源代码模型。基于此，我们还设计了一种神经网络，这取决于图表关注机制。特殊地，我们介绍了基本块的句法结构，即其对应的AST，在源代码模型中提供足够的信息并填补间隙。我们在三种实际软件工程任务中评估了该模型，并将其与其他最先进的方法进行了比较。结果表明，我们的模型可以显着提高性能。例如，与最佳性能的基线相比，我们的模型将参数的比例降低了50 \％并实现了对程序分类任务的准确性的4 \％改进。

机器学习（ML）管道中的组合优化（CO）层是解决数据驱动决策任务的强大工具，但它们面临两个主要挑战。首先，CO问题的解通常是其客观参数的分段常数函数。鉴于通常使用随机梯度下降对ML管道进行训练，因此缺乏斜率信息是非常有害的。其次，标准ML损失在组合设置中不能很好地工作。越来越多的研究通过各种方法解决了这些挑战。不幸的是，缺乏维护良好的实现会减慢采用CO层的速度。在本文的基础上，我们对CO层介绍了一种概率的观点，该观点自然而然地是近似分化和结构化损失的构建。我们从文献中恢复了许多特殊情况的方法，我们也得出了新方法。基于这个统一的观点，我们提出了inferpopt.jl，一个开源的朱莉娅软件包，1）允许将任何具有线性物镜的Co Oracle转换为可区分的层，以及2）定义足够的损失以训练包含此类层的管道。我们的图书馆使用任意优化算法，并且与朱莉娅的ML生态系统完全兼容。我们使用视频游戏地图上的探索问题来证明其能力。

In the last years, there has been a great interest in machine-learning-based heuristics for solving NP-hard combinatorial optimization problems. The developed methods have shown potential on many optimization problems. In this paper, we present a learned heuristic for the reoptimization of a problem after a minor change in its data. We focus on the case of the capacited vehicle routing problem with static clients (i.e., same client locations) and changed demands. Given the edges of an original solution, the goal is to predict and fix the ones that have a high chance of remaining in an optimal solution after a change of client demands. This partial prediction of the solution reduces the complexity of the problem and speeds up its resolution, while yielding a good quality solution. The proposed approach resulted in solutions with an optimality gap ranging from 0\% to 1.7\% on different benchmark instances within a reasonable computing time.