从未标记数据学习的需要在当代机器学习中增加。无监督特征排名的方法，该方法识别这些数据中最重要的特征是越来越关注，因此它们在研究高吞吐量生物实验或用户基础时的应用程序。我们提出了Frane（通过属性网络排名），一种无监督算法，能够在给定的未标记数据集中找到关键特征。Frane基于网络重建和网络分析的思路。正如我们经验上展示了大量基准的那样，Frane比最先进的竞争对手表现更好。此外，我们提供了Frane的时间复杂性分析进一步证明其可扩展性。最后，Frane优惠由于结果可解释的关系结构用于推导特征重要性。

本文提出了一个贝叶斯模型，以比较任何度量的多个数据集上的多种算法。该模型基于Bradley-Terry模型，该模型计算出一种算法在不同数据集上的性能要好于另一个算法的次数。由于其贝叶斯基础，贝叶斯布拉德利·特里模型（BBT）的特征与经常主义的方法不同，可以比较多个数据集上的多种算法，例如Demsar（2006）对平均等级的测试，以及Benavoli等人。 （2016）多个成对的Wilcoxon测试，具有P-调整程序。特别是，贝叶斯的方法允许对算法发表更多细微的陈述，而不是声称差异是统计学意义的。贝叶斯的方法还允许定义何时出于实际目的或实际等效区域（绳索）等效的何时等效。与Benavoli等人提出的贝叶斯签名的等级比较程序不同。 （2017年），我们的方法可以为任何度量标准定义绳索，因为它基于概率声明，而不是基于该度量的差异。本文还提出了一个局部绳索概念，该概念评估了在某些交叉验证中对某些其他算法的平均值的平均度量之间的正差异是否应真正被视为基于效应大小的第一种算法比第二个算法更好。该局部绳索提案与贝叶斯的使用无关，可以根据等级的常见方式使用。可以使用实现BBT的R软件包和Python程序。

We present a new algorithm for Bayesian network structure learning, called Max-Min Hill-Climbing (MMHC). The algorithm combines ideas from local learning, constraint-based, and search-and-score techniques in a principled and effective way. It first reconstructs the skeleton of a Bayesian network and then performs a Bayesian-scoring greedy hill-climbing search to orient the edges. In our extensive empirical evaluation MMHC outperforms on average and in terms of various metrics several prototypical and state-of-the-art algorithms, namely the PC, Sparse Candidate, Three Phase Dependency Analysis, Optimal Reinsertion, Greedy Equivalence Search, and Greedy Search. These are the first empirical results simultaneously comparing most of the major Bayesian network algorithms against each other. MMHC offers certain theoretical advantages, specifically over the Sparse Candidate algorithm, corroborated by our experiments. MMHC and detailed results of our study are publicly available at http://www.dsl-lab.org/supplements/mmhc paper/mmhc index.html.

半监督学习（SSL）是使用不仅标记的示例，而且是未标记的示例学习预测模型的常见方法。尽管用于分类和回归的简单任务的SSL受到了研究社区的广泛关注，但对于具有结构依赖变量的复杂预测任务，这尚未得到适当的研究。这种情况是多标签分类和分层多标签分类任务，可能需要其他信息，可能来自未标记示例提供的描述性空间中的基础分布，以更好地面对同时预测多个类别标签的挑战性任务。在本文中，我们研究了这一方面，并​​提出了一种基于对预测性聚类树的半监督学习的（分层）多标签分类方法。我们还扩展了整体学习的方法，并提出了一种基于随机森林方法的方法。在23个数据集上进行的广泛实验评估显示了该方法的显着优势及其在其监督对应物方面的扩展。此外，该方法可保留可解释性并降低基于经典树模型的时间复杂性。

Graph classification is an important area in both modern research and industry. Multiple applications, especially in chemistry and novel drug discovery, encourage rapid development of machine learning models in this area. To keep up with the pace of new research, proper experimental design, fair evaluation, and independent benchmarks are essential. Design of strong baselines is an indispensable element of such works. In this thesis, we explore multiple approaches to graph classification. We focus on Graph Neural Networks (GNNs), which emerged as a de facto standard deep learning technique for graph representation learning. Classical approaches, such as graph descriptors and molecular fingerprints, are also addressed. We design fair evaluation experimental protocol and choose proper datasets collection. This allows us to perform numerous experiments and rigorously analyze modern approaches. We arrive to many conclusions, which shed new light on performance and quality of novel algorithms. We investigate application of Jumping Knowledge GNN architecture to graph classification, which proves to be an efficient tool for improving base graph neural network architectures. Multiple improvements to baseline models are also proposed and experimentally verified, which constitutes an important contribution to the field of fair model comparison.

大多数机器学习算法由一个或多个超参数配置，必须仔细选择并且通常会影响性能。为避免耗时和不可递销的手动试验和错误过程来查找性能良好的超参数配置，可以采用各种自动超参数优化（HPO）方法，例如，基于监督机器学习的重新采样误差估计。本文介绍了HPO后，本文审查了重要的HPO方法，如网格或随机搜索，进化算法，贝叶斯优化，超带和赛车。它给出了关于进行HPO的重要选择的实用建议，包括HPO算法本身，性能评估，如何将HPO与ML管道，运行时改进和并行化结合起来。这项工作伴随着附录，其中包含关于R和Python的特定软件包的信息，以及用于特定学习算法的信息和推荐的超参数搜索空间。我们还提供笔记本电脑，这些笔记本展示了这项工作的概念作为补充文件。

分层群集的主要挑战之一是如何适当地识别群集树较低级别的代表点，这些点将被用作群集树的较高级别的根源以进行进一步的聚合。然而，传统的分层聚类方法采用了一些简单的技巧来选择可能不像代表的“代表”点。因此，构造的簇树在其稳健性和可靠性较弱的方面不太吸引。针对这个问题，我们提出了一种新的分层聚类算法，其中，在构建聚类树形图的同时，我们可以有效地检测基于对每个子最小跨越树中的互易读数的互动最近数据点进行评分的代表点。 UCI数据集的广泛实验表明，所提出的算法比其他基准更准确。同时，在我们的分析下，所提出的算法具有O（nlogn）时间复杂度和O（logn）空间复杂度，表明它具有在处理具有更少时间和存储消​​耗的大规模数据方面具有可扩展性。

对网络中的用户如何根据邻居的意见更新他们的意见的理解吸引了网络科学领域的极大兴趣，并且越来越多的文献认识到了这个问题的重要性。在这篇研究论文中，我们提出了有指导网络中意见形成的新动态模型。在此模型中，每个节点的意见被更新为邻居意见的加权平均值，而权重代表社会影响力。我们将一种新的中心度度量定义为基于影响和整合性的社会影响度量。我们使用两个意见形成模型来衡量这种新方法：（i）degroot模型和（ii）我们自己提出的模型。先前发表的研究没有考虑合格，并且仅考虑计算社会影响时节点的影响。在我们的定义中，与高度和较低程度的节点相关的较低度和高度的节点具有较高的中心性。作为这项研究的主要贡献，我们提出了一种算法，用于在社交网络中找到一小部分节点，该节点可能会对其他节点的观点产生重大影响。关于现实世界数据的实验表明，所提出的算法显着优于先前发布的最新方法。

无论是在功能选择的领域还是可解释的AI领域，都有基于其重要性的“排名”功能的愿望。然后可以将这种功能重要的排名用于：（1）减少数据集大小或（2）解释机器学习模型。但是，在文献中，这种特征排名没有以系统的，一致的方式评估。许多论文都有不同的方式来争论哪些具有重要性排名最佳的特征。本文通过提出一种新的评估方法来填补这一空白。通过使用合成数据集，可以事先知道特征重要性得分，从而可以进行更系统的评估。为了促进使用新方法的大规模实验，在Python建造了一个名为FSEVAL的基准测定框架。该框架允许并行运行实验，并在HPC系统上的计算机上分布。通过与名为“权重和偏见”的在线平台集成，可以在实时仪表板上进行交互探索图表。该软件作为开源软件发布，并在PYPI平台上以包裹发行。该研究结束时，探索了一个这样的大规模实验，以在许多方面找到参与算法的优势和劣势。

从大量嘈杂的候选人中选择一小部分信息功能是一个充满挑战的问题，即机器学习和近似贝叶斯计算中的许多应用程序。在实践中，还需要考虑计算信息丰富功能的成本。这对于网络尤为重要，因为单个功能的计算成本可以跨越几个数量级。我们使用两种方法解决了网络模型选择问题的问题。首先，我们调整了九种功能选择方法来说明功能成本。我们为两类网络模型显示，可以通过两个数量级降低成本，而不会极大地影响分类精度（正确识别的模型的比例）。其次，我们使用具有较小网络的Pilot模拟选择了功能。这种方法将计算成本降低了50倍，而不会影响分类精度。为了证明我们的方法的实用性，我们将其应用于三个不同的酵母蛋白相互作用网络，并确定了最合适的重复差异模型。

Network-based analyses of dynamical systems have become increasingly popular in climate science. Here we address network construction from a statistical perspective and highlight the often ignored fact that the calculated correlation values are only empirical estimates. To measure spurious behaviour as deviation from a ground truth network, we simulate time-dependent isotropic random fields on the sphere and apply common network construction techniques. We find several ways in which the uncertainty stemming from the estimation procedure has major impact on network characteristics. When the data has locally coherent correlation structure, spurious link bundle teleconnections and spurious high-degree clusters have to be expected. Anisotropic estimation variance can also induce severe biases into empirical networks. We validate our findings with ERA5 reanalysis data. Moreover we explain why commonly applied resampling procedures are inappropriate for significance evaluation and propose a statistically more meaningful ensemble construction framework. By communicating which difficulties arise in estimation from scarce data and by presenting which design decisions increase robustness, we hope to contribute to more reliable climate network construction in the future.

能够捕获与特征向量的时间序列的特征是具有多种应用的非常重要的任务，例如分类，聚类或预测。通常，该特征是从线性和非线性时间序列测量获得的特征，其可能存在若干数据相关的缺点。在这项工作中，我们将NetF介绍作为替代特征，包括时间序列的不同复杂网络映射的几种代表性拓扑测量。我们的方法不需要数据预处理，并且无论任何数据特征如何，都适用。探索我们的新颖特征向量，我们能够将映射的网络功能连接到多样化的时间序列模型中固有的属性，显示NetF可以有用的时间数据。此外，我们还展示了我们在聚类合成和基准时间序列组中的方法的适用性，比较其具有更多传统功能的性能，展示了Netf如何实现高精度集群。我们的结果非常有前途，具有来自不同映射方法的网络特征，捕获时间序列的不同属性，将不同且丰富的功能设置为文献。

We review clustering as an analysis tool and the underlying concepts from an introductory perspective. What is clustering and how can clusterings be realised programmatically? How can data be represented and prepared for a clustering task? And how can clustering results be validated? Connectivity-based versus prototype-based approaches are reflected in the context of several popular methods: single-linkage, spectral embedding, k-means, and Gaussian mixtures are discussed as well as the density-based protocols (H)DBSCAN, Jarvis-Patrick, CommonNN, and density-peaks.

最近有一项激烈的活动在嵌入非常高维和非线性数据结构的嵌入中，其中大部分在数据科学和机器学习文献中。我们分四部分调查这项活动。在第一部分中，我们涵盖了非线性方法，例如主曲线，多维缩放，局部线性方法，ISOMAP，基于图形的方法和扩散映射，基于内核的方法和随机投影。第二部分与拓扑嵌入方法有关，特别是将拓扑特性映射到持久图和映射器算法中。具有巨大增长的另一种类型的数据集是非常高维网络数据。第三部分中考虑的任务是如何将此类数据嵌入中等维度的向量空间中，以使数据适合传统技术，例如群集和分类技术。可以说，这是算法机器学习方法与统计建模（所谓的随机块建模）之间的对比度。在论文中，我们讨论了两种方法的利弊。调查的最后一部分涉及嵌入$ \ mathbb {r}^ 2 $，即可视化中。提出了三种方法：基于第一部分，第二和第三部分中的方法，$ t $ -sne，UMAP和大节。在两个模拟数据集上进行了说明和比较。一个由嘈杂的ranunculoid曲线组成的三胞胎，另一个由随机块模型和两种类型的节点产生的复杂性的网络组成。

目前的AI / ML用于数据驱动工程使用的方法，这些方法主要培训离线训练。这种模型可以在通信和计算成本方面构建昂贵，并且它们依赖于在延长的时间段内收集的数据。此外，当系统发生变化时，它们会变为已过时。为了解决这些挑战，我们调查在线学习技术，可自动减少可用数据源的数量进行模型培训。我们介绍了一种称为在线稳定特征集算法（OSF）的在线算法，其在接收到少量测量后，从大量可用数据源中选择一个小功能。该算法用特征排名算法初始化，特征设置稳定性度量和搜索策略。我们使用从内部测试平台的迹线和操作中的数据中心进行了对该算法进行了广泛的实验评估。我们发现OSF在所有调查的数据集上实现了1-3级数量级的特征大小的大小减少。最重要的是，我们发现在OSF制作的特征集上训练的预测器的准确性比在通过离线特征选择获得的特征集训练时稍微好。因此，OSF被证明是有效的作为在线特征选择算法和关于用于特征选择的采样间隔的鲁棒。我们还发现，当发生模型的数据的概念漂移时，通过重新计算功能集并再培训预测模型，可以减轻其效果。

机器学习（ML）生命周期涉及一系列迭代步骤，从有效的收集和准备数据，包括复杂的特征工程流程，对结果的演示和改进，各种步骤中的各种算法选择。特征工程尤其可以对ML非常有益，导致许多改进，例如提高预测结果，降低计算时间，减少过度噪音，并提高培训期间所采取的决策背后的透明度。尽管如此，虽然存在多个视觉分析工具来监控和控制ML生命周期的不同阶段（特别是与数据和算法相关的阶段），但功能工程支持仍然不足。在本文中，我们提出了FightEnvi，一种专门设计用于协助特征工程过程的视觉分析系统。我们建议的系统可帮助用户选择最重要的功能，将原始功能转换为强大的替代方案，并进行不同的特征生成组合。此外，数据空间切片允许用户探索本地和全局尺度上的功能的影响。 Feationenvi利用多种自动特征选择技术;此外，它目视指导用户有统计证据的关于每个特征的影响（或功能的子集）。最终结果是通过多种验证度量评估的重新设计的重新设计特征。用两种用例和案例研究证明了FeatureenVI的有用性和适用性。我们还向评估我们系统的有效性以及评估我们系统的有效性的观众报告反馈。

图形嵌入是图形节点到一组向量的转换。良好的嵌入应捕获图形拓扑，节点与节点的关系以及有关图，其子图和节点的其他相关信息。如果实现了这些目标，则嵌入是网络中有意义的，可理解的，可理解的压缩表示形式，可用于其他机器学习工具，例如节点分类，社区检测或链接预测。主要的挑战是，需要确保嵌入很好地描述图形的属性。结果，选择最佳嵌入是一项具有挑战性的任务，并且通常需要领域专家。在本文中，我们在现实世界网络和人为生成的网络上进行了一系列广泛的实验，并使用选定的图嵌入算法进行了一系列的实验。根据这些实验，我们制定了两个一般结论。首先，如果需要在运行实验之前选择一种嵌入算法，则Node2Vec是最佳选择，因为它在我们的测试中表现最好。话虽如此，在所有测试中都没有单一的赢家，此外，大多数嵌入算法都具有应该调整并随机分配的超参数。因此，如果可能的话，我们对从业者的主要建议是生成几个问题的嵌入，然后使用一个通用框架，该框架为无监督的图形嵌入比较提供了工具。该框架（最近在文献中引入并在GitHub存储库中很容易获得）将分歧分数分配给嵌入，以帮助区分好的分数和不良的分数。

许多复杂网络的结构包括其拓扑顶部的边缘方向性和权重。可以无缝考虑这些属性组合的网络分析是可取的。在本文中，我们研究了两个重要的这样的网络分析技术，即中心和聚类。采用信息流基于集群的模型，该模型本身就是在计算中心的信息定理措施时构建。我们的主要捐款包括马尔可夫熵中心的广义模型，灵活地调整节点度，边缘权重和方向的重要性，具有闭合形式的渐近分析。它导致一种新颖的两级图形聚类算法。中心分析有助于推理我们对给定图形的方法的适用性，并确定探索当地社区结构的“查询”节点，从而导致群集聚类机制。熵中心计算由我们的聚类算法摊销，使其计算得高效：与使用马尔可夫熵中心为聚类的先前方法相比，我们的实验表明了多个速度的速度。我们的聚类算法自然地继承了适应边缘方向性的灵活性，以及​​边缘权重和节点度之间的不同解释和相互作用。总的来说，本文不仅具有显着的理论和概念贡献，还转化为实际相关性的文物，产生新的，有效和可扩展的中心计算和图形聚类算法，其有效通过广泛的基准测试进行了验证。

Labeling a module defective or non-defective is an expensive task. Hence, there are often limits on how much-labeled data is available for training. Semi-supervised classifiers use far fewer labels for training models, but there are numerous semi-supervised methods, including self-labeling, co-training, maximal-margin, and graph-based methods, to name a few. Only a handful of these methods have been tested in SE for (e.g.) predicting defects and even that, those tests have been on just a handful of projects. This paper takes a wide range of 55 semi-supervised learners and applies these to over 714 projects. We find that semi-supervised "co-training methods" work significantly better than other approaches. However, co-training needs to be used with caution since the specific choice of co-training methods needs to be carefully selected based on a user's specific goals. Also, we warn that a commonly-used co-training method ("multi-view"-- where different learners get different sets of columns) does not improve predictions (while adding too much to the run time costs 11 hours vs. 1.8 hours). Those cautions stated, we find using these "co-trainers," we can label just 2.5% of data, then make predictions that are competitive to those using 100% of the data. It is an open question worthy of future work to test if these reductions can be seen in other areas of software analytics. All the codes used and datasets analyzed during the current study are available in the https://GitHub.com/Suvodeep90/Semi_Supervised_Methods.

社交网络（SN）是一个由代表它们之间相互作用的群体组成的社会结构。 SNS最近被广泛使用，随后已成为产品推广和信息扩散的合适平台。 SN中的人们直接影响彼此的利益和行为。 SNS中最重要的问题之一是，如果选择将它们作为网络扩散场景的种子节点选择，那么他们可以以级联的方式对网络中的其他节点产生最大影响。有影响力的扩散器是人们，如果他们被选为网络中出版问题中的种子，那么该网络将拥有最多了解该扩散实体的人。这是称为影响最大化（IM）问题的文献中的一个众所周知的问题。尽管已证明这是一个NP完整的问题，并且在多项式时间内没有解决方案，但有人认为它具有子模块化功能的属性，因此可以使用贪婪的算法来解决。提出改善这种复杂性的大多数方法都是基于以下假设：整个图都是可见的。但是，此假设不适合许多真实世界图。进行了这项研究，以扩展使用链接预测技术与伪可见性图的电流最大化方法。为此，将一种称为指数随机图模型（ERGM）的图生成方法用于链接预测。使用斯坦福大学SNAP数据集的数据对所提出的方法进行了测试。根据实验测试，所提出的方法在现实世界图上有效。