半监督学习（SSL）是使用不仅标记的示例，而且是未标记的示例学习预测模型的常见方法。尽管用于分类和回归的简单任务的SSL受到了研究社区的广泛关注，但对于具有结构依赖变量的复杂预测任务，这尚未得到适当的研究。这种情况是多标签分类和分层多标签分类任务，可能需要其他信息，可能来自未标记示例提供的描述性空间中的基础分布，以更好地面对同时预测多个类别标签的挑战性任务。在本文中，我们研究了这一方面，并​​提出了一种基于对预测性聚类树的半监督学习的（分层）多标签分类方法。我们还扩展了整体学习的方法，并提出了一种基于随机森林方法的方法。在23个数据集上进行的广泛实验评估显示了该方法的显着优势及其在其监督对应物方面的扩展。此外，该方法可保留可解释性并降低基于经典树模型的时间复杂性。

分类链是一种用于在多标签分类中建模标签依赖性的有效技术。但是，该方法需要标签的固定静态顺序。虽然理论上，任何顺序都足够了，实际上，该订单对最终预测的质量具有大量影响。动态分类链表示每个实例对分类的想法，可以动态选择预测标签的顺序。这种方法的天真实现的复杂性是禁止的，因为它需要训练一系列分类器，以满足标签的每种可能置换。为了有效地解决这个问题，我们提出了一种基于随机决策树的新方法，该方法可以动态地选择每个预测的标签排序。我们凭经验展示了下一个标签的动态选择，通过在否则不变的随机决策树模型下使用静态排序。 ％和实验环境。此外，我们还展示了基于极端梯度提升树的替代方法，其允许更具目标的动态分级链训练。我们的结果表明，该变体优于随机决策树和其他基于树的多标签分类方法。更重要的是，动态选择策略允许大大加速培训和预测。

Labeling a module defective or non-defective is an expensive task. Hence, there are often limits on how much-labeled data is available for training. Semi-supervised classifiers use far fewer labels for training models, but there are numerous semi-supervised methods, including self-labeling, co-training, maximal-margin, and graph-based methods, to name a few. Only a handful of these methods have been tested in SE for (e.g.) predicting defects and even that, those tests have been on just a handful of projects. This paper takes a wide range of 55 semi-supervised learners and applies these to over 714 projects. We find that semi-supervised "co-training methods" work significantly better than other approaches. However, co-training needs to be used with caution since the specific choice of co-training methods needs to be carefully selected based on a user's specific goals. Also, we warn that a commonly-used co-training method ("multi-view"-- where different learners get different sets of columns) does not improve predictions (while adding too much to the run time costs 11 hours vs. 1.8 hours). Those cautions stated, we find using these "co-trainers," we can label just 2.5% of data, then make predictions that are competitive to those using 100% of the data. It is an open question worthy of future work to test if these reductions can be seen in other areas of software analytics. All the codes used and datasets analyzed during the current study are available in the https://GitHub.com/Suvodeep90/Semi_Supervised_Methods.

This paper proposes a new tree-based ensemble method for supervised classification and regression problems. It essentially consists of randomizing strongly both attribute and cut-point choice while splitting a tree node. In the extreme case, it builds totally randomized trees whose structures are independent of the output values of the learning sample. The strength of the randomization can be tuned to problem specifics by the appropriate choice of a parameter. We evaluate the robustness of the default choice of this parameter, and we also provide insight on how to adjust it in particular situations. Besides accuracy, the main strength of the resulting algorithm is computational efficiency. A bias/variance analysis of the Extra-Trees algorithm is also provided as well as a geometrical and a kernel characterization of the models induced.

大多数机器学习算法由一个或多个超参数配置，必须仔细选择并且通常会影响性能。为避免耗时和不可递销的手动试验和错误过程来查找性能良好的超参数配置，可以采用各种自动超参数优化（HPO）方法，例如，基于监督机器学习的重新采样误差估计。本文介绍了HPO后，本文审查了重要的HPO方法，如网格或随机搜索，进化算法，贝叶斯优化，超带和赛车。它给出了关于进行HPO的重要选择的实用建议，包括HPO算法本身，性能评估，如何将HPO与ML管道，运行时改进和并行化结合起来。这项工作伴随着附录，其中包含关于R和Python的特定软件包的信息，以及用于特定学习算法的信息和推荐的超参数搜索空间。我们还提供笔记本电脑，这些笔记本展示了这项工作的概念作为补充文件。

人类每天产生的exabytes数据，导致越来越需要对大数据带来的多标签学习的大挑战的新努力。例如，极端多标签分类是一个有效且快速增长的研究区域，可以处理具有极大数量的类或标签的分类任务;利用具有有限监督的大规模数据构建一个多标签分类模型对实际应用变得有价值。除此之外，如何收获深度学习的强大学习能力，有巨大努力，以更好地捕获多标签的标签依赖性学习，这是深入学习解决现实世界分类任务的关键。然而，有人指出，缺乏缺乏系统性研究，明确关注分析大数据时代的多标签学习的新兴趋势和新挑战。呼吁综合调查旨在满足这项任务和描绘未来的研究方向和新应用。

随机森林（RFS）是机器学习中最先进的，并且具有近零参数调整的优异性能。值得注意的是，即使他们的基本构建块被众所周知，RFS似乎不受限制地过度装修。最近，广泛接受的研究认为，RF呈现所谓的双下降曲线：首先，模型将数据过于U形曲线中的数据，然后，一旦达到某种模型复杂性，它就突然改善了其性能。在本文中，我们挑战模型能力是解释RF成功的正确工具的概念，并争辩说该模型的算法比以前认为更重要的作用。我们表明RF没有表现出双重曲线，而是单个下降。因此，在经典意义上没有过度装备。我们进一步提出了RF变化，尽管其决策边界近似于过度啮合的DT。类似，我们表明，近似于RF的决策边界的DT仍将过度装备。最后，我们研究了整体的多样性作为估计其性能的工具。为此，我们引入负相关森林（NClest），允许精确控制集合中的多样性。我们表明，多样性和偏差确实对RF的性能产生了至关重要的影响。具有太小的多样性将RF的性能坍塌到一棵树中，而具有太多的多样性意味着大多数树木不会再产生正确的输出。然而，在这两个极端之间，我们发现了大量不同的权衡，具有大致相等的性能。因此，只要算法达到这种良好的权衡制度，偏差和多样性之间的特定权衡并不重要。

决策森林（森林），尤其是随机森林和梯度促进树木，与许多监督学习场景中的其他方法相比，已经证明了最先进的准确性。尤其是，森林在表格数据中占主导地位，即当特征空间非结构化时，因此信号是特征指数置换的不变性。然而，在存在于多种多样（例如图像，文本和语音）深网（网络）（特别是卷积深网（Convnets））上的结构化数据中，倾向于优于森林。我们猜想至少部分原因是网络的输入不仅仅是特征幅度，也是其索引。相反，天真的森林实施未能明确考虑特征指数。最近提出的森林方法表明，对于每个节点，森林从某些特定分布中隐式采样一个随机矩阵。这些森林像某些类别的网络一样，通过将特征空间划分为对应于线性函数的凸多物体来学习。我们以这种方法为基础，并表明人们可以以多种感知方式选择分布来纳入特征区域。我们在数据上活在三个不同的流形上的数据上证明了经验性能：圆环，图像和时间序列。此外，我们证明了其在多元模拟环境中的强度，并且在预测癫痫患者的手术结果方面也表现出了优越性，并从非运动脑区域的原始立体定向EEG数据中预测运动方向。在所有模拟和真实数据中，歧管随机森林（MORF）算法的表现优于忽略特征空间结构并挑战Convnets的性能。此外，MORF运行迅速，并保持解释性和理论上的理由。

Label noise is an important issue in classification, with many potential negative consequences. For example, the accuracy of predictions may decrease, whereas the complexity of inferred models and the number of necessary training samples may increase. Many works in the literature have been devoted to the study of label noise and the development of techniques to deal with label noise. However, the field lacks a comprehensive survey on the different types of label noise, their consequences and the algorithms that consider label noise. This paper proposes to fill this gap. First, the definitions and sources of label noise are considered and a taxonomy of the types of label noise is proposed. Second, the potential consequences of label noise are discussed. Third, label noise-robust, label noise cleansing, and label noise-tolerant algorithms are reviewed. For each category of approaches, a short discussion is proposed to help the practitioner to choose the most suitable technique in its own particular field of application. Eventually, the design of experiments is also discussed, what may interest the researchers who would like to test their own algorithms. In this paper, label noise consists of mislabeled instances: no additional information is assumed to be available like e.g. confidences on labels.

我们查看模型可解释性的特定方面：模型通常需要限制在大小上才能被认为是可解释的，例如，深度5的决策树比深度50中的一个更容易解释。但是，较小的模型也倾向于高偏见。这表明可解释性和准确性之间的权衡。我们提出了一种模型不可知论技术，以最大程度地减少这种权衡。我们的策略是首先学习甲骨文，这是培训数据上高度准确的概率模型。 Oracle预测的不确定性用于学习培训数据的抽样分布。然后，对使用此分布获得的数据样本进行了可解释的模型，通常会导致精确度明显更高。我们将抽样策略作为优化问题。我们的解决方案1具有以下关键的有利属性：（1）它使用固定数量的七个优化变量，而与数据的维度（2）无关，它是模型不可知的 - 因为可解释的模型和甲骨文都可能属于任意性模型家族（3）它具有模型大小的灵活概念，并且可以容纳向量大小（4）它是一个框架，使其能够从优化领域的进度中受益。我们还提出了以下有趣的观察结果：（a）通常，小型模型大小的最佳训练分布与测试分布不同； （b）即使可解释的模型和甲骨文来自高度截然不同的模型家族，也存在这种效果：我们通过使用封闭的复发单位网络作为甲骨文来提高决策树的序列分类精度，从而在文本分类任务上显示此效果。使用字符n-grams； （c）对于模型，我们的技术可用于确定给定样本量的最佳训练样本。

Concept drift describes unforeseeable changes in the underlying distribution of streaming data over time. Concept drift research involves the development of methodologies and techniques for drift detection, understanding and adaptation. Data analysis has revealed that machine learning in a concept drift environment will result in poor learning results if the drift is not addressed. To help researchers identify which research topics are significant and how to apply related techniques in data analysis tasks, it is necessary that a high quality, instructive review of current research developments and trends in the concept drift field is conducted. In addition, due to the rapid development of concept drift in recent years, the methodologies of learning under concept drift have become noticeably systematic, unveiling a framework which has not been mentioned in literature. This paper reviews over 130 high quality publications in concept drift related research areas, analyzes up-to-date developments in methodologies and techniques, and establishes a framework of learning under concept drift including three main components: concept drift detection, concept drift understanding, and concept drift adaptation. This paper lists and discusses 10 popular synthetic datasets and 14 publicly available benchmark datasets used for evaluating the performance of learning algorithms aiming at handling concept drift. Also, concept drift related research directions are covered and discussed. By providing state-of-the-art knowledge, this survey will directly support researchers in their understanding of research developments in the field of learning under concept drift.

In the last years many accurate decision support systems have been constructed as black boxes, that is as systems that hide their internal logic to the user. This lack of explanation constitutes both a practical and an ethical issue. The literature reports many approaches aimed at overcoming this crucial weakness sometimes at the cost of scarifying accuracy for interpretability. The applications in which black box decision systems can be used are various, and each approach is typically developed to provide a solution for a specific problem and, as a consequence, delineating explicitly or implicitly its own definition of interpretability and explanation. The aim of this paper is to provide a classification of the main problems addressed in the literature with respect to the notion of explanation and the type of black box system. Given a problem definition, a black box type, and a desired explanation this survey should help the researcher to find the proposals more useful for his own work. The proposed classification of approaches to open black box models should also be useful for putting the many research open questions in perspective.

我们介绍了强大的子组发现的问题，即，找到一个关于一个或多个目标属性的脱颖而出的子集的一组可解释的描述，2）是统计上的鲁棒，并且3）非冗余。许多尝试已经挖掘了局部强壮的子组或解决模式爆炸，但我们是第一个从全球建模角度同时解决这两个挑战的爆炸。首先，我们制定广泛的模型类别的子组列表，即订购的子组，可以组成的单次组和多变量目标，该目标可以由标称或数字变量组成，并且包括其定义中的传统Top-1子组发现。这种新颖的模型类允许我们使用最小描述长度（MDL）原理来形式地形化最佳强大的子组发现，在那里我们分别为标称和数字目标的最佳归一化最大可能性和贝叶斯编码而度假。其次，正如查找最佳子组列表都是NP-Hard，我们提出了SSD ++，一个贪婪的启发式，找到了很好的子组列表，并保证了根据MDL标准的最重要的子组在每次迭代中添加，这被显示为等同于贝叶斯一个样本比例，多项式或子组之间的多项式或T检验，以及数据集边际目标分布以及多假设检测罚款。我们经验上显示了54个数据集，即SSD ++优于先前的子组设置发现方法和子组列表大小。

在过去的十年中，基因组数据的可用性已成倍增长，这主要是由于新测序技术的发展。基于从增加的基因组数据中提取的基因（和基因产物）之间的相互作用，许多研究集中在基因与功能之间的关联鉴定上。尽管这些研究表现出了很大的希望，但用功能注释基因的问题仍然是一个悬而未决的挑战。在这项工作中，我们提出了一种检测层次多标签分类数据集中缺失注释的方法。我们提出了一种通过将汇总概率计算到每个实例的从叶子到根的类路径来利用类层次结构的方法。提出的方法是在预测缺失基因函数注释的背景下提出的，其中这些汇总概率被进一步用于选择一组通过体内实验验证的注释。各种大米的Oriza Sativa Japonica的实验，将类别的层次结合到该方法中通常会改善预测性能，而我们所提出的方法与文献相比，我们提出的方法可以提高结果。

决策树集合中汇总分类估计的一种常见方法是使用投票或平均每个类别的概率。后者考虑了不确定性估计值的可靠性（可以说，“不确定性的不确定性”）。更普遍的是，如何最好地结合来自多个来源的概率估计值，这是未知的。在本文中，我们研究了许多替代预测方法。我们的方法受到概率，信念功能和可靠分类的理论的启发，以及我们称证据积累的原则。我们对各种数据集的实验是基于随机决策树，该决策树保证了要组合的预测中的高度多样性。出乎意料的是，我们发现将平均值超过概率实际上很难击败。但是，证据积累在除小叶子以外的所有叶子上都表现出更好的结果。

We review clustering as an analysis tool and the underlying concepts from an introductory perspective. What is clustering and how can clusterings be realised programmatically? How can data be represented and prepared for a clustering task? And how can clustering results be validated? Connectivity-based versus prototype-based approaches are reflected in the context of several popular methods: single-linkage, spectral embedding, k-means, and Gaussian mixtures are discussed as well as the density-based protocols (H)DBSCAN, Jarvis-Patrick, CommonNN, and density-peaks.

半监督学习是减少机器学习对标记数据的依赖性的关键工具。但是，它主要通过利用其固有的空间和语义结构来应用于图像和语言数据。这些方法不适用于表格数据，因为这些域结构不可用。现有的伪标记方法（PL）方法可以有效地对表格数据有效，但容易受到噪声样本的影响，并且给定预定义阈值而贪婪的分配，这是未知的。本文通过提出自信的sndhorn分配（CSA）来解决此问题，该分配仅为具有较高置信分数的样本分配标签，并通过最佳运输来学习最佳的标签分配。CSA的表现优于这个实际重要领域的当前最新面积。

神经网络（NNS）和决策树（DTS）都是机器学习的流行模型，但具有相互排斥的优势和局限性。为了带来两个世界中的最好，提出了各种方法来明确或隐式地集成NN和DTS。在这项调查中，这些方法是在我们称为神经树（NTS）的学校中组织的。这项调查旨在对NTS进行全面审查，并尝试确定它们如何增强模型的解释性。我们首先提出了NTS的彻底分类学，该分类法表达了NNS和DTS的逐步整合和共同进化。之后，我们根据NTS的解释性和绩效分析，并建议解决其余挑战的可能解决方案。最后，这项调查以讨论有条件计算和向该领域的有希望的方向进行讨论结束。该调查中审查的论文列表及其相应的代码可在以下网址获得：https：//github.com/zju-vipa/awesome-neural-trees

特征选择是数据科学流水线的重要步骤，以减少与大型数据集相关的复杂性。虽然对本主题的研究侧重于优化预测性能，但很少研究在特征选择过程的上下文中调查稳定性。在这项研究中，我们介绍了重复的弹性网技术（租金）进行特色选择。租金使用具有弹性净正常化的广义线性模型的集合，每个训练都培训了训练数据的不同子集。该特征选择基于三个标准评估所有基本模型的重量分布。这一事实导致选择具有高稳定性的特征，从而提高最终模型的稳健性。此外，与已建立的特征选择器不同，租金提供了有关在训练期间难以预测的数据中难以预测的对象的模型解释的有价值信息。在我们的实验中，我们在八个多变量数据集中对六个已建立的特征选择器进行基准测试，用于二进制分类和回归。在实验比较中，租金在预测性能和稳定之间展示了均衡的权衡。最后，我们强调了租金的额外解释价值与医疗保健数据集的探索性后HOC分析。

社会科学家经常将文本文档分类为使用结果标签作为实证研究的结果或预测指标。自动化文本分类已成为标准工具，因为它需要较少的人体编码。但是，学者们仍然需要许多人类标记的文件来培训自动分类器。为了降低标签成本，我们提出了一种新的文本分类算法，将概率模型与主动学习结合在一起。概率模型同时使用标记和未标记的数据，而主动学习集中在难以分类的文件上标记工作。我们的验证研究表明，我们的算法的分类性能与最先进的方法相当，而计算成本的一部分。此外，我们复制了两篇最近发表的文章，并得出相同的实质性结论，其中仅占这些研究中使用的原始标记数据的一小部分。我们提供ActiveText，一种开源软件来实现我们的方法。