本文提出了一种基于粗糙集的强大数据挖掘方法，可以同时实现特征选择，分类和知识表示。粗糙集具有良好的解释性，是一种流行的特征选择方法。但效率低，精度低是其主要缺点，限制了其应用能力。在本文中，对应于准确性，首先找到粗糙集的无效，因为过度装备，尤其是在处理噪声属性中，并为属性提出了一个稳健的测量，称为相对重要性。我们提出了“粗糙概念树”的概念用于知识表示和分类。在公共基准数据集上的实验结果表明，所提出的框架达到比七种流行或最先进的特征选择方法更高的精度。

Pawlak粗糙集和邻居粗糙集是两个最常见的粗糙设置理论模型。 Pawlawk可以使用等价类来表示知识，但无法处理连续数据;邻域粗糙集可以处理连续数据，但它失去了使用等价类代表知识的能力。为此，本文介绍了基于格兰拉球计算的粒状粗糙集。颗粒球粗糙集可以同时代表佩皮克粗集，以及邻域粗糙集，以实现两者的统一表示。这使得粒度球粗糙集不仅可以处理连续数据，而且可以使用对知识表示的等价类。此外，我们提出了一种颗粒球粗糙集的实现算法。基准数据集的实验符合证明，由于颗粒球计算的鲁棒性和适应性的组合，与Pawlak粗糙集和传统的邻居粗糙相比，粒状球粗糙集的学习准确性得到了大大提高放。颗粒球粗糙集也优于九流行或最先进的特征选择方法。

颗粒球计算是一种有效，坚固，可扩展，可扩展和粒度计算的学习方法。颗粒球计算的基础是颗粒球产生方法。本文提出了一种使用该划分加速粒度球的方法来代替$ k $ -means。它可以大大提高颗粒球生成的效率，同时确保与现有方法类似的准确性。此外，考虑粒子球的重叠消除和一些其他因素，提出了一种新的颗粒球生成的新自适应方法。这使得在真实意义上的无参数和完全自适应的颗粒球生成过程。此外，本文首先为颗粒球覆盖物提供了数学模型。一些真实数据集的实验结果表明，所提出的两个颗粒球生成方法具有与现有方法相似的准确性，而实现适应性或加速度。

基于规则的分类器，其提取诱导规则的子集，以便在保留可辨别信息的同时有效地学习/挖掘，在人工可解释的人工智能中起着至关重要的作用。但是，在这个大数据的时代，整个数据集上的规则感应是计算密集的。到目前为止，据我们所知，报道了没有针对加速规则诱导的已知方法。这是首先要考虑减少规则感应规模的加速技术的研究。我们提出了一种基于模糊粗略理论的规则感应的加速器;加速器可以避免冗余计算并加速规则分类器的构建。首先，提出基于一致程度的规则感应方法，称为基于一致的基于值（CVR），并用作加速的基础。其次，我们引入了一个被称为关键集的压实的搜索空间，其只包含更新诱导规则所需的关键实例，以减少值。关键集的单调性可确保我们的加速器的可行性。第三，基于密钥集设计了规则感应加速器，从理论上保证将与未被插布的版本的结果相同的结果。具体地，键集的等级保存属性可确保通过加速器和未燃道的方法实现的规则感应之间的一致性。最后，广泛的实验表明，所提出的加速器可以比未被基于规则的分类器方法更快地执行，特别是在具有许多实例的数据集上。

对比模式挖掘（CPM）是数据挖掘的重要且流行的子场。传统的顺序模式无法描述不同类别数据之间的对比度信息，而涉及对比概念的对比模式可以描述不同对比条件下数据集之间的显着差异。根据该领域发表的论文数量，我们发现研究人员对CPM的兴趣仍然活跃。由于CPM有许多研究问题和研究方法。该领域的新研究人员很难在短时间内了解该领域的一般状况。因此，本文的目的是为对比模式挖掘的研究方向提供最新的全面概述。首先，我们对CPM提出了深入的理解，包括评估歧视能力的基本概念，类型，采矿策略和指标。然后，我们根据CPM方法根据其特征分类为基于边界的算法，基于树的算法，基于进化模糊的系统算法，基于决策树的算法和其他算法。此外，我们列出了这些方法的经典算法，并讨论它们的优势和缺点。提出了CPM中的高级主题。最后，我们通过讨论该领域的挑战和机遇来结束调查。

不平衡的分类问题成为数据挖掘和机器学习中的重要和具有挑战性问题之一。传统分类器的性能将受到许多数据问题的严重影响，例如类不平衡问题，类重叠和噪声。 Tomek-Link算法仅用于在提出时清理数据。近年来，已经报道了将Tomek-Link算法与采样技术结合起来。 Tomek-Link采样算法可以有效地减少数据上的类重叠，删除难以区分的多数实例，提高算法分类精度。然而，Tomek-Links下面采样算法仅考虑全局彼此的最近邻居并忽略潜在的本地重叠实例。当少数群体实例的数量很小时，取样效果不令人满意，分类模型的性能改善并不明显。因此，在Tomek-Link的基础上，提出了一种多粒度重新标记的取样算法（MGRU）。该算法完全考虑了本地粒度子空间中的数据集的本地信息，并检测数据集中的本地潜在重叠实例。然后，根据全局重新标记的索引值消除重叠的多数实例，这有效地扩展了Tomek-Link的检测范围。仿真结果表明，当我们选择欠采样的最佳全局重新标记索引值时，所提出的下采样算法的分类准确性和泛化性能明显优于其他基线算法。

随着信息时代的蓬勃发展，日常生成大量数据。由于这些数据的大规模和高维度，通常很难在实际应用中实现更好的决策。因此，迫切需要一种有效的大数据分析方法。对于功能工程，功能选择似乎是一个重要的研究内容，预计可以从候选人中选择“出色”功能。可以通过特征选择来实现不同的功能，例如降低维度，模型效应改进和模型性能改进。在许多分类任务中，研究人员发现，如果数据来自同一类，通常它们似乎彼此接近。因此，局部紧凑性对于评估功能至关重要。在此手稿中，我们提出了一种快速无监督的特征选择方法，称为紧凑型评分（CSUFS），以选择所需的功能。为了证明效率和准确性，通过进行广泛的实验选择了几个数据集。后来，通过解决聚类任务来揭示我们方法的有效性和优势。在这里，性能由几个众所周知的评估指标表示，而效率则由相应的运行时间反映。正如模拟结果所揭示的那样，与现有算法相比，我们提出的算法似乎更准确和有效。

由于其简单性和实用性，密度峰值聚类已成为聚类算法的NOVA。但是，这是一个主要的缺点：由于其高计算复杂性，这是耗时的。在此，开发了稀疏搜索和K-D树的密度峰聚类算法来解决此问题。首先，通过使用k-d树来替换原始的全等级距离矩阵来计算稀疏距离矩阵，以加速局部密度的计算。其次，提出了一种稀疏的搜索策略，以加快与$ k $最近邻居的集合与由数据点组成的集合之间的相互分离的计算。此外，采用了决策值的二阶差异方法来自适应确定群集中心。最后，通过与其他六种最先进的聚类算法进行比较，在具有不同分布特性的数据集上进行实验。事实证明，该算法可以有效地将原始DPC的计算复杂性从$ O（n^2k）$降低到$ O（n（n^{1-1/k}+k））$。特别是对于较大的数据集，效率更加明显地提高。此外，聚类精度也在一定程度上提高了。因此，可以得出结论，新提出的算法的总体性能非常好。

由于巨大的未标记数据的出现，现在已经增加了更加关注无监督的功能选择。需要考虑使用更有效的顺序使用样品训练学习方法的样本和潜在效果的分布，以提高该方法的鲁棒性。自定步学习是考虑样本培训顺序的有效方法。在本研究中，通过整合自花枢学习和子空间学习框架来提出无监督的特征选择。此外，保留了局部歧管结构，并且特征的冗余受到两个正则化术语的约束。 $ l_ {2,1 / 2} $ - norm应用于投影矩阵，旨在保留歧视特征，并进一步缓解数据中噪声的影响。然后，提出了一种迭代方法来解决优化问题。理论上和实验证明了该方法的收敛性。将所提出的方法与九个现实世界数据集上的其他技术的算法进行比较。实验结果表明，该方法可以提高聚类方法的性能，优于其他比较算法。

机器学习对图像和视频数据的应用通常会产生高维特征空间。有效的功能选择技术确定了一个判别特征子空间，该子空间可降低计算和建模成本，而绩效很少。提出了一种新颖的监督功能选择方法，用于这项工作中的机器学习决策。所得测试分别称为分类和回归问题的判别功能测试（DFT）和相关特征测试（RFT）。 DFT和RFT程序进行了详细描述。此外，我们将DFT和RFT的有效性与几种经典特征选择方法进行了比较。为此，我们使用LENET-5为MNIST和时尚流行数据集获得的深度功能作为说明性示例。其他具有手工制作和基因表达功能的数据集也包括用于性能评估。实验结果表明，DFT和RFT可以在保持较高的决策绩效的同时明确，稳健地选择较低的尺寸特征子空间。

Label noise is an important issue in classification, with many potential negative consequences. For example, the accuracy of predictions may decrease, whereas the complexity of inferred models and the number of necessary training samples may increase. Many works in the literature have been devoted to the study of label noise and the development of techniques to deal with label noise. However, the field lacks a comprehensive survey on the different types of label noise, their consequences and the algorithms that consider label noise. This paper proposes to fill this gap. First, the definitions and sources of label noise are considered and a taxonomy of the types of label noise is proposed. Second, the potential consequences of label noise are discussed. Third, label noise-robust, label noise cleansing, and label noise-tolerant algorithms are reviewed. For each category of approaches, a short discussion is proposed to help the practitioner to choose the most suitable technique in its own particular field of application. Eventually, the design of experiments is also discussed, what may interest the researchers who would like to test their own algorithms. In this paper, label noise consists of mislabeled instances: no additional information is assumed to be available like e.g. confidences on labels.

无论是在功能选择的领域还是可解释的AI领域，都有基于其重要性的“排名”功能的愿望。然后可以将这种功能重要的排名用于：（1）减少数据集大小或（2）解释机器学习模型。但是，在文献中，这种特征排名没有以系统的，一致的方式评估。许多论文都有不同的方式来争论哪些具有重要性排名最佳的特征。本文通过提出一种新的评估方法来填补这一空白。通过使用合成数据集，可以事先知道特征重要性得分，从而可以进行更系统的评估。为了促进使用新方法的大规模实验，在Python建造了一个名为FSEVAL的基准测定框架。该框架允许并行运行实验，并在HPC系统上的计算机上分布。通过与名为“权重和偏见”的在线平台集成，可以在实时仪表板上进行交互探索图表。该软件作为开源软件发布，并在PYPI平台上以包裹发行。该研究结束时，探索了一个这样的大规模实验，以在许多方面找到参与算法的优势和劣势。

Concept drift describes unforeseeable changes in the underlying distribution of streaming data over time. Concept drift research involves the development of methodologies and techniques for drift detection, understanding and adaptation. Data analysis has revealed that machine learning in a concept drift environment will result in poor learning results if the drift is not addressed. To help researchers identify which research topics are significant and how to apply related techniques in data analysis tasks, it is necessary that a high quality, instructive review of current research developments and trends in the concept drift field is conducted. In addition, due to the rapid development of concept drift in recent years, the methodologies of learning under concept drift have become noticeably systematic, unveiling a framework which has not been mentioned in literature. This paper reviews over 130 high quality publications in concept drift related research areas, analyzes up-to-date developments in methodologies and techniques, and establishes a framework of learning under concept drift including three main components: concept drift detection, concept drift understanding, and concept drift adaptation. This paper lists and discusses 10 popular synthetic datasets and 14 publicly available benchmark datasets used for evaluating the performance of learning algorithms aiming at handling concept drift. Also, concept drift related research directions are covered and discussed. By providing state-of-the-art knowledge, this survey will directly support researchers in their understanding of research developments in the field of learning under concept drift.

本文提出了一种基于条件互信息（CMI）的新型特征选择方法。提出的高阶条件互信息最大化（HOCMIM）将高阶依赖性纳入特征选择过程中，并且由于其自下而上的推导而具有直接的解释。HOCMIM源自CMI的链膨胀，并表示为最大化优化问题。最大化问题是使用贪婪的搜索过程解决的，该过程加快了整个功能选择过程。实验是在一组基准数据集上运行的（总共20个）。将HOCMIM与两个有监督的学习分类器（支持向量机和K-Nearest邻居）的结果进行比较。HOCMIM在准确性方面取得了最佳效果，并且表明要比高级特征选择的速度快。

信息科学的快速发展引起的“维度诅咒”在处理大数据集时可能会产生负面影响。在本文中，我们提出了Sparrow搜索算法（SSA）的一种变体，称为帐篷L \'evy飞行麻雀搜索算法（TFSSA），并使用它来选择包装模式中最佳的特征子集以进行分类。 SSA是最近提出的算法，尚未系统地应用于特征选择问题。通过CEC2020基准函数进行验证后，TFSSA用于选择最佳功能组合，以最大化分类精度并最大程度地减少所选功能的数量。将拟议的TFSSA与文献中的九种算法进行了比较。 9个评估指标用于正确评估和比较UCI存储库中21个数据集上这些算法的性能。此外，该方法应用于冠状病毒病（COVID-19）数据集，分别获得最佳的平均分类精度和特征选择的平均数量，为93.47％和2.1。实验结果证实了所提出的算法在提高分类准确性和减少与其他基于包装器的算法相比的选定特征数量方面的优势。

The technology for building knowledge-based systems by inductive inference from examples has been demonstrated successfully in several practical applications. This paper summarizes an approach to synthesizing decision trees that has been used in a variety of systems, and it describes one such system, ID3, in detail. Results from recent studies show ways in which the methodology can be modified to deal with information that is noisy and/or incomplete. A reported shortcoming of the basic algorithm is discussed and two means of overcoming it are compared. The paper concludes with illustrations of current research directions.

为了允许机器学习算法从原始数据中提取知识，必须首先清除，转换，并将这些数据置于适当的形式。这些通常很耗时的阶段被称为预处理。预处理阶段的一个重要步骤是特征选择，其目的通过减少数据集的特征量来更好地执行预测模型。在这些数据集中，不同事件的实例通常是不平衡的，这意味着某些正常事件被超出，而其他罕见事件非常有限。通常，这些罕见的事件具有特殊的兴趣，因为它们具有比正常事件更具辨别力。这项工作的目的是过滤提供给这些罕见实例的特征选择方法的实例，从而积极影响特征选择过程。在这项工作过程中，我们能够表明这种过滤对分类模型的性能以及异常值检测方法适用于该过滤。对于某些数据集，所产生的性能增加仅为百分点，但对于其他数据集，我们能够实现高达16％的性能的增加。这项工作应导致预测模型的改进以及在预处理阶段的过程中的特征选择更好的可解释性。本着公开科学的精神，提高了我们的研究领域的透明度，我们已经在公开的存储库中提供了我们的所有源代码和我们的实验结果。

颠覆性技术提供无与伦比的机会，为普遍存在医疗保健的许多方面的标识，从通过内容到机器学习（ML）技术来促进普及医疗保健的识别。作为一个强大的工具，ML已被广泛应用于以患者为中心的医疗保健解决方案。为了进一步提高患者护理的质量，在医疗保健设施中通常采用电子健康记录（EHRS）进行分析。由于它们高度非结构化，不平衡，不完整和高维性质，应用AI和ML将AI和ML应用AI和ML分析那些EHRS的重要任务。减少维度是一种常见的数据预处理技术，用于应对高维EHR数据，旨在减少EHR表示的特征的数量，同时提高随后的数据分析的性能，例如，分类。在这项工作中，提出了一种高效的基于滤波器的特征选择方法，即基于曲率的特征选择（CFS）。所提出的CFS应用了Menger曲率的概念，以对给定数据集中的所有功能的重量进行排名。已经在四种众所周知的EHR数据集中评估了所提出的CFS的性能，包括宫颈癌危险因素（CCRFD），乳腺癌助生（BCCDS），乳腺组织（BTDS）和糖尿病视网膜病变（DRDDD）。实验结果表明，所提出的CFS在上述数据集上实现了最先进的性能，而不是传统的PCA和其他最新方法。所提出的方法的源代码在https://github.com/zhemingzuo/cfs上公开提供。

In this paper, we strengthen the previous weak consistency proof method of random forest variants into a strong consistency proof method, and strengthen the data-driven degree of RF variants, so as to obtain better theoretical properties and experimental performance. In addition, we also propose a data-driven multinomial random forest (DMRF) based on the multinomial random forest (MRF), which meets the strong consistency and has lower complexity than MRF, and the effect is equal to or better than MRF. As far as we know, DMRF algorithm is a variant of RF with low algorithm complexity and excellent performance.

In recent years there has been growing attention to interpretable machine learning models which can give explanatory insights on their behavior. Thanks to their interpretability, decision trees have been intensively studied for classification tasks, and due to the remarkable advances in mixed-integer programming (MIP), various approaches have been proposed to formulate the problem of training an Optimal Classification Tree (OCT) as a MIP model. We present a novel mixed-integer quadratic formulation for the OCT problem, which exploits the generalization capabilities of Support Vector Machines for binary classification. Our model, denoted as Margin Optimal Classification Tree (MARGOT), encompasses the use of maximum margin multivariate hyperplanes nested in a binary tree structure. To enhance the interpretability of our approach, we analyse two alternative versions of MARGOT, which include feature selection constraints inducing local sparsity of the hyperplanes. First, MARGOT has been tested on non-linearly separable synthetic datasets in 2-dimensional feature space to provide a graphical representation of the maximum margin approach. Finally, the proposed models have been tested on benchmark datasets from the UCI repository. The MARGOT formulation turns out to be easier to solve than other OCT approaches, and the generated tree better generalizes on new observations. The two interpretable versions are effective in selecting the most relevant features and maintaining good prediction quality.