Pawlak粗糙集和邻居粗糙集是两个最常见的粗糙设置理论模型。 Pawlawk可以使用等价类来表示知识，但无法处理连续数据;邻域粗糙集可以处理连续数据，但它失去了使用等价类代表知识的能力。为此，本文介绍了基于格兰拉球计算的粒状粗糙集。颗粒球粗糙集可以同时代表佩皮克粗集，以及邻域粗糙集，以实现两者的统一表示。这使得粒度球粗糙集不仅可以处理连续数据，而且可以使用对知识表示的等价类。此外，我们提出了一种颗粒球粗糙集的实现算法。基准数据集的实验符合证明，由于颗粒球计算的鲁棒性和适应性的组合，与Pawlak粗糙集和传统的邻居粗糙相比，粒状球粗糙集的学习准确性得到了大大提高放。颗粒球粗糙集也优于九流行或最先进的特征选择方法。

本文提出了一种基于粗糙集的强大数据挖掘方法，可以同时实现特征选择，分类和知识表示。粗糙集具有良好的解释性，是一种流行的特征选择方法。但效率低，精度低是其主要缺点，限制了其应用能力。在本文中，对应于准确性，首先找到粗糙集的无效，因为过度装备，尤其是在处理噪声属性中，并为属性提出了一个稳健的测量，称为相对重要性。我们提出了“粗糙概念树”的概念用于知识表示和分类。在公共基准数据集上的实验结果表明，所提出的框架达到比七种流行或最先进的特征选择方法更高的精度。

颗粒球计算是一种有效，坚固，可扩展，可扩展和粒度计算的学习方法。颗粒球计算的基础是颗粒球产生方法。本文提出了一种使用该划分加速粒度球的方法来代替$ k $ -means。它可以大大提高颗粒球生成的效率，同时确保与现有方法类似的准确性。此外，考虑粒子球的重叠消除和一些其他因素，提出了一种新的颗粒球生成的新自适应方法。这使得在真实意义上的无参数和完全自适应的颗粒球生成过程。此外，本文首先为颗粒球覆盖物提供了数学模型。一些真实数据集的实验结果表明，所提出的两个颗粒球生成方法具有与现有方法相似的准确性，而实现适应性或加速度。

基于规则的分类器，其提取诱导规则的子集，以便在保留可辨别信息的同时有效地学习/挖掘，在人工可解释的人工智能中起着至关重要的作用。但是，在这个大数据的时代，整个数据集上的规则感应是计算密集的。到目前为止，据我们所知，报道了没有针对加速规则诱导的已知方法。这是首先要考虑减少规则感应规模的加速技术的研究。我们提出了一种基于模糊粗略理论的规则感应的加速器;加速器可以避免冗余计算并加速规则分类器的构建。首先，提出基于一致程度的规则感应方法，称为基于一致的基于值（CVR），并用作加速的基础。其次，我们引入了一个被称为关键集的压实的搜索空间，其只包含更新诱导规则所需的关键实例，以减少值。关键集的单调性可确保我们的加速器的可行性。第三，基于密钥集设计了规则感应加速器，从理论上保证将与未被插布的版本的结果相同的结果。具体地，键集的等级保存属性可确保通过加速器和未燃道的方法实现的规则感应之间的一致性。最后，广泛的实验表明，所提出的加速器可以比未被基于规则的分类器方法更快地执行，特别是在具有许多实例的数据集上。

不平衡的分类问题成为数据挖掘和机器学习中的重要和具有挑战性问题之一。传统分类器的性能将受到许多数据问题的严重影响，例如类不平衡问题，类重叠和噪声。 Tomek-Link算法仅用于在提出时清理数据。近年来，已经报道了将Tomek-Link算法与采样技术结合起来。 Tomek-Link采样算法可以有效地减少数据上的类重叠，删除难以区分的多数实例，提高算法分类精度。然而，Tomek-Links下面采样算法仅考虑全局彼此的最近邻居并忽略潜在的本地重叠实例。当少数群体实例的数量很小时，取样效果不令人满意，分类模型的性能改善并不明显。因此，在Tomek-Link的基础上，提出了一种多粒度重新标记的取样算法（MGRU）。该算法完全考虑了本地粒度子空间中的数据集的本地信息，并检测数据集中的本地潜在重叠实例。然后，根据全局重新标记的索引值消除重叠的多数实例，这有效地扩展了Tomek-Link的检测范围。仿真结果表明，当我们选择欠采样的最佳全局重新标记索引值时，所提出的下采样算法的分类准确性和泛化性能明显优于其他基线算法。

对比模式挖掘（CPM）是数据挖掘的重要且流行的子场。传统的顺序模式无法描述不同类别数据之间的对比度信息，而涉及对比概念的对比模式可以描述不同对比条件下数据集之间的显着差异。根据该领域发表的论文数量，我们发现研究人员对CPM的兴趣仍然活跃。由于CPM有许多研究问题和研究方法。该领域的新研究人员很难在短时间内了解该领域的一般状况。因此，本文的目的是为对比模式挖掘的研究方向提供最新的全面概述。首先，我们对CPM提出了深入的理解，包括评估歧视能力的基本概念，类型，采矿策略和指标。然后，我们根据CPM方法根据其特征分类为基于边界的算法，基于树的算法，基于进化模糊的系统算法，基于决策树的算法和其他算法。此外，我们列出了这些方法的经典算法，并讨论它们的优势和缺点。提出了CPM中的高级主题。最后，我们通过讨论该领域的挑战和机遇来结束调查。

随着信息时代的蓬勃发展，日常生成大量数据。由于这些数据的大规模和高维度，通常很难在实际应用中实现更好的决策。因此，迫切需要一种有效的大数据分析方法。对于功能工程，功能选择似乎是一个重要的研究内容，预计可以从候选人中选择“出色”功能。可以通过特征选择来实现不同的功能，例如降低维度，模型效应改进和模型性能改进。在许多分类任务中，研究人员发现，如果数据来自同一类，通常它们似乎彼此接近。因此，局部紧凑性对于评估功能至关重要。在此手稿中，我们提出了一种快速无监督的特征选择方法，称为紧凑型评分（CSUFS），以选择所需的功能。为了证明效率和准确性，通过进行广泛的实验选择了几个数据集。后来，通过解决聚类任务来揭示我们方法的有效性和优势。在这里，性能由几个众所周知的评估指标表示，而效率则由相应的运行时间反映。正如模拟结果所揭示的那样，与现有算法相比，我们提出的算法似乎更准确和有效。

Multi-label learning is often used to mine the correlation between variables and multiple labels, and its research focuses on fully extracting the information between variables and labels. The $\ell_{2,1}$ regularization is often used to get a sparse coefficient matrix, but the problem of multicollinearity among variables cannot be effectively solved. In this paper, the proposed model can choose the most relevant variables by solving a joint constraint optimization problem using the $\ell_{2,1}$ regularization and Frobenius regularization. In manifold regularization, we carry out a random walk strategy based on the joint structure to construct a neighborhood graph, which is highly robust to outliers. In addition, we give an iterative algorithm of the proposed method and proved the convergence of this algorithm. The experiments on the real-world data sets also show that the comprehensive performance of our method is consistently better than the classical method.

Label noise is an important issue in classification, with many potential negative consequences. For example, the accuracy of predictions may decrease, whereas the complexity of inferred models and the number of necessary training samples may increase. Many works in the literature have been devoted to the study of label noise and the development of techniques to deal with label noise. However, the field lacks a comprehensive survey on the different types of label noise, their consequences and the algorithms that consider label noise. This paper proposes to fill this gap. First, the definitions and sources of label noise are considered and a taxonomy of the types of label noise is proposed. Second, the potential consequences of label noise are discussed. Third, label noise-robust, label noise cleansing, and label noise-tolerant algorithms are reviewed. For each category of approaches, a short discussion is proposed to help the practitioner to choose the most suitable technique in its own particular field of application. Eventually, the design of experiments is also discussed, what may interest the researchers who would like to test their own algorithms. In this paper, label noise consists of mislabeled instances: no additional information is assumed to be available like e.g. confidences on labels.

The accuracy of k-nearest neighbor (kNN) classification depends significantly on the metric used to compute distances between different examples. In this paper, we show how to learn a Mahalanobis distance metric for kNN classification from labeled examples. The Mahalanobis metric can equivalently be viewed as a global linear transformation of the input space that precedes kNN classification using Euclidean distances. In our approach, the metric is trained with the goal that the k-nearest neighbors always belong to the same class while examples from different classes are separated by a large margin. As in support vector machines (SVMs), the margin criterion leads to a convex optimization based on the hinge loss. Unlike learning in SVMs, however, our approach requires no modification or extension for problems in multiway (as opposed to binary) classification. In our framework, the Mahalanobis distance metric is obtained as the solution to a semidefinite program. On several data sets of varying size and difficulty, we find that metrics trained in this way lead to significant improvements in kNN classification. Sometimes these results can be further improved by clustering the training examples and learning an individual metric within each cluster. We show how to learn and combine these local metrics in a globally integrated manner.

由于更高的维度和困难的班级，机器学习应用中的可用数据变得越来越复杂。根据类重叠，可分离或边界形状，以及组形态，存在各种各样的方法来测量标记数据的复杂性。许多技术可以转换数据才能找到更好的功能，但很少专注于具体降低数据复杂性。大多数数据转换方法主要是治疗维度方面，撇开类标签中的可用信息，当类别在某种方式复杂时，可以有用。本文提出了一种基于AutoEncoder的复杂性减少方法，使用类标签来告知损耗函数关于所生成的变量的充分性。这导致了三个不同的新功能学习者，得分手，斯卡尔和切片机。它们基于Fisher的判别比率，Kullback-Leibler发散和最小二乘支持向量机。它们可以作为二进制分类问题应用作为预处理阶段。跨越27个数据集和一系列复杂性和分类指标的彻底实验表明，课堂上通知的AutoEncoders执行优于4个其他流行的无监督功能提取技术，特别是当最终目标使用数据进行分类任务时。

由于巨大的未标记数据的出现，现在已经增加了更加关注无监督的功能选择。需要考虑使用更有效的顺序使用样品训练学习方法的样本和潜在效果的分布，以提高该方法的鲁棒性。自定步学习是考虑样本培训顺序的有效方法。在本研究中，通过整合自花枢学习和子空间学习框架来提出无监督的特征选择。此外，保留了局部歧管结构，并且特征的冗余受到两个正则化术语的约束。 $ l_ {2,1 / 2} $ - norm应用于投影矩阵，旨在保留歧视特征，并进一步缓解数据中噪声的影响。然后，提出了一种迭代方法来解决优化问题。理论上和实验证明了该方法的收敛性。将所提出的方法与九个现实世界数据集上的其他技术的算法进行比较。实验结果表明，该方法可以提高聚类方法的性能，优于其他比较算法。

由于其简单性和实用性，密度峰值聚类已成为聚类算法的NOVA。但是，这是一个主要的缺点：由于其高计算复杂性，这是耗时的。在此，开发了稀疏搜索和K-D树的密度峰聚类算法来解决此问题。首先，通过使用k-d树来替换原始的全等级距离矩阵来计算稀疏距离矩阵，以加速局部密度的计算。其次，提出了一种稀疏的搜索策略，以加快与$ k $最近邻居的集合与由数据点组成的集合之间的相互分离的计算。此外，采用了决策值的二阶差异方法来自适应确定群集中心。最后，通过与其他六种最先进的聚类算法进行比较，在具有不同分布特性的数据集上进行实验。事实证明，该算法可以有效地将原始DPC的计算复杂性从$ O（n^2k）$降低到$ O（n（n^{1-1/k}+k））$。特别是对于较大的数据集，效率更加明显地提高。此外，聚类精度也在一定程度上提高了。因此，可以得出结论，新提出的算法的总体性能非常好。

无论是在功能选择的领域还是可解释的AI领域，都有基于其重要性的“排名”功能的愿望。然后可以将这种功能重要的排名用于：（1）减少数据集大小或（2）解释机器学习模型。但是，在文献中，这种特征排名没有以系统的，一致的方式评估。许多论文都有不同的方式来争论哪些具有重要性排名最佳的特征。本文通过提出一种新的评估方法来填补这一空白。通过使用合成数据集，可以事先知道特征重要性得分，从而可以进行更系统的评估。为了促进使用新方法的大规模实验，在Python建造了一个名为FSEVAL的基准测定框架。该框架允许并行运行实验，并在HPC系统上的计算机上分布。通过与名为“权重和偏见”的在线平台集成，可以在实时仪表板上进行交互探索图表。该软件作为开源软件发布，并在PYPI平台上以包裹发行。该研究结束时，探索了一个这样的大规模实验，以在许多方面找到参与算法的优势和劣势。

本文提出了一种基于条件互信息（CMI）的新型特征选择方法。提出的高阶条件互信息最大化（HOCMIM）将高阶依赖性纳入特征选择过程中，并且由于其自下而上的推导而具有直接的解释。HOCMIM源自CMI的链膨胀，并表示为最大化优化问题。最大化问题是使用贪婪的搜索过程解决的，该过程加快了整个功能选择过程。实验是在一组基准数据集上运行的（总共20个）。将HOCMIM与两个有监督的学习分类器（支持向量机和K-Nearest邻居）的结果进行比较。HOCMIM在准确性方面取得了最佳效果，并且表明要比高级特征选择的速度快。

机器学习对图像和视频数据的应用通常会产生高维特征空间。有效的功能选择技术确定了一个判别特征子空间，该子空间可降低计算和建模成本，而绩效很少。提出了一种新颖的监督功能选择方法，用于这项工作中的机器学习决策。所得测试分别称为分类和回归问题的判别功能测试（DFT）和相关特征测试（RFT）。 DFT和RFT程序进行了详细描述。此外，我们将DFT和RFT的有效性与几种经典特征选择方法进行了比较。为此，我们使用LENET-5为MNIST和时尚流行数据集获得的深度功能作为说明性示例。其他具有手工制作和基因表达功能的数据集也包括用于性能评估。实验结果表明，DFT和RFT可以在保持较高的决策绩效的同时明确，稳健地选择较低的尺寸特征子空间。

最近有一项激烈的活动在嵌入非常高维和非线性数据结构的嵌入中，其中大部分在数据科学和机器学习文献中。我们分四部分调查这项活动。在第一部分中，我们涵盖了非线性方法，例如主曲线，多维缩放，局部线性方法，ISOMAP，基于图形的方法和扩散映射，基于内核的方法和随机投影。第二部分与拓扑嵌入方法有关，特别是将拓扑特性映射到持久图和映射器算法中。具有巨大增长的另一种类型的数据集是非常高维网络数据。第三部分中考虑的任务是如何将此类数据嵌入中等维度的向量空间中，以使数据适合传统技术，例如群集和分类技术。可以说，这是算法机器学习方法与统计建模（所谓的随机块建模）之间的对比度。在论文中，我们讨论了两种方法的利弊。调查的最后一部分涉及嵌入$ \ mathbb {r}^ 2 $，即可视化中。提出了三种方法：基于第一部分，第二和第三部分中的方法，$ t $ -sne，UMAP和大节。在两个模拟数据集上进行了说明和比较。一个由嘈杂的ranunculoid曲线组成的三胞胎，另一个由随机块模型和两种类型的节点产生的复杂性的网络组成。

尺寸还原〜（DR）将高维数据映射到较低的尺寸潜在空间，并最小化定义的优化目标。 DR方法通常属于特征选择〜（FS）和特征投影〜（FP）。 FS专注于选择尺寸的关键子集，但有风险破坏数据分布（结构）。另一方面，FP将所有输入特征结合到较低的维度空间中，旨在维护数据结构。但是缺乏解释性和稀疏性。 FS和FP传统上是不兼容的类别；因此，它们尚未统一为友好的框架。我们建议理想的DR方法将FS和FP同时结合到统一的端到端多种学习框架中，同时执行基本特征发现，同时保持潜在空间中数据样本之间的内在关系。在这项工作中，我们开发了一个统一的框架，统一的尺寸还原神经网络〜（UDRN），该框架以兼容的端到端方式将FS和FP整合在一起。我们通过使用两个堆叠子网络分别实施FS和FP任务来改善神经网络结构。此外，我们设计了DR流程的数据增强，以提高方法处理广泛的功能数据集和设计的损失功能时，可以与数据增强合作。关于四个图像和四个生物数据集的广泛实验结果，包括非常高维数据，证明了DRN的优势比现有方法〜（FS，FP和FS \＆FP管道），尤其是在分类和可视化等下游任务中。

为了允许机器学习算法从原始数据中提取知识，必须首先清除，转换，并将这些数据置于适当的形式。这些通常很耗时的阶段被称为预处理。预处理阶段的一个重要步骤是特征选择，其目的通过减少数据集的特征量来更好地执行预测模型。在这些数据集中，不同事件的实例通常是不平衡的，这意味着某些正常事件被超出，而其他罕见事件非常有限。通常，这些罕见的事件具有特殊的兴趣，因为它们具有比正常事件更具辨别力。这项工作的目的是过滤提供给这些罕见实例的特征选择方法的实例，从而积极影响特征选择过程。在这项工作过程中，我们能够表明这种过滤对分类模型的性能以及异常值检测方法适用于该过滤。对于某些数据集，所产生的性能增加仅为百分点，但对于其他数据集，我们能够实现高达16％的性能的增加。这项工作应导致预测模型的改进以及在预处理阶段的过程中的特征选择更好的可解释性。本着公开科学的精神，提高了我们的研究领域的透明度，我们已经在公开的存储库中提供了我们的所有源代码和我们的实验结果。

以在线方式进行功能选择的在线流媒体特征选择（OSFS）在处理高维数据方面起着重要作用。在许多真实的应用程序（例如智能医疗平台）中，流媒体功能始终存在一些缺少的数据，这在进行OSFS（即如何在稀疏流式传输功能和标签之间建立不确定的关系）方面提出了至关重要的挑战。不幸的是，现有的OSFS算法从未考虑过这种不确定的关系。为了填补这一空白，我们在本文中提出了一个不确定性（OS2FSU）算法的在线稀疏流媒体特征选择。 OS2FSU由两个主要部分组成：1）潜在因素分析用于预测稀疏流特征中缺少的数据，然后使用划分功能选择，而2）使用模糊逻辑和邻里粗糙集来减轻估计流流之间的不确定性进行功能选择期间的功能和标签。在实验中，将OS2FSU与六个真实数据集中的五种最先进的OSFS算法进行了比较。结果表明，在OSF中遇到丢失的数据时，OS2FSU胜过其竞争对手。