在许多分类模型中，数据被离散化以更好地估计其分布。现有的离散方法通常是针对最大化离散数据的判别能力的，同时忽略了分类中数据离散化的主要目标是改善概括性能。结果，数据往往会超出许多小型垃圾箱，因为数据没有离散化保留了最大判别信息。因此，我们提出了一个最大依赖性最差（MDMD）标准，该标准可最大程度地提高离散数据的判别信息和概括能力。更具体地说，最大依赖性标准可最大化离散数据和分类变量之间的统计依赖性，而最小差异标准则明确最大程度地减少了给定离散方案的训练数据与验证数据之间的JS差异。拟议的MDMD标准在技术上很有吸引力，但是很难可靠地估计属性的高阶联合分布和分类变量。因此，我们进一步提出了一个更实用的解决方案，最大值 - 差异 - 差异（MRMD）离散方案，其中每个属性通过同时最大化判别信息和离散数据的概括能力分别离散化。将提出的MRMD与45个机器学习基准数据集的Naive Bayes分类框架下的最新离散算法进行了比较。它大大优于大多数数据集上所有比较的方法。

最近，许多改进的天真贝叶斯方法已经开发出具有增强的辨别能力。其中，正规化的朴素贝叶斯（RNB）通过平衡辨别力和泛化能力来产生出色的性能。数据离散化在天真贝叶斯中很重要。通过将类似的值分组成一个间隔，可以更好地估计数据分布。但是，包括RNB的现有方法通常将数据离散到太少的间隔中，这可能导致显着的信息丢失。为了解决这个问题，我们提出了一个用于天真贝叶斯的半监督自适应判别离散化框架，这可以通过利用伪标签技术利用标记的数据和未标记的数据来更好地估计数据分布。通过利用自适应鉴别的离散化方案，所提出的方法也显着降低了离散化期间的信息损失，因此大大提高了分类器的歧视力。在各种机器学习数据集上系统地评估所提出的RNB +，即正规化的天真贝叶斯。它显着且始终如一地优于最先进的NB分类器。

幼稚的贝叶斯在许多应用中广泛使用，因为它具有简单性和处理数值数据和分类数据的能力。但是，缺乏特征之间的相关性建模会限制其性能。此外，现实世界数据集中的噪声和离群值也大大降低了分类性能。在本文中，我们提出了一种功能增强方法，该方法采用堆栈自动编码器来减少数据中的噪声并增强幼稚贝叶斯的判别能力。提出的堆栈自动编码器由两个用于不同目的的自动编码器组成。第一个编码器缩小了初始特征，以得出紧凑的特征表示，以消除噪声和冗余信息。第二个编码器通过将功能扩展到更高维度的空间中来增强特征的判别能力，从而使不同类别的样品在较高维度的空间中可以更好地分离。通过将提出的功能增强方法与正规化的幼稚贝叶斯集成，该模型的歧视能力得到了极大的增强。在一组机器学习基准数据集上评估所提出的方法。实验结果表明，所提出的方法显着且始终如一地优于最先进的天真贝叶斯分类器。

Mutual Information (MI) based feature selection makes use of MI to evaluate each feature and eventually shortlists a relevant feature subset, in order to address issues associated with high-dimensional datasets. Despite the effectiveness of MI in feature selection, we notice that many state-of-the-art algorithms disregard the so-called unique relevance (UR) of features, and arrive at a suboptimal selected feature subset which contains a non-negligible number of redundant features. We point out that the heart of the problem is that all these MIBFS algorithms follow the criterion of Maximize Relevance with Minimum Redundancy (MRwMR), which does not explicitly target UR. This motivates us to augment the existing criterion with the objective of boosting unique relevance (BUR), leading to a new criterion called MRwMR-BUR. Depending on the task being addressed, MRwMR-BUR has two variants, termed MRwMR-BUR-KSG and MRwMR-BUR-CLF, which estimate UR differently. MRwMR-BUR-KSG estimates UR via a nearest-neighbor based approach called the KSG estimator and is designed for three major tasks: (i) Classification Performance. (ii) Feature Interpretability. (iii) Classifier Generalization. MRwMR-BUR-CLF estimates UR via a classifier based approach. It adapts UR to different classifiers, further improving the competitiveness of MRwMR-BUR for classification performance oriented tasks. The performance of both MRwMR-BUR-KSG and MRwMR-BUR-CLF is validated via experiments using six public datasets and three popular classifiers. Specifically, as compared to MRwMR, the proposed MRwMR-BUR-KSG improves the test accuracy by 2% - 3% with 25% - 30% fewer features being selected, without increasing the algorithm complexity. MRwMR-BUR-CLF further improves the classification performance by 3.8%- 5.5% (relative to MRwMR), and it also outperforms three popular classifier dependent feature selection methods.

近年来，随着传感器和智能设备的广泛传播，物联网（IoT）系统的数据生成速度已大大增加。在物联网系统中，必须经常处理，转换和分析大量数据，以实现各种物联网服务和功能。机器学习（ML）方法已显示出其物联网数据分析的能力。但是，将ML模型应用于物联网数据分析任务仍然面临许多困难和挑战，特别是有效的模型选择，设计/调整和更新，这给经验丰富的数据科学家带来了巨大的需求。此外，物联网数据的动态性质可能引入概念漂移问题，从而导致模型性能降解。为了减少人类的努力，自动化机器学习（AUTOML）已成为一个流行的领域，旨在自动选择，构建，调整和更新机器学习模型，以在指定任务上实现最佳性能。在本文中，我们对Automl区域中模型选择，调整和更新过程中的现有方法进行了审查，以识别和总结将ML算法应用于IoT数据分析的每个步骤的最佳解决方案。为了证明我们的发现并帮助工业用户和研究人员更好地实施汽车方法，在这项工作中提出了将汽车应用于IoT异常检测问题的案例研究。最后，我们讨论并分类了该领域的挑战和研究方向。

我们介绍了强大的子组发现的问题，即，找到一个关于一个或多个目标属性的脱颖而出的子集的一组可解释的描述，2）是统计上的鲁棒，并且3）非冗余。许多尝试已经挖掘了局部强壮的子组或解决模式爆炸，但我们是第一个从全球建模角度同时解决这两个挑战的爆炸。首先，我们制定广泛的模型类别的子组列表，即订购的子组，可以组成的单次组和多变量目标，该目标可以由标称或数字变量组成，并且包括其定义中的传统Top-1子组发现。这种新颖的模型类允许我们使用最小描述长度（MDL）原理来形式地形化最佳强大的子组发现，在那里我们分别为标称和数字目标的最佳归一化最大可能性和贝叶斯编码而度假。其次，正如查找最佳子组列表都是NP-Hard，我们提出了SSD ++，一个贪婪的启发式，找到了很好的子组列表，并保证了根据MDL标准的最重要的子组在每次迭代中添加，这被显示为等同于贝叶斯一个样本比例，多项式或子组之间的多项式或T检验，以及数据集边际目标分布以及多假设检测罚款。我们经验上显示了54个数据集，即SSD ++优于先前的子组设置发现方法和子组列表大小。

本文提出了一种基于条件互信息（CMI）的新型特征选择方法。提出的高阶条件互信息最大化（HOCMIM）将高阶依赖性纳入特征选择过程中，并且由于其自下而上的推导而具有直接的解释。HOCMIM源自CMI的链膨胀，并表示为最大化优化问题。最大化问题是使用贪婪的搜索过程解决的，该过程加快了整个功能选择过程。实验是在一组基准数据集上运行的（总共20个）。将HOCMIM与两个有监督的学习分类器（支持向量机和K-Nearest邻居）的结果进行比较。HOCMIM在准确性方面取得了最佳效果，并且表明要比高级特征选择的速度快。

相关特征的识别，即确定系统的过程或属性的驱动变量，是对具有大量变量的数据集分析的重要组成部分。量化这些特征相关性的数学严格方法是相互信息。相互信息确定特征在其联合相互依赖与感兴趣的财产方面的相关性。但是，相互信息需要作为输入概率分布，这不能可靠地从连续分布（例如长度或能量）等连续分布中估计。在这里，我们介绍了总累积共同信息（TCMI），这是对相互依赖关系的相关性的度量，该信息将相互信息扩展到基于累积概率分布的连续分布的随机变量。 TCMI是一种非参数，鲁棒和确定性的度量，可促进具有不同基数的特征集之间的比较和排名。 TCMI诱导的排名允许特征选择，即，考虑到数据示例的数量以及一组变量集的基数，识别与感兴趣属性的非线性统计学相关的变量集的识别。我们通过模拟数据评估测量的性能，将其性能与类似的多元依赖性度量进行比较，并在一组标准数据集中证明了我们的功能选择方法的有效性以及材料科学中的典型情况。

分类器的合奏结合了几个单个分类器，以提供最终的预测或分类决策。一个越来越令人发指的问题是，此类系统是否可以胜过单个最佳分类器。如果是这样，哪种形式的分类器合奏（也称为多个分类器学习系统或多个分类器）在合奏本身的规模或多样性中产生最重要的好处？鉴于用于检测自闭症特征的测试是耗时且昂贵的，因此开发了一种将提供最佳结果和测量自闭症谱系障碍（ASD）的系统。在本文中，评估了几个单一和后来的多个分类器学习系统，以预测和确定影响或有助于ASD的因素出于早期筛查目的的能力。行为数据和机器人增强疗法的3,000次课程和300小时的数据集，该疗法被记录为61名儿童。仿真结果表明，与单个分类器相比，多个分类器学习系统（尤其是每个集合具有三个分类器的人）的优越预测性能，可以通过装袋和增强获得出色的结果。看来，社会交流手势仍然是儿童ASD问题的关键因素。

基因表达数据集通常具有高维度，因此需要有效且有效的方法来识别其属性的相对重要性。由于可能的解决方案的搜索空间的大小，属性子集评估特征选择方法往往不适用，因此在这些方案中使用特征对方法。文献中描述的大多数特征排名方法是单变量的方法，因此它们不会检测因子之间的相互作用。在本文中，我们提出了基于成对相关性和成对一致性的两种新的多变量特征排名方法，我们应用于三种基因表达分类问题。我们在统计上证明所提出的方法优于现有技术的状态，特征对方法进行分类方法聚类变化，CHI平方，相关性，信息增益，相关性和意义，以及基于与多目标的相关性和一致性的属性子集评估的特征选择方法进化搜索策略。

半监督学习（SSL）是使用不仅标记的示例，而且是未标记的示例学习预测模型的常见方法。尽管用于分类和回归的简单任务的SSL受到了研究社区的广泛关注，但对于具有结构依赖变量的复杂预测任务，这尚未得到适当的研究。这种情况是多标签分类和分层多标签分类任务，可能需要其他信息，可能来自未标记示例提供的描述性空间中的基础分布，以更好地面对同时预测多个类别标签的挑战性任务。在本文中，我们研究了这一方面，并​​提出了一种基于对预测性聚类树的半监督学习的（分层）多标签分类方法。我们还扩展了整体学习的方法，并提出了一种基于随机森林方法的方法。在23个数据集上进行的广泛实验评估显示了该方法的显着优势及其在其监督对应物方面的扩展。此外，该方法可保留可解释性并降低基于经典树模型的时间复杂性。

Pawlak粗糙集和邻居粗糙集是两个最常见的粗糙设置理论模型。 Pawlawk可以使用等价类来表示知识，但无法处理连续数据;邻域粗糙集可以处理连续数据，但它失去了使用等价类代表知识的能力。为此，本文介绍了基于格兰拉球计算的粒状粗糙集。颗粒球粗糙集可以同时代表佩皮克粗集，以及邻域粗糙集，以实现两者的统一表示。这使得粒度球粗糙集不仅可以处理连续数据，而且可以使用对知识表示的等价类。此外，我们提出了一种颗粒球粗糙集的实现算法。基准数据集的实验符合证明，由于颗粒球计算的鲁棒性和适应性的组合，与Pawlak粗糙集和传统的邻居粗糙相比，粒状球粗糙集的学习准确性得到了大大提高放。颗粒球粗糙集也优于九流行或最先进的特征选择方法。

Concept drift describes unforeseeable changes in the underlying distribution of streaming data over time. Concept drift research involves the development of methodologies and techniques for drift detection, understanding and adaptation. Data analysis has revealed that machine learning in a concept drift environment will result in poor learning results if the drift is not addressed. To help researchers identify which research topics are significant and how to apply related techniques in data analysis tasks, it is necessary that a high quality, instructive review of current research developments and trends in the concept drift field is conducted. In addition, due to the rapid development of concept drift in recent years, the methodologies of learning under concept drift have become noticeably systematic, unveiling a framework which has not been mentioned in literature. This paper reviews over 130 high quality publications in concept drift related research areas, analyzes up-to-date developments in methodologies and techniques, and establishes a framework of learning under concept drift including three main components: concept drift detection, concept drift understanding, and concept drift adaptation. This paper lists and discusses 10 popular synthetic datasets and 14 publicly available benchmark datasets used for evaluating the performance of learning algorithms aiming at handling concept drift. Also, concept drift related research directions are covered and discussed. By providing state-of-the-art knowledge, this survey will directly support researchers in their understanding of research developments in the field of learning under concept drift.

大多数机器学习算法由一个或多个超参数配置，必须仔细选择并且通常会影响性能。为避免耗时和不可递销的手动试验和错误过程来查找性能良好的超参数配置，可以采用各种自动超参数优化（HPO）方法，例如，基于监督机器学习的重新采样误差估计。本文介绍了HPO后，本文审查了重要的HPO方法，如网格或随机搜索，进化算法，贝叶斯优化，超带和赛车。它给出了关于进行HPO的重要选择的实用建议，包括HPO算法本身，性能评估，如何将HPO与ML管道，运行时改进和并行化结合起来。这项工作伴随着附录，其中包含关于R和Python的特定软件包的信息，以及用于特定学习算法的信息和推荐的超参数搜索空间。我们还提供笔记本电脑，这些笔记本展示了这项工作的概念作为补充文件。

机器学习（ML）应用程序的数据量不断增长。不仅是观察的数量，特别是测量变量的数量（特征）增加了持续的数字化。选择最适合预测建模的功能是ML在商业和研究中取得成功的重要杠杆。特征选择方法（FSM）独立于某种ML算法 - 所谓的过滤方法 - 已毫无意义地建议，但研究人员和定量建模的指导很少，以选择典型ML问题的适当方法。本次审查在特征选择基准上综合了大量文献，并评估了58种方法在广泛使用的R环境中的性能。对于具体的指导，我们考虑了四种典型的数据集方案，这些情况挑战ML模型（嘈杂，冗余，不平衡数据和具有比观察特征更多的案例）。绘制早期基准的经验，该基准测试较少的FSMS，我们根据四个标准进行比较方法的性能（预测性能，所选的相关功能数，功能集和运行时的稳定性）。我们发现依赖于随机森林方法的方法，双输入对称相关滤波器（浪费）和联合杂质滤波器（Jim）是给定的数据集方案的良好性候选方法。

无论是在功能选择的领域还是可解释的AI领域，都有基于其重要性的“排名”功能的愿望。然后可以将这种功能重要的排名用于：（1）减少数据集大小或（2）解释机器学习模型。但是，在文献中，这种特征排名没有以系统的，一致的方式评估。许多论文都有不同的方式来争论哪些具有重要性排名最佳的特征。本文通过提出一种新的评估方法来填补这一空白。通过使用合成数据集，可以事先知道特征重要性得分，从而可以进行更系统的评估。为了促进使用新方法的大规模实验，在Python建造了一个名为FSEVAL的基准测定框架。该框架允许并行运行实验，并在HPC系统上的计算机上分布。通过与名为“权重和偏见”的在线平台集成，可以在实时仪表板上进行交互探索图表。该软件作为开源软件发布，并在PYPI平台上以包裹发行。该研究结束时，探索了一个这样的大规模实验，以在许多方面找到参与算法的优势和劣势。

机器学习对图像和视频数据的应用通常会产生高维特征空间。有效的功能选择技术确定了一个判别特征子空间，该子空间可降低计算和建模成本，而绩效很少。提出了一种新颖的监督功能选择方法，用于这项工作中的机器学习决策。所得测试分别称为分类和回归问题的判别功能测试（DFT）和相关特征测试（RFT）。 DFT和RFT程序进行了详细描述。此外，我们将DFT和RFT的有效性与几种经典特征选择方法进行了比较。为此，我们使用LENET-5为MNIST和时尚流行数据集获得的深度功能作为说明性示例。其他具有手工制作和基因表达功能的数据集也包括用于性能评估。实验结果表明，DFT和RFT可以在保持较高的决策绩效的同时明确，稳健地选择较低的尺寸特征子空间。

Transfer learning aims at improving the performance of target learners on target domains by transferring the knowledge contained in different but related source domains. In this way, the dependence on a large number of target domain data can be reduced for constructing target learners. Due to the wide application prospects, transfer learning has become a popular and promising area in machine learning. Although there are already some valuable and impressive surveys on transfer learning, these surveys introduce approaches in a relatively isolated way and lack the recent advances in transfer learning. Due to the rapid expansion of the transfer learning area, it is both necessary and challenging to comprehensively review the relevant studies. This survey attempts to connect and systematize the existing transfer learning researches, as well as to summarize and interpret the mechanisms and the strategies of transfer learning in a comprehensive way, which may help readers have a better understanding of the current research status and ideas. Unlike previous surveys, this survey paper reviews more than forty representative transfer learning approaches, especially homogeneous transfer learning approaches, from the perspectives of data and model. The applications of transfer learning are also briefly introduced. In order to show the performance of different transfer learning models, over twenty representative transfer learning models are used for experiments. The models are performed on three different datasets, i.e., Amazon Reviews, Reuters-21578, and Office-31. And the experimental results demonstrate the importance of selecting appropriate transfer learning models for different applications in practice.

由于更高的维度和困难的班级，机器学习应用中的可用数据变得越来越复杂。根据类重叠，可分离或边界形状，以及组形态，存在各种各样的方法来测量标记数据的复杂性。许多技术可以转换数据才能找到更好的功能，但很少专注于具体降低数据复杂性。大多数数据转换方法主要是治疗维度方面，撇开类标签中的可用信息，当类别在某种方式复杂时，可以有用。本文提出了一种基于AutoEncoder的复杂性减少方法，使用类标签来告知损耗函数关于所生成的变量的充分性。这导致了三个不同的新功能学习者，得分手，斯卡尔和切片机。它们基于Fisher的判别比率，Kullback-Leibler发散和最小二乘支持向量机。它们可以作为二进制分类问题应用作为预处理阶段。跨越27个数据集和一系列复杂性和分类指标的彻底实验表明，课堂上通知的AutoEncoders执行优于4个其他流行的无监督功能提取技术，特别是当最终目标使用数据进行分类任务时。

Multi-objective feature selection is one of the most significant issues in the field of pattern recognition. It is challenging because it maximizes the classification performance and, at the same time, minimizes the number of selected features, and the mentioned two objectives are usually conflicting. To achieve a better Pareto optimal solution, metaheuristic optimization methods are widely used in many studies. However, the main drawback is the exploration of a large search space. Another problem with multi-objective feature selection approaches is the interaction between features. Selecting correlated features has negative effect on classification performance. To tackle these problems, we present a novel multi-objective feature selection method that has several advantages. Firstly, it considers the interaction between features using an advanced probability scheme. Secondly, it is based on the Pareto Archived Evolution Strategy (PAES) method that has several advantages such as simplicity and its speed in exploring the solution space. However, we improve the structure of PAES in such a way that generates the offsprings, intelligently. Thus, the proposed method utilizes the introduced probability scheme to produce more promising offsprings. Finally, it is equipped with a novel strategy that guides it to find the optimum number of features through the process of evolution. The experimental results show a significant improvement in finding the optimal Pareto front compared to state-of-the-art methods on different real-world datasets.