机器学习对图像和视频数据的应用通常会产生高维特征空间。有效的功能选择技术确定了一个判别特征子空间，该子空间可降低计算和建模成本，而绩效很少。提出了一种新颖的监督功能选择方法，用于这项工作中的机器学习决策。所得测试分别称为分类和回归问题的判别功能测试（DFT）和相关特征测试（RFT）。 DFT和RFT程序进行了详细描述。此外，我们将DFT和RFT的有效性与几种经典特征选择方法进行了比较。为此，我们使用LENET-5为MNIST和时尚流行数据集获得的深度功能作为说明性示例。其他具有手工制作和基因表达功能的数据集也包括用于性能评估。实验结果表明，DFT和RFT可以在保持较高的决策绩效的同时明确，稳健地选择较低的尺寸特征子空间。

在这项工作中，研究了在广泛的监督学位下提供稳定表现的强大学习系统的设计。我们选择图像分类问题作为一个说明性示例，并专注于由三个学习模块组成的模块化系统的设计：表示学习，特征学习和决策学习。我们讨论调整每个模块的方法，以使设计相对于不同的培训样本编号具有强大的功能。基于这些想法，我们提出了两个学习系统家庭。一个人采用定向梯度（HOG）特征的经典直方图，而另一个则使用连续的subspace-Learning（SSL）功能。我们针对MNIST和Fashion-MNIST数据集测试了他们对LENET-5的性能，这是一个端到端的优化神经网络。每个图像类别类别的训练样本数量从极度弱的监督状况（即每班标记的样本标记为1个）到强大的监督状况（即4096个标记为每类标签样本），并逐渐过渡（即$ 2^n $） ，$ n = 0，1，\ cdots，12 $）。实验结果表明，模块化学习系统的两个家族比Lenet-5具有更强的性能。对于小$ n $，它们都超过了Lenet-5的优于Lenet-5，并且具有与Lenet-5相当的性能。

特征选择通过识别最具信息性功能的子集来减少数据的维度。在本文中，我们为无监督的特征选择提出了一种创新的框架，称为分形Automencoders（FAE）。它列举了一个神经网络，以确定全球探索能力和局部挖掘的多样性的信息。架构上，FAE通过添加一对一的评分层和小子神经网络来扩展AutoEncoders，以便以无监督的方式选择特征选择。通过这种简洁的建筑，Fae实现了最先进的表演;在十四个数据集中的广泛实验结果，包括非常高维数据，已经证明了FAE对未经监督特征选择的现有现代方法的优越性。特别是，FAE对基因表达数据探索具有实质性优势，通过广泛使用的L1000地标基因将测量成本降低约15美元。此外，我们表明FAE框架与应用程序很容易扩展。

特征选择是机器学习的重要过程。它通过选择对预测目标贡献最大的功能来构建一个可解释且健壮的模型。但是，大多数成熟的特征选择算法，包括受监督和半监督，无法完全利用特征之间的复杂潜在结构。我们认为，这些结构对于特征选择过程非常重要，尤其是在缺乏标签并且数据嘈杂的情况下。为此，我们创新地向特征选择问题（即基于批量注意的自我划分特征选择（A-SFS））进行了创新的深入的自我监督机制。首先，多任务自我监督的自动编码器旨在在两个借口任务的支持下揭示功能之间的隐藏结构。在来自多自制的学习模型的集成信息的指导下，批处理注意机制旨在根据基于批处理的特征选择模式产生特征权重，以减轻少数嘈杂数据引入的影响。将此方法与14个主要强大基准进行了比较，包括LightGBM和XGBoost。实验结果表明，A-SFS在大多数数据集中达到了最高的精度。此外，这种设计大大降低了对标签的依赖，仅需1/10个标记的数据即可达到与那些先进的基线相同的性能。结果表明，A-SFS对于嘈杂和缺少数据也是最强大的。

颠覆性技术提供无与伦比的机会，为普遍存在医疗保健的许多方面的标识，从通过内容到机器学习（ML）技术来促进普及医疗保健的识别。作为一个强大的工具，ML已被广泛应用于以患者为中心的医疗保健解决方案。为了进一步提高患者护理的质量，在医疗保健设施中通常采用电子健康记录（EHRS）进行分析。由于它们高度非结构化，不平衡，不完整和高维性质，应用AI和ML将AI和ML应用AI和ML分析那些EHRS的重要任务。减少维度是一种常见的数据预处理技术，用于应对高维EHR数据，旨在减少EHR表示的特征的数量，同时提高随后的数据分析的性能，例如，分类。在这项工作中，提出了一种高效的基于滤波器的特征选择方法，即基于曲率的特征选择（CFS）。所提出的CFS应用了Menger曲率的概念，以对给定数据集中的所有功能的重量进行排名。已经在四种众所周知的EHR数据集中评估了所提出的CFS的性能，包括宫颈癌危险因素（CCRFD），乳腺癌助生（BCCDS），乳腺组织（BTDS）和糖尿病视网膜病变（DRDDD）。实验结果表明，所提出的CFS在上述数据集上实现了最先进的性能，而不是传统的PCA和其他最新方法。所提出的方法的源代码在https://github.com/zhemingzuo/cfs上公开提供。

Mutual Information (MI) based feature selection makes use of MI to evaluate each feature and eventually shortlists a relevant feature subset, in order to address issues associated with high-dimensional datasets. Despite the effectiveness of MI in feature selection, we notice that many state-of-the-art algorithms disregard the so-called unique relevance (UR) of features, and arrive at a suboptimal selected feature subset which contains a non-negligible number of redundant features. We point out that the heart of the problem is that all these MIBFS algorithms follow the criterion of Maximize Relevance with Minimum Redundancy (MRwMR), which does not explicitly target UR. This motivates us to augment the existing criterion with the objective of boosting unique relevance (BUR), leading to a new criterion called MRwMR-BUR. Depending on the task being addressed, MRwMR-BUR has two variants, termed MRwMR-BUR-KSG and MRwMR-BUR-CLF, which estimate UR differently. MRwMR-BUR-KSG estimates UR via a nearest-neighbor based approach called the KSG estimator and is designed for three major tasks: (i) Classification Performance. (ii) Feature Interpretability. (iii) Classifier Generalization. MRwMR-BUR-CLF estimates UR via a classifier based approach. It adapts UR to different classifiers, further improving the competitiveness of MRwMR-BUR for classification performance oriented tasks. The performance of both MRwMR-BUR-KSG and MRwMR-BUR-CLF is validated via experiments using six public datasets and three popular classifiers. Specifically, as compared to MRwMR, the proposed MRwMR-BUR-KSG improves the test accuracy by 2% - 3% with 25% - 30% fewer features being selected, without increasing the algorithm complexity. MRwMR-BUR-CLF further improves the classification performance by 3.8%- 5.5% (relative to MRwMR), and it also outperforms three popular classifier dependent feature selection methods.

Variable and feature selection have become the focus of much research in areas of application for which datasets with tens or hundreds of thousands of variables are available. These areas include text processing of internet documents, gene expression array analysis, and combinatorial chemistry. The objective of variable selection is three-fold: improving the prediction performance of the predictors, providing faster and more cost-effective predictors, and providing a better understanding of the underlying process that generated the data. The contributions of this special issue cover a wide range of aspects of such problems: providing a better definition of the objective function, feature construction, feature ranking, multivariate feature selection, efficient search methods, and feature validity assessment methods.

在本文中，正在研究精神任务 - 根脑 - 计算机接口（BCI）的分类，因为这些系统是BCI中的主要调查领域，因为这些系统可以增强具有严重残疾人的人们的生命。 BCI模型的性能主要取决于通过多个通道获得的特征向量的大小。在心理任务分类的情况下，培训样本的可用性最小。通常，特征选择用于通过摆脱无关紧要和多余的功能来增加心理任务分类的比率。本文提出了一种为精神任务分类选择相关和非冗余频谱特征的方法。这可以通过使用四个非常已知的多变量特征选择方法VIZ，BHATTACHARYA的距离，散射矩阵的比率，线性回归和最小冗余和最大相关性。这项工作还涉及对心理任务分类的多元和单变量特征选择的比较分析。在应用上述方法后，研究结果表明了精神任务分类的学习模型的性能的大量改进。此外，通过执行稳健的排名算法和弗里德曼的统计测试来认识所提出的方法的功效，以找到最佳组合并比较功率谱密度和特征选择方法的不同组合。

随着信息时代的蓬勃发展，日常生成大量数据。由于这些数据的大规模和高维度，通常很难在实际应用中实现更好的决策。因此，迫切需要一种有效的大数据分析方法。对于功能工程，功能选择似乎是一个重要的研究内容，预计可以从候选人中选择“出色”功能。可以通过特征选择来实现不同的功能，例如降低维度，模型效应改进和模型性能改进。在许多分类任务中，研究人员发现，如果数据来自同一类，通常它们似乎彼此接近。因此，局部紧凑性对于评估功能至关重要。在此手稿中，我们提出了一种快速无监督的特征选择方法，称为紧凑型评分（CSUFS），以选择所需的功能。为了证明效率和准确性，通过进行广泛的实验选择了几个数据集。后来，通过解决聚类任务来揭示我们方法的有效性和优势。在这里，性能由几个众所周知的评估指标表示，而效率则由相应的运行时间反映。正如模拟结果所揭示的那样，与现有算法相比，我们提出的算法似乎更准确和有效。

特征选择是数据科学流水线的重要步骤，以减少与大型数据集相关的复杂性。虽然对本主题的研究侧重于优化预测性能，但很少研究在特征选择过程的上下文中调查稳定性。在这项研究中，我们介绍了重复的弹性网技术（租金）进行特色选择。租金使用具有弹性净正常化的广义线性模型的集合，每个训练都培训了训练数据的不同子集。该特征选择基于三个标准评估所有基本模型的重量分布。这一事实导致选择具有高稳定性的特征，从而提高最终模型的稳健性。此外，与已建立的特征选择器不同，租金提供了有关在训练期间难以预测的数据中难以预测的对象的模型解释的有价值信息。在我们的实验中，我们在八个多变量数据集中对六个已建立的特征选择器进行基准测试，用于二进制分类和回归。在实验比较中，租金在预测性能和稳定之间展示了均衡的权衡。最后，我们强调了租金的额外解释价值与医疗保健数据集的探索性后HOC分析。

无论是在功能选择的领域还是可解释的AI领域，都有基于其重要性的“排名”功能的愿望。然后可以将这种功能重要的排名用于：（1）减少数据集大小或（2）解释机器学习模型。但是，在文献中，这种特征排名没有以系统的，一致的方式评估。许多论文都有不同的方式来争论哪些具有重要性排名最佳的特征。本文通过提出一种新的评估方法来填补这一空白。通过使用合成数据集，可以事先知道特征重要性得分，从而可以进行更系统的评估。为了促进使用新方法的大规模实验，在Python建造了一个名为FSEVAL的基准测定框架。该框架允许并行运行实验，并在HPC系统上的计算机上分布。通过与名为“权重和偏见”的在线平台集成，可以在实时仪表板上进行交互探索图表。该软件作为开源软件发布，并在PYPI平台上以包裹发行。该研究结束时，探索了一个这样的大规模实验，以在许多方面找到参与算法的优势和劣势。

包括机器学习在内的计算分析方法对基因组学和医学领域具有重大影响。高通量基因表达分析方法，例如微阵列技术和RNA测序产生大量数据。传统上，统计方法用于基因表达数据的比较分析。但是，针对样品观察分类或发现特征基因的分类的更复杂的分析需要复杂的计算方法。在这篇综述中，我们编译了用于分析表达微阵列数据的各种统计和计算工具。即使在表达微阵列的背景下讨论了这些方法，也可以将它们应用于RNA测序和定量蛋白质组学数据集的分析。我们讨论缺失价值的类型以及其插补中通常采用的方法和方法。我们还讨论了数据归一化，特征选择和特征提取的方法。最后，详细描述了分类和类发现方法及其评估参数。我们认为，这项详细的审查将帮助用户根据预期结果选择适当的方法来预处理和分析其数据。

由于更高的维度和困难的班级，机器学习应用中的可用数据变得越来越复杂。根据类重叠，可分离或边界形状，以及组形态，存在各种各样的方法来测量标记数据的复杂性。许多技术可以转换数据才能找到更好的功能，但很少专注于具体降低数据复杂性。大多数数据转换方法主要是治疗维度方面，撇开类标签中的可用信息，当类别在某种方式复杂时，可以有用。本文提出了一种基于AutoEncoder的复杂性减少方法，使用类标签来告知损耗函数关于所生成的变量的充分性。这导致了三个不同的新功能学习者，得分手，斯卡尔和切片机。它们基于Fisher的判别比率，Kullback-Leibler发散和最小二乘支持向量机。它们可以作为二进制分类问题应用作为预处理阶段。跨越27个数据集和一系列复杂性和分类指标的彻底实验表明，课堂上通知的AutoEncoders执行优于4个其他流行的无监督功能提取技术，特别是当最终目标使用数据进行分类任务时。

本文提出了一种基于条件互信息（CMI）的新型特征选择方法。提出的高阶条件互信息最大化（HOCMIM）将高阶依赖性纳入特征选择过程中，并且由于其自下而上的推导而具有直接的解释。HOCMIM源自CMI的链膨胀，并表示为最大化优化问题。最大化问题是使用贪婪的搜索过程解决的，该过程加快了整个功能选择过程。实验是在一组基准数据集上运行的（总共20个）。将HOCMIM与两个有监督的学习分类器（支持向量机和K-Nearest邻居）的结果进行比较。HOCMIM在准确性方面取得了最佳效果，并且表明要比高级特征选择的速度快。

近年来，随着传感器和智能设备的广泛传播，物联网（IoT）系统的数据生成速度已大大增加。在物联网系统中，必须经常处理，转换和分析大量数据，以实现各种物联网服务和功能。机器学习（ML）方法已显示出其物联网数据分析的能力。但是，将ML模型应用于物联网数据分析任务仍然面临许多困难和挑战，特别是有效的模型选择，设计/调整和更新，这给经验丰富的数据科学家带来了巨大的需求。此外，物联网数据的动态性质可能引入概念漂移问题，从而导致模型性能降解。为了减少人类的努力，自动化机器学习（AUTOML）已成为一个流行的领域，旨在自动选择，构建，调整和更新机器学习模型，以在指定任务上实现最佳性能。在本文中，我们对Automl区域中模型选择，调整和更新过程中的现有方法进行了审查，以识别和总结将ML算法应用于IoT数据分析的每个步骤的最佳解决方案。为了证明我们的发现并帮助工业用户和研究人员更好地实施汽车方法，在这项工作中提出了将汽车应用于IoT异常检测问题的案例研究。最后，我们讨论并分类了该领域的挑战和研究方向。

机器学习（ML）应用程序的数据量不断增长。不仅是观察的数量，特别是测量变量的数量（特征）增加了持续的数字化。选择最适合预测建模的功能是ML在商业和研究中取得成功的重要杠杆。特征选择方法（FSM）独立于某种ML算法 - 所谓的过滤方法 - 已毫无意义地建议，但研究人员和定量建模的指导很少，以选择典型ML问题的适当方法。本次审查在特征选择基准上综合了大量文献，并评估了58种方法在广泛使用的R环境中的性能。对于具体的指导，我们考虑了四种典型的数据集方案，这些情况挑战ML模型（嘈杂，冗余，不平衡数据和具有比观察特征更多的案例）。绘制早期基准的经验，该基准测试较少的FSMS，我们根据四个标准进行比较方法的性能（预测性能，所选的相关功能数，功能集和运行时的稳定性）。我们发现依赖于随机森林方法的方法，双输入对称相关滤波器（浪费）和联合杂质滤波器（Jim）是给定的数据集方案的良好性候选方法。

特征选择作为一种重要的尺寸减少技术，通过识别输入特征的基本子集来减少数据维度，这可以促进可解释的洞察学习和推理过程。算法稳定性是关于其对输入样本扰动的敏感性的算法的关键特征。在本文中，我们提出了一种创新的无监督特征选择算法，其具有可提供保证的这种稳定性。我们的算法的体系结构包括一个特征得分手和特征选择器。得分手训练了一个神经网络（NN）来全局评分所有功能，并且选择器采用从属子NN，以在本地评估选择特征的表示能力。此外，我们提供算法稳定性分析，并显示我们的算法通过泛化误差绑定的性能保证。实际数据集的广泛实验结果表明了我们所提出的算法的卓越泛化性能，以强大的基线方法。此外，我们的理论分析和我们算法选择特征的稳定性揭示的属性是经验证实的。

在本文中，我们提出了一种用于几个样本监督功能选择（FS）的新方法。我们的方法首先使用捕获多功能关联的内核来了解每个类的特征空间的歧视。然后，基于Riemannian几何形状，计算复合内核，从而提取了学习的特征关联之间的差异。最后，提出了基于光谱分析的FS分数。考虑多功能关联使我们的方法逐个设计。反过来，这允许提取特征基础的隐藏歧管，并避免过度拟合，从而促进少量样本FS。我们展示了我们方法在说明性示例和几个基准测试方面的功效，在其中我们的方法在选择与竞争方法相比选择信息性特征的准确性更高。此外，我们表明，当应用于测试数据时，我们的FS会导致改进的分类和更好的概括。

大多数维度降低方法采用频域表示，从基质对角线化获得，并且对于具有较高固有维度的大型数据集可能不会有效。为了应对这一挑战，相关的聚类和投影（CCP）提供了一种新的数据域策略，不需要解决任何矩阵。CCP将高维特征分配到相关的群集中，然后根据样本相关性将每个集群中的特征分为一个一维表示。引入了残留相似性（R-S）分数和索引，Riemannian歧管中的数据形状以及基于代数拓扑的持久性Laplacian进行可视化和分析。建议的方法通过与各种机器学习算法相关的基准数据集验证。

本文提出了一种基于粗糙集的强大数据挖掘方法，可以同时实现特征选择，分类和知识表示。粗糙集具有良好的解释性，是一种流行的特征选择方法。但效率低，精度低是其主要缺点，限制了其应用能力。在本文中，对应于准确性，首先找到粗糙集的无效，因为过度装备，尤其是在处理噪声属性中，并为属性提出了一个稳健的测量，称为相对重要性。我们提出了“粗糙概念树”的概念用于知识表示和分类。在公共基准数据集上的实验结果表明，所提出的框架达到比七种流行或最先进的特征选择方法更高的精度。