Fisher's criterion is a widely used tool in machine learning for feature selection. For large search spaces, Fisher's criterion can provide a scalable solution to select features. A challenging limitation of Fisher's criterion, however, is that it performs poorly when mean values of class-conditional distributions are close to each other. Motivated by this challenge, we propose an extension of Fisher's criterion to overcome this limitation. The proposed extension utilizes the available heteroscedasticity of class-conditional distributions to distinguish one class from another. Additionally, we describe how our theoretical results can be casted into a neural network framework, and conduct a proof-of-concept experiment to demonstrate the viability of our approach to solve classification problems.

Variable and feature selection have become the focus of much research in areas of application for which datasets with tens or hundreds of thousands of variables are available. These areas include text processing of internet documents, gene expression array analysis, and combinatorial chemistry. The objective of variable selection is three-fold: improving the prediction performance of the predictors, providing faster and more cost-effective predictors, and providing a better understanding of the underlying process that generated the data. The contributions of this special issue cover a wide range of aspects of such problems: providing a better definition of the objective function, feature construction, feature ranking, multivariate feature selection, efficient search methods, and feature validity assessment methods.

Understanding the functional principles of information processing in deep neural networks continues to be a challenge, in particular for networks with trained and thus non-random weights. To address this issue, we study the mapping between probability distributions implemented by a deep feed-forward network. We characterize this mapping as an iterated transformation of distributions, where the non-linearity in each layer transfers information between different orders of correlation functions. This allows us to identify essential statistics in the data, as well as different information representations that can be used by neural networks. Applied to an XOR task and to MNIST, we show that correlations up to second order predominantly capture the information processing in the internal layers, while the input layer also extracts higher-order correlations from the data. This analysis provides a quantitative and explainable perspective on classification.

相关特征的识别，即确定系统的过程或属性的驱动变量，是对具有大量变量的数据集分析的重要组成部分。量化这些特征相关性的数学严格方法是相互信息。相互信息确定特征在其联合相互依赖与感兴趣的财产方面的相关性。但是，相互信息需要作为输入概率分布，这不能可靠地从连续分布（例如长度或能量）等连续分布中估计。在这里，我们介绍了总累积共同信息（TCMI），这是对相互依赖关系的相关性的度量，该信息将相互信息扩展到基于累积概率分布的连续分布的随机变量。 TCMI是一种非参数，鲁棒和确定性的度量，可促进具有不同基数的特征集之间的比较和排名。 TCMI诱导的排名允许特征选择，即，考虑到数据示例的数量以及一组变量集的基数，识别与感兴趣属性的非线性统计学相关的变量集的识别。我们通过模拟数据评估测量的性能，将其性能与类似的多元依赖性度量进行比较，并在一组标准数据集中证明了我们的功能选择方法的有效性以及材料科学中的典型情况。

由于更高的维度和困难的班级，机器学习应用中的可用数据变得越来越复杂。根据类重叠，可分离或边界形状，以及组形态，存在各种各样的方法来测量标记数据的复杂性。许多技术可以转换数据才能找到更好的功能，但很少专注于具体降低数据复杂性。大多数数据转换方法主要是治疗维度方面，撇开类标签中的可用信息，当类别在某种方式复杂时，可以有用。本文提出了一种基于AutoEncoder的复杂性减少方法，使用类标签来告知损耗函数关于所生成的变量的充分性。这导致了三个不同的新功能学习者，得分手，斯卡尔和切片机。它们基于Fisher的判别比率，Kullback-Leibler发散和最小二乘支持向量机。它们可以作为二进制分类问题应用作为预处理阶段。跨越27个数据集和一系列复杂性和分类指标的彻底实验表明，课堂上通知的AutoEncoders执行优于4个其他流行的无监督功能提取技术，特别是当最终目标使用数据进行分类任务时。

现代深度学习方法构成了令人难以置信的强大工具，以解决无数的挑战问题。然而，由于深度学习方法作为黑匣子运作，因此与其预测相关的不确定性往往是挑战量化。贝叶斯统计数据提供了一种形式主义来理解和量化与深度神经网络预测相关的不确定性。本教程概述了相关文献和完整的工具集，用于设计，实施，列车，使用和评估贝叶斯神经网络，即使用贝叶斯方法培训的随机人工神经网络。

本文提出了一种基于条件互信息（CMI）的新型特征选择方法。提出的高阶条件互信息最大化（HOCMIM）将高阶依赖性纳入特征选择过程中，并且由于其自下而上的推导而具有直接的解释。HOCMIM源自CMI的链膨胀，并表示为最大化优化问题。最大化问题是使用贪婪的搜索过程解决的，该过程加快了整个功能选择过程。实验是在一组基准数据集上运行的（总共20个）。将HOCMIM与两个有监督的学习分类器（支持向量机和K-Nearest邻居）的结果进行比较。HOCMIM在准确性方面取得了最佳效果，并且表明要比高级特征选择的速度快。

提出了一种称为误差损失网络（ELN）的新型模型，以构建监督学习的误差损失函数。 ELN的结构类似于径向基函数（RBF）神经网络，但其输入是误差样本，输出是与该误差样本相对应的损耗。这意味着ELN的非线性输入输出映射器会创建误差损失函数。拟议的ELN为大量错误损失函数提供了统一模型，其中包括一些信息理论学习（ITL）损失函数作为特殊情况。 ELN的激活函数，权重参数和网络大小可以从误差样本中进行预先确定或学到。在此基础上，我们提出了一个新的机器学习范式，其中学习过程分为两个阶段：首先，使用ELN学习损失函数；其次，使用学习的损失功能继续执行学习。提出了实验结果，以证明新方法的理想性能。

从大量嘈杂的候选人中选择一小部分信息功能是一个充满挑战的问题，即机器学习和近似贝叶斯计算中的许多应用程序。在实践中，还需要考虑计算信息丰富功能的成本。这对于网络尤为重要，因为单个功能的计算成本可以跨越几个数量级。我们使用两种方法解决了网络模型选择问题的问题。首先，我们调整了九种功能选择方法来说明功能成本。我们为两类网络模型显示，可以通过两个数量级降低成本，而不会极大地影响分类精度（正确识别的模型的比例）。其次，我们使用具有较小网络的Pilot模拟选择了功能。这种方法将计算成本降低了50倍，而不会影响分类精度。为了证明我们的方法的实用性，我们将其应用于三个不同的酵母蛋白相互作用网络，并确定了最合适的重复差异模型。

学习将模型分布与观察到的数据区分开来是统计和机器学习中的一个基本问题，而高维数据仍然是这些问题的挑战性环境。量化概率分布差异的指标（例如Stein差异）在高维度的统计测试中起重要作用。在本文中，我们考虑了一个希望区分未知概率分布和名义模型分布的数据的设置。虽然最近的研究表明，最佳$ l^2 $ regularized Stein评论家等于两个概率分布的分数函数的差异，最多是乘法常数，但我们研究了$ l^2 $正则化的作用，训练神经网络时差异评论家功能。由训练神经网络的神经切线内核理论的激励，我们开发了一种新的分期程序，用于训练时间的正则化重量。这利用了早期培训的优势，同时还可以延迟过度拟合。从理论上讲，我们将训练动态与大的正则重量与在早期培训时间的“懒惰训练”制度的内核回归优化相关联。在模拟的高维分布漂移数据和评估图像数据的生成模型的应用中，证明了分期$ l^2 $正则化的好处。

在监督学习中，培训和测试数据集通常从不同的分布中采样。因此需要域改性技术。当域才因特征边际分布而不同时，协变速适配会产生良好的泛化性能。 Covariate换档适应通常使用重要性加权实施，这可能根据常见智慧而失败，由于较小的有效样本尺寸（ESS）。以前的研究认为，这种情况在高维设置中更常见。然而，考虑到协变转变适应的背景，在监督学习中，如何在监督学习方面与效率有效，维度和模型性能/泛化是多么难以置信。因此，主要挑战是呈现连接这些点的统一理论。因此，在本文中，我们专注于构建连接ESS，数据维度和泛化在协变速改编的背景下的统一视图。此外，我们还证明了减少量度或特征选择如何增加ESS，并认为我们的结果在协会变化适应之前支持维度减少，作为一种良好的做法。

这是一门专门针对STEM学生开发的介绍性机器学习课程。我们的目标是为有兴趣的读者提供基础知识，以在自己的项目中使用机器学习，并将自己熟悉术语作为进一步阅读相关文献的基础。在这些讲义中，我们讨论受监督，无监督和强化学习。注释从没有神经网络的机器学习方法的说明开始，例如原理分析，T-SNE，聚类以及线性回归和线性分类器。我们继续介绍基本和先进的神经网络结构，例如密集的进料和常规神经网络，经常性的神经网络，受限的玻尔兹曼机器，（变性）自动编码器，生成的对抗性网络。讨论了潜在空间表示的解释性问题，并使用梦和对抗性攻击的例子。最后一部分致力于加强学习，我们在其中介绍了价值功能和政策学习的基本概念。

差异隐私（DP）是保留隐私的基本技术。有发现，用于隐私保留的大型模型比较较小的模型更糟糕（例如，RESET50比RENET18更糟糕）。为了更好地理解这种现象，我们从泛化的观点来看高维DP学习。从理论上讲，对于简单的高斯模型具有甚至小的DP噪声，如果维度足够大，则分类错误可以像随机猜测一样糟糕。然后，我们提出了一个特征选择方法，以减少模型的大小，基于新的指标，它交易分类准确性和隐私保留。实验对真实数据支持我们的理论结果，并证明了所提出的方法的优势。

在本文中，正在研究精神任务 - 根脑 - 计算机接口（BCI）的分类，因为这些系统是BCI中的主要调查领域，因为这些系统可以增强具有严重残疾人的人们的生命。 BCI模型的性能主要取决于通过多个通道获得的特征向量的大小。在心理任务分类的情况下，培训样本的可用性最小。通常，特征选择用于通过摆脱无关紧要和多余的功能来增加心理任务分类的比率。本文提出了一种为精神任务分类选择相关和非冗余频谱特征的方法。这可以通过使用四个非常已知的多变量特征选择方法VIZ，BHATTACHARYA的距离，散射矩阵的比率，线性回归和最小冗余和最大相关性。这项工作还涉及对心理任务分类的多元和单变量特征选择的比较分析。在应用上述方法后，研究结果表明了精神任务分类的学习模型的性能的大量改进。此外，通过执行稳健的排名算法和弗里德曼的统计测试来认识所提出的方法的功效，以找到最佳组合并比较功率谱密度和特征选择方法的不同组合。

Neural networks have achieved impressive results on many technological and scientific tasks. Yet, their empirical successes have outpaced our fundamental understanding of their structure and function. By identifying mechanisms driving the successes of neural networks, we can provide principled approaches for improving neural network performance and develop simple and effective alternatives. In this work, we isolate the key mechanism driving feature learning in fully connected neural networks by connecting neural feature learning to the average gradient outer product. We subsequently leverage this mechanism to design \textit{Recursive Feature Machines} (RFMs), which are kernel machines that learn features. We show that RFMs (1) accurately capture features learned by deep fully connected neural networks, (2) close the gap between kernel machines and fully connected networks, and (3) surpass a broad spectrum of models including neural networks on tabular data. Furthermore, we demonstrate that RFMs shed light on recently observed deep learning phenomena such as grokking, lottery tickets, simplicity biases, and spurious features. We provide a Python implementation to make our method broadly accessible [\href{https://github.com/aradha/recursive_feature_machines}{GitHub}].

机器学习对图像和视频数据的应用通常会产生高维特征空间。有效的功能选择技术确定了一个判别特征子空间，该子空间可降低计算和建模成本，而绩效很少。提出了一种新颖的监督功能选择方法，用于这项工作中的机器学习决策。所得测试分别称为分类和回归问题的判别功能测试（DFT）和相关特征测试（RFT）。 DFT和RFT程序进行了详细描述。此外，我们将DFT和RFT的有效性与几种经典特征选择方法进行了比较。为此，我们使用LENET-5为MNIST和时尚流行数据集获得的深度功能作为说明性示例。其他具有手工制作和基因表达功能的数据集也包括用于性能评估。实验结果表明，DFT和RFT可以在保持较高的决策绩效的同时明确，稳健地选择较低的尺寸特征子空间。

随机特征方法已广泛用于大型机器学习中的内核近似。最近的一些研究已经探索了数据相关的功能，修改随机特征的随机oracle进行采样。虽然该领域的提出技术提高了近似值，但它们通常在单个学习任务上验证它们的适用性。在本文中，我们提出了一种特定于任务的评分规则，用于选择随机特征，该规则可以用于不同的应用程序具有一些调整。我们限制了我们对规范相关性分析（CCA）的注意，我们提供了一种新颖的，原则性指南，用于找到最大化规范相关性的得分函数。我们证明了这种方法，称为ORCCA，可以胜过（期望）具有默认内核的相应内核CCA。数值实验验证ORCCA明显优于CCA任务中的其他近似技术。

疾病预测是医学应用中的知名分类问题。 GCNS提供了一个强大的工具，用于分析患者相对于彼此的特征。这可以通过将问题建模作为图形节点分类任务来实现，其中每个节点是患者。由于这种医学数据集的性质，类别不平衡是疾病预测领域的普遍存在问题，其中类的分布是歪曲的。当数据中存在类别不平衡时，现有的基于图形的分类器倾向于偏向于主要类别并忽略小类中的样本。另一方面，所有患者中罕见阳性病例的正确诊断在医疗保健系统中至关重要。在传统方法中，通过将适当的权重分配给丢失函数中的类别来解决这种不平衡，这仍然依赖于对异常值敏感的权重的相对值，并且在某些情况下偏向于小类（ES）。在本文中，我们提出了一种重加权的对抗性图形卷积网络（RA-GCN），以防止基于图形的分类器强调任何特定类的样本。这是通过将基于图形的神经网络与每个类相关联来完成的，这负责加权类样本并改变分类器的每个样本的重要性。因此，分类器自身调节并确定类之间的边界，更加关注重要样本。分类器和加权网络的参数受到侵犯方法训练。我们在合成和三个公共医疗数据集上显示实验。与最近的方法相比，ra-gcn展示了与最近的方法在所有三个数据集上识别患者状态的方法相比。详细分析作为合成数据集的定量和定性实验提供。

在本文中，我们提出了一种用于几个样本监督功能选择（FS）的新方法。我们的方法首先使用捕获多功能关联的内核来了解每个类的特征空间的歧视。然后，基于Riemannian几何形状，计算复合内核，从而提取了学习的特征关联之间的差异。最后，提出了基于光谱分析的FS分数。考虑多功能关联使我们的方法逐个设计。反过来，这允许提取特征基础的隐藏歧管，并避免过度拟合，从而促进少量样本FS。我们展示了我们方法在说明性示例和几个基准测试方面的功效，在其中我们的方法在选择与竞争方法相比选择信息性特征的准确性更高。此外，我们表明，当应用于测试数据时，我们的FS会导致改进的分类和更好的概括。

Selecting subsets of features that differentiate between two conditions is a key task in a broad range of scientific domains. In many applications, the features of interest form clusters with similar effects on the data at hand. To recover such clusters we develop DiSC, a data-driven approach for detecting groups of features that differentiate between conditions. For each condition, we construct a graph whose nodes correspond to the features and whose weights are functions of the similarity between them for that condition. We then apply a spectral approach to compute subsets of nodes whose connectivity differs significantly between the condition-specific feature graphs. On the theoretical front, we analyze our approach with a toy example based on the stochastic block model. We evaluate DiSC on a variety of datasets, including MNIST, hyperspectral imaging, simulated scRNA-seq and task fMRI, and demonstrate that DiSC uncovers features that better differentiate between conditions compared to competing methods.