这是一份有关降低光谱维度降低方法统一的教程和调查论文，通过半决赛编程（SDP）学习内核学习，最大方差展开（MVU）或半芬特嵌入（SDE）及其变体。我们首先解释了如何将频谱降低方法降低方法统一为具有不同内核的内核主成分分析（PCA）。在距离矩阵方面，该统一可以解释为内核的本本函数学习或表示。然后，由于光谱方法被统一为内核PCA，因此我们说，让我们学习将数据的歧管展开至最大方差的最佳内核。我们首先简要介绍了SDP的内核学习来进行转导任务。然后，我们详细解释MVU。解释了使用最近的邻居图，通过课堂展开，Fisher Criterion和通过彩色MVU进行的各种监督MVU。我们还使用本征函数和内核映射解释了MVU的样本外扩展。最后，我们介绍了MVU的其他变体，包括尊重嵌入，放松的MVU和Landmark MVU的动作，以获取大数据。

这是针对非线性维度和特征提取方法的教程和调查论文，该方法基于数据图的拉普拉斯语。我们首先介绍邻接矩阵，拉普拉斯矩阵的定义和拉普拉斯主义的解释。然后，我们涵盖图形和光谱聚类的切割，该谱图应用于数据子空间。解释了Laplacian征收及其样本外扩展的不同优化变体。此后，我们将保留投影的局部性及其内核变体作为拉普拉斯征本征的线性特殊案例。然后解释了图嵌入的版本，这些版本是Laplacian eigenmap和局部保留投影的广义版本。最后，引入了扩散图，这是基于数据图和随机步行的方法。

这是一篇详细的教程论文，解释了主要组件分析（PCA），监督PCA（SPCA），内核PCA和内核SPCA。我们从投影开始，具有特征分类的PCA，带有一个和多个投影方向的PCA，投影矩阵的属性，重建误差最小化，我们连接到自动编码器。然后，涵盖具有单数值分解，双PCA和核PCA的PCA。使用评分和希尔伯特·史克米特独立标准的SPCA。然后引入使用直接方法和双重方法的内核SPCA。我们涵盖了所有投影和重建培训和样本外数据的案例。最后，在Frey和AT＆T Face数据集上提供了一些模拟，以验证实践中的理论。

这是一篇详细的教程论文，解释了Fisher判别分析（FDA）和内核FDA。我们从投影和重建开始。然后，涵盖了一维FDA子空间。FDA中解释了两种和多类的散射。然后，我们讨论散点等级和子空间的维度。还为解释FDA提供了一个现实的示例。然后，讨论了散射的可能奇异性，以引入强大的FDA。还比较了PCA和FDA方向。我们还证明FDA和线性判别分析是等效的。Fisher Forest也被引入是Fisher子空间的集合，可用于处理具有不同特征和维度的数据。之后，对具有两级和多类的一维子空间解释了内核FDA。最后，在AT＆T Face数据集上进行了一些模拟，以说明FDA并将其与PCA进行比较。

最近有一项激烈的活动在嵌入非常高维和非线性数据结构的嵌入中，其中大部分在数据科学和机器学习文献中。我们分四部分调查这项活动。在第一部分中，我们涵盖了非线性方法，例如主曲线，多维缩放，局部线性方法，ISOMAP，基于图形的方法和扩散映射，基于内核的方法和随机投影。第二部分与拓扑嵌入方法有关，特别是将拓扑特性映射到持久图和映射器算法中。具有巨大增长的另一种类型的数据集是非常高维网络数据。第三部分中考虑的任务是如何将此类数据嵌入中等维度的向量空间中，以使数据适合传统技术，例如群集和分类技术。可以说，这是算法机器学习方法与统计建模（所谓的随机块建模）之间的对比度。在论文中，我们讨论了两种方法的利弊。调查的最后一部分涉及嵌入$ \ mathbb {r}^ 2 $，即可视化中。提出了三种方法：基于第一部分，第二和第三部分中的方法，$ t $ -sne，UMAP和大节。在两个模拟数据集上进行了说明和比较。一个由嘈杂的ranunculoid曲线组成的三胞胎，另一个由随机块模型和两种类型的节点产生的复杂性的网络组成。

在机器学习或统计中，通常希望减少高维空间$ \ mathbb {r} ^ d $的数据点样本的维度。本文介绍了一种维度还原方法，其中嵌入坐标是作为半定程序无限尺寸模拟的溶液获得的正半定核的特征向量。这种嵌入是自适应和非线性的。我们对学习内核的弱者和强烈的平滑假设讨论了这个问题。我们的方法的主要特点是在两种情况下存在嵌入坐标的样本延伸公式。该外推公式产生内核矩阵的延伸到数据相关的Mercer内核功能。我们的经验结果表明，与光谱嵌入方法相比，该嵌入方法对异常值的影响更加稳健。

随机邻居嵌入（SNE）是一种具有概率方法的多种学习和降低方法。在SNE中，每个点都被认为是所有其他点的邻居，并试图将这种概率保存在嵌入空间中。SNE认为在输入空间和嵌入空间中的概率都认为高斯分布。但是，T-SNE分别在这些空间中使用了Student-T和高斯分布。在本教程和调查论文中，我们解释了SNE，对称SNE，T-SNE（或Cauchy-Sne）和T-SNE具有一般自由度。我们还涵盖了这些方法的样本外扩展和加速度。

通过内核矩阵或图形laplacian矩阵代表数据点的光谱方法已成为无监督数据分析的主要工具。在许多应用程序场景中，可以通过神经网络嵌入的光谱嵌入可以在数据样本上进行训练，这为实现自动样本外扩展以及计算可扩展性提供了一种有希望的方法。在Spectralnet的原始论文中采用了这种方法（Shaham等人，2018年），我们称之为Specnet1。当前的论文引入了一种名为SpecNet2的新神经网络方法，以计算光谱嵌入，该方法优化了特征问题的等效目标，并删除了SpecNet1中的正交层。 SpecNet2还允许通过通过梯度公式跟踪每个数据点的邻居来分离图形亲和力矩阵的行采样和列。从理论上讲，我们证明了新的无正交物质目标的任何局部最小化均显示出领先的特征向量。此外，证明了使用基于批处理的梯度下降法的这种新的无正交目标的全局收敛。数值实验证明了在模拟数据和图像数据集上Specnet2的性能和计算效率的提高。

自我监督的学习（SSL）推测，投入和成对的积极关系足以学习有意义的表示。尽管SSL最近达到了一个里程碑：在许多模式下，胜过监督的方法\点，理论基础是有限的，特定于方法的，并且未能向从业者提供原则上的设计指南。在本文中，我们提出了一个统一的框架，这些框架是在光谱歧管学习的掌舵下，以解决这些局限性。通过这项研究的过程，我们将严格证明Vic​​reg，Simclr，Barlowtwins等。对应于诸如Laplacian eigenmaps，多维缩放等方面的同名光谱方法。然后，此统一将使我们能够获得（i）每种方法的闭合形式的最佳表示，（ii）每种方法的线性态度中的封闭形式的最佳网络参数，（iii）在期间使用的成对关系的影响对每个数量和下游任务性能的培训，以及最重要的是，（iv）分别针对全球和局部光谱嵌入方法的对比度和非对抗性方法之间的第一个理论桥梁，暗示了每种方法的益处和限制。例如，（i）如果成对关系与下游任务一致，则可以成功采用任何SSL方法并将恢复监督方法，但是在低数据状态下，Vicreg的不变性超参数应该很高； （ii）如果成对关系与下游任务未对准，则与SIMCLR或BARLOWTWINS相比，具有小型不变性高参数的VICREG。

在本文中，我们提出了一个新颖的子空间学习框架，用于一级分类。提出的框架以图形嵌入形式提出了问题。它包括先前提出的子空间一级技术作为特殊情况，并进一步了解这些技术实际优化了什么。该框架允许通过保留图表结合其他有意义的优化目标，并揭示光谱解决方案和基于光谱回归的解决方案作为先前基于梯度的技术的替代方案。我们将子空间学习框架与支持向量数据描述在子空间中应用，以制定图形包含的子空间支持向量数据描述。我们通过实验分析了新提出的不同变体的性能。我们证明了针对基准的性能以及最近提出的单级分类子空间学习方法。

In recent years, spectral clustering has become one of the most popular modern clustering algorithms. It is simple to implement, can be solved efficiently by standard linear algebra software, and very often outperforms traditional clustering algorithms such as the k-means algorithm. On the first glance spectral clustering appears slightly mysterious, and it is not obvious to see why it works at all and what it really does. The goal of this tutorial is to give some intuition on those questions. We describe different graph Laplacians and their basic properties, present the most common spectral clustering algorithms, and derive those algorithms from scratch by several different approaches. Advantages and disadvantages of the different spectral clustering algorithms are discussed.

We propose a family of learning algorithms based on a new form of regularization that allows us to exploit the geometry of the marginal distribution. We focus on a semi-supervised framework that incorporates labeled and unlabeled data in a general-purpose learner. Some transductive graph learning algorithms and standard methods including support vector machines and regularized least squares can be obtained as special cases. We use properties of reproducing kernel Hilbert spaces to prove new Representer theorems that provide theoretical basis for the algorithms. As a result (in contrast to purely graph-based approaches) we obtain a natural out-of-sample extension to novel examples and so are able to handle both transductive and truly semi-supervised settings. We present experimental evidence suggesting that our semi-supervised algorithms are able to use unlabeled data effectively. Finally we have a brief discussion of unsupervised and fully supervised learning within our general framework.

基于多维时间序列预测的歧管学习，我们解决了三层数值框架。在第一步，我们使用诸如局部线性嵌入和扩散图的非线性歧管学习算法将时间序列嵌入到降低的低维空间中。在第二步，我们在歧管中构建倒计阶回归模型，特别是多变量自回归（MVAR）和高斯过程回归（GPR）模型，以预测嵌入式动态。在最后一步，我们使用径向基函数插值和几何谐波将嵌入的时间序列抬回原始的高维空间。对于我们的插图，我们使用四组时间序列测试所提出的数值方案的预测性能：三种合成随机等于具有不同模型订单的线性和非线性随机模型的EEG信号，以及包含每日时间的一个真实数据集跨越时间段03 / 09/2001-29 / 10/2020的10个关键外汇汇率（外汇）系列。使用歧管学习，建模和提升方法的组合评估所提出的数值方案的预测性能。我们还提供与主成分分析算法以及天真随机步道模型的比较，以及培训的MVAR和GPR模型直接在高维空间中实现。

Data-driven neighborhood definitions and graph constructions are often used in machine learning and signal processing applications. k-nearest neighbor~(kNN) and $\epsilon$-neighborhood methods are among the most common methods used for neighborhood selection, due to their computational simplicity. However, the choice of parameters associated with these methods, such as k and $\epsilon$, is still ad hoc. We make two main contributions in this paper. First, we present an alternative view of neighborhood selection, where we show that neighborhood construction is equivalent to a sparse signal approximation problem. Second, we propose an algorithm, non-negative kernel regression~(NNK), for obtaining neighborhoods that lead to better sparse representation. NNK draws similarities to the orthogonal matching pursuit approach to signal representation and possesses desirable geometric and theoretical properties. Experiments demonstrate (i) the robustness of the NNK algorithm for neighborhood and graph construction, (ii) its ability to adapt the number of neighbors to the data properties, and (iii) its superior performance in local neighborhood and graph-based machine learning tasks.

The accuracy of k-nearest neighbor (kNN) classification depends significantly on the metric used to compute distances between different examples. In this paper, we show how to learn a Mahalanobis distance metric for kNN classification from labeled examples. The Mahalanobis metric can equivalently be viewed as a global linear transformation of the input space that precedes kNN classification using Euclidean distances. In our approach, the metric is trained with the goal that the k-nearest neighbors always belong to the same class while examples from different classes are separated by a large margin. As in support vector machines (SVMs), the margin criterion leads to a convex optimization based on the hinge loss. Unlike learning in SVMs, however, our approach requires no modification or extension for problems in multiway (as opposed to binary) classification. In our framework, the Mahalanobis distance metric is obtained as the solution to a semidefinite program. On several data sets of varying size and difficulty, we find that metrics trained in this way lead to significant improvements in kNN classification. Sometimes these results can be further improved by clustering the training examples and learning an individual metric within each cluster. We show how to learn and combine these local metrics in a globally integrated manner.

由于其数值益处增加及其坚实的数学背景，光谱聚类方法的非线性重构近来的关注。我们在$ p $ -norm中提出了一种新的直接多道谱聚类算法，以$ p \ in（1,2] $。计算图表的多个特征向量的问题$ p $ -laplacian，标准的非线性概括Graph Laplacian，被重用作为Grassmann歧管的无约束最小化问题。$ P $的价值以伪连续的方式减少，促进对应于最佳图形的稀疏解决方案载体作为$ P $接近。监测单调减少平衡图削减了我们从$ P $ -Levels获得的最佳可用解决方案的保证。我们展示了我们算法在各种人工测试案件中的算法的有效性和准确性。我们的数值和比较结果具有各种状态-Art聚类方法表明，所提出的方法在均衡的图形剪切度量和标签分配的准确性方面取得高质量的集群。此外，我们进行S面部图像和手写字符分类的束缚，以展示现实数据集中的适用性。

NYSTR \“ OM方法是提高内核方法可伸缩性的最流行技术之一。但是，它尚未与经典PCA一致的核PCA得出。在本文中，我们使用NyStr \”来得出核PCA。OM方法，从而提供了使内核PCA可扩展的少数可用选项之一。我们通过与完整方法相比，通过有限样本的置信度结合了经验重建误差，进一步研究其统计精度。该方法和绑定的行为通过在多个现实世界数据集上的计算机实验进行说明。作为该方法的应用，我们使用NyStr \“ Om方法表示内核主成分回归，作为NyStr \“ Om内核脊回归的替代方案，可用于使用核有效正规化回归。

基于相似性的聚类方法根据数据之间的成对相似性将数据分离为簇，而成对相似性对于它们的性能至关重要。在本文中，我们通过判别性相似性（CDS）}提出了{\ em聚类，这是一种新的方法，可以学习数据群集的区分性相似性。 CD从每个数据分区学习一个无监督的基于相似性的分类器，并通过最大程度地减少与数据分区关联的学习分类器的概括错误来搜索数据的最佳分区。通过通过Rademacher复杂性进行的概括分析，基于无监督相似性的分类器的概括误差表示为来自不同类别的数据之间的判别性相似性之和。事实证明，派生的判别性相似性也可以通过构成内核密度分类的综合平方误差引起。为了评估提出的判别性相似性的性能，我们提出了一种使用内核作为相似性函数的新聚类方法，即通过无监督的内核分类（CDSK）CD，其有效性通过实验结果证明。

学习遥感图像的歧管结构对于建模和理解过程是最重要的相关性，以及封装在减少一组信息特征中的高维度，以用于后续分类，回归或解密。歧管学习方法显示出优异的性能来处理高光谱图像（HSI）分析，但除非专门设计，否则它们不能提供明确的嵌入式地图，容易适用于采样超出数据。处理问题的常见假设是高维输入空间和（通常低）潜空间之间的转换是线性的。这是一种特别强烈的假设，特别是当由于数据的众所周知的非线性性质而处理高光谱图像时。为了解决这个问题，提出了一种基于高维模型表示（HDMR）的歧管学习方法，这使得能够将非线性嵌入功能呈现给潜伏空间的采样外部样本。将所提出的方法与其线性对应物一起进行比较，并在代表性齐谱图像的分类精度方面实现了有希望的性能。

我们提出了一个多路相似性的理论框架，与将实价数据建模为通过光谱嵌入聚类的超图。对于基于图形的光谱群集，通常，通过使用内核函数对成对相似性进行建模，将实值数据模拟为图。这是因为内核函数与图形切割具有理论连接。对于使用多路相似性比成对相似性更合适的问题，自然地将模型作为超图，即图形的概括。然而，尽管剪切幅度进行了充分研究，但尚未建立基于HyperGraph Cut的框架来模拟多路相似性。在本文中，我们通过利用内核函数的理论基础来制定多路相似性。我们展示了我们的配方和超图之间的理论联系，以两种方式削减了加权内核$ k $ -MEANS和热核，我们证明了我们的配方合理性。我们还为光谱聚类提供了快速算法。我们的算法在经验上比现有图和其他启发式建模方法显示出更好的性能。