随着超维数据的大数据分析的最新激增，对机器学习应用程序的降低技术的兴趣重新引起了人们的兴趣。为了使这些方法提高绩效提高并了解基础数据，需要确定适当的指标。此步骤通常被忽略，通常会选择指标，而无需考虑数据的基本几何形状。在本文中，我们提出了一种将弹性指标纳入T分布的随机邻居嵌入（T-SNE）和均匀的歧管近似和投影（UMAP）的方法。我们将方法应用于功能数据，该功能数据以旋转，参数化和比例为特征。如果这些属性被忽略，它们可能会导致不正确的分析和分类性能差。通过我们的方法，我们证明了三个基准数据集（MPEG-7，CAR数据集和Themoor的平面数据集）的形状识别任务的提高，我们分别获得了0.77、0.95和1.00 F1分数。

We present a new technique called "t-SNE" that visualizes high-dimensional data by giving each datapoint a location in a two or three-dimensional map. The technique is a variation of Stochastic Neighbor Embedding (Hinton and Roweis, 2002) that is much easier to optimize, and produces significantly better visualizations by reducing the tendency to crowd points together in the center of the map. t-SNE is better than existing techniques at creating a single map that reveals structure at many different scales. This is particularly important for high-dimensional data that lie on several different, but related, low-dimensional manifolds, such as images of objects from multiple classes seen from multiple viewpoints. For visualizing the structure of very large data sets, we show how t-SNE can use random walks on neighborhood graphs to allow the implicit structure of all of the data to influence the way in which a subset of the data is displayed. We illustrate the performance of t-SNE on a wide variety of data sets and compare it with many other non-parametric visualization techniques, including Sammon mapping, Isomap, and Locally Linear Embedding. The visualizations produced by t-SNE are significantly better than those produced by the other techniques on almost all of the data sets.

最近有一项激烈的活动在嵌入非常高维和非线性数据结构的嵌入中，其中大部分在数据科学和机器学习文献中。我们分四部分调查这项活动。在第一部分中，我们涵盖了非线性方法，例如主曲线，多维缩放，局部线性方法，ISOMAP，基于图形的方法和扩散映射，基于内核的方法和随机投影。第二部分与拓扑嵌入方法有关，特别是将拓扑特性映射到持久图和映射器算法中。具有巨大增长的另一种类型的数据集是非常高维网络数据。第三部分中考虑的任务是如何将此类数据嵌入中等维度的向量空间中，以使数据适合传统技术，例如群集和分类技术。可以说，这是算法机器学习方法与统计建模（所谓的随机块建模）之间的对比度。在论文中，我们讨论了两种方法的利弊。调查的最后一部分涉及嵌入$ \ mathbb {r}^ 2 $，即可视化中。提出了三种方法：基于第一部分，第二和第三部分中的方法，$ t $ -sne，UMAP和大节。在两个模拟数据集上进行了说明和比较。一个由嘈杂的ranunculoid曲线组成的三胞胎，另一个由随机块模型和两种类型的节点产生的复杂性的网络组成。

大多数维度降低方法采用频域表示，从基质对角线化获得，并且对于具有较高固有维度的大型数据集可能不会有效。为了应对这一挑战，相关的聚类和投影（CCP）提供了一种新的数据域策略，不需要解决任何矩阵。CCP将高维特征分配到相关的群集中，然后根据样本相关性将每个集群中的特征分为一个一维表示。引入了残留相似性（R-S）分数和索引，Riemannian歧管中的数据形状以及基于代数拓扑的持久性Laplacian进行可视化和分析。建议的方法通过与各种机器学习算法相关的基准数据集验证。

我们讨论集群分析的拓扑方面，并表明在聚类之前推断数据集的拓扑结构可以大大增强群集检测：理论论证和经验证据表明，聚类嵌入向量，代表数据歧管的结构，而不是观察到的特征矢量他们自己是非常有益的。为了证明，我们将流形学习方法与基于密度的聚类方法DBSCAN结合了歧管学习方法UMAP。合成和真实数据结果表明，这既简化和改善了多种低维问题，包括密度变化和/或纠缠形状的群集。我们的方法简化了聚类，因为拓扑预处理始终降低DBSCAN的参数灵敏度。然后，用dbscan聚类所得的嵌入可以超过诸如spectacl和clustergan之类的复杂方法。最后，我们的调查表明，聚类中的关键问题似乎不是数据的标称维度或其中包含多少不相关的功能，而是\ textIt {可分离}群集在环境观察空间中的\ textit {可分离}，它们嵌入了它们中。 ，通常是数据特征定义的（高维）欧几里得空间。我们的方法之所以成功，是因为我们将数据投影到更合适的空间后，从某种意义上说，我们执行了群集分析。

非线性维度降低可以通过\纺织{歧管学习}方法来执行，例如随机邻居嵌入（SNE），局部线性嵌入（LLE）和等距特征映射（ISOMAP）。这些方法旨在产生两个或三个潜在嵌入的嵌入，主要用于可视化可理解的表示数据。此稿件提出了学生的T分布式SNE（T-SNE），LLE和ISOMAP的扩展，以实现多维数量和多视图数据的可视化。多视图数据是指从相同样本生成的多种类型的数据。与通过单独可视化所获得的数据，所提出的多视图方法提供了比较通过可视化所获得的多个数据的更可理解的预测。通常可视化用于识别样本内的底层模式。通过将获得的低维嵌入从多视图歧管中的方法结合到K-Means聚类算法中，示出了准确地识别出样品的簇。通过对实际和合成数据的分析，发现所提出的多SNE方法具有最佳性能。我们进一步说明了多SNE方法对分析多OMICS单细胞数据的适用性，目的是在与健康和疾病相关的生物组织中可视化和识别细胞异质性和细胞类型。

由于更高的维度和困难的班级，机器学习应用中的可用数据变得越来越复杂。根据类重叠，可分离或边界形状，以及组形态，存在各种各样的方法来测量标记数据的复杂性。许多技术可以转换数据才能找到更好的功能，但很少专注于具体降低数据复杂性。大多数数据转换方法主要是治疗维度方面，撇开类标签中的可用信息，当类别在某种方式复杂时，可以有用。本文提出了一种基于AutoEncoder的复杂性减少方法，使用类标签来告知损耗函数关于所生成的变量的充分性。这导致了三个不同的新功能学习者，得分手，斯卡尔和切片机。它们基于Fisher的判别比率，Kullback-Leibler发散和最小二乘支持向量机。它们可以作为二进制分类问题应用作为预处理阶段。跨越27个数据集和一系列复杂性和分类指标的彻底实验表明，课堂上通知的AutoEncoders执行优于4个其他流行的无监督功能提取技术，特别是当最终目标使用数据进行分类任务时。

In this paper we propose a novel method for learning a Mahalanobis distance measure to be used in the KNN classification algorithm. The algorithm directly maximizes a stochastic variant of the leave-one-out KNN score on the training set. It can also learn a low-dimensional linear embedding of labeled data that can be used for data visualization and fast classification. Unlike other methods, our classification model is non-parametric, making no assumptions about the shape of the class distributions or the boundaries between them. The performance of the method is demonstrated on several data sets, both for metric learning and linear dimensionality reduction.

The accuracy of k-nearest neighbor (kNN) classification depends significantly on the metric used to compute distances between different examples. In this paper, we show how to learn a Mahalanobis distance metric for kNN classification from labeled examples. The Mahalanobis metric can equivalently be viewed as a global linear transformation of the input space that precedes kNN classification using Euclidean distances. In our approach, the metric is trained with the goal that the k-nearest neighbors always belong to the same class while examples from different classes are separated by a large margin. As in support vector machines (SVMs), the margin criterion leads to a convex optimization based on the hinge loss. Unlike learning in SVMs, however, our approach requires no modification or extension for problems in multiway (as opposed to binary) classification. In our framework, the Mahalanobis distance metric is obtained as the solution to a semidefinite program. On several data sets of varying size and difficulty, we find that metrics trained in this way lead to significant improvements in kNN classification. Sometimes these results can be further improved by clustering the training examples and learning an individual metric within each cluster. We show how to learn and combine these local metrics in a globally integrated manner.

将高维数据嵌入到低维歧管上具有理论和实用的值。在本文中，我们建议将深神经网络（DNN）与数学引导的嵌入规则相结合，以进行高维数据嵌入的规则。我们介绍了一个通用的深度嵌入网络（DEN）框架，它能够从高维空间到低维空间的参数映射，由诸如Kullback-Leibler（KL）发散最小化的良好的目标引导。我们进一步提出了一种递归策略，称为深度递归嵌入（DRE），以利用潜在的数据表示来提升嵌入性能。我们举例说明DRE通过不同的架构和丢失功能的灵活性，并对我们的方法进行基准测试，以及针对两个最受欢迎的嵌入方法，即T分布式随机邻居嵌入（T-SNE）和均匀歧管近似和投影（UMAP）。所提出的DRE方法可以将样品超出数据和缩放到极大的数据集。与其他最先进的嵌入方法相比，一系列公共数据集的实验表明，在本地和全球结构保护方面提高了嵌入性能。

双曲线空间可以嵌入树度量，其失真几乎没有失真，是用于建模实际数据和语义的层次结构的理想性质。虽然高维嵌入式通常会导致更好的表示，但由于非琐碎的优化以及高维双曲数据缺乏可视化，大多数双曲模型利用低维嵌入式。我们提出了CO-SNE，将欧几里德空间可视化工具T-SNE延伸到双曲线空间。像T-SNE一样，它将数据点之间的距离转换为联合概率，并尝试最小化高维数据的联合概率之间的kullback-leibler分歧$ x $和低维嵌入$ y $。然而，与欧几里德空间不同，双曲线空间不均匀：体积可能在远离原点的位置包含更多点。因此，CO-SNE为$ x $和hyberbolic \ Underline {c} auchy而不是t-sne的学生的t分布，而不是$ y $，它还试图将$ x $的单个距离保存到\下划线{o} RIGIN $ Y $。我们将Co-SNE施加到高维双曲生物数据以及无监督的双曲线表现。我们的结果表明，CO-SNE将高维色双曲数据降低到低维空间，而不会失去双曲线特性，显着优于PCA，T-SNE，UMAP和HOROPCA等流行可视化工具，其最后一个专门设计用于双曲数据。

封闭曲线的建模和不确定性量化是形状分析领域的重要问题，并且可以对随后的统计任务产生重大影响。这些任务中的许多涉及封闭曲线的集合，这些曲线通常在多个层面上表现出结构相似性。以有效融合这种曲线间依赖性的方式对多个封闭曲线进行建模仍然是一个具有挑战性的问题。在这项工作中，我们提出并研究了一个多数输出（又称多输出），多维高斯流程建模框架。我们说明了提出的方法学进步，并在几个曲线和形状相关的任务上证明了有意义的不确定性量化的实用性。这种基于模型的方法不仅解决了用内核构造对封闭曲线（及其形状）的推断问题，而且还为通常对功能对象的多层依赖性的非参数建模打开了门。

尺寸数据减少方法是探索和可视化大数据集的基础。无监督数据探索的基本要求是简单，灵活性和可扩展性。但是，当前方法显示复杂的参数化和强大的计算限制，在跨尺度探索大型数据结构时。在这里，我们专注于T-SNE算法，并显示具有单个控制参数的简化参数设置，即困惑，可以有效地平衡本地和全局数据结构可视化。我们还设计了一个Chunk \＆Mix协议，以有效地并行化T-SNE，并探索比目前可用的多种尺度范围的数据结构。我们的BH-TSNE的并行版本，即PT-SNE，融合到良好的全球嵌入，尽管块\和混合协议增加了很少的噪声并降低了当地规模的准确性。尽管如此，我们表明简单的后处理可以有效地恢复本地尺度可视化，而不会在全球范围内损失精度。我们预计相同的方法可以应用于更快的嵌入算法，而不是BH-TSNE，如Fit-Sne或UMAP，因此扩展了最先进的，并导致更全面的数据结构可视化和分析。

在机器学习中调用多种假设需要了解歧管的几何形状和维度，理论决定了需要多少样本。但是，在应用程序数据中，采样可能不均匀，歧管属性是未知的，并且（可能）非纯化；这意味着社区必须适应本地结构。我们介绍了一种用于推断相似性内核提供数据的自适应邻域的算法。从本地保守的邻域（Gabriel）图开始，我们根据加权对应物进行迭代率稀疏。在每个步骤中，线性程序在全球范围内产生最小的社区，并且体积统计数据揭示了邻居离群值可能违反了歧管几何形状。我们将自适应邻域应用于非线性维度降低，地球计算和维度估计。与标准算法的比较，例如使用K-Nearest邻居，证明了它们的实用性。

异常检测或异常检测是数据分析中的重要任务。我们从几何学角度讨论问题，并提供一个框架来利用数据集的度量结构。我们的方法基于多种假设，即，所观察到的名义上高维数据位于较低的维歧管上，并且可以通过多种学习方法来推断这种内在结构。我们表明，利用这种结构可显着改善高维数据中外围观测值的检测。我们还基于数据流形的几何形状和拓扑结构，在数学上精确，精确且在结构异常值之间进行了新颖的区别，这是一个新颖的，并且阐明了整个文献中普遍存在的概念模棱两可。我们的实验将功能数据集中在一类结构化的高维数据上，但是我们提出的框架是完全一般的，我们包括图像和图形数据应用程序。我们的结果表明，可以使用歧管学习方法检测和可视化高维和非尾数据的离群结构，并使用应用于歧管嵌入向量的标准离群评分方法进行量化。

了解生物和人造网络的运作仍然是一个艰难而重要的挑战。为了确定一般原则，研究人员越来越有兴趣测量培训的大量网络，或者在培训或生物学地适应类似的任务。现在需要一种标准化的分析工具来确定网络级协变量 - 例如架构，解剖脑区和模型生物 - 影响神经表示（隐藏层激活）。在这里，我们通过定义量化代表性异化的广泛的公制空间，为这些分析提供严格的基础。使用本框架，我们根据规范相关分析修改现有的代表性相似度量，以满足三角形不等式，制定致扫描层中的感应偏差的新型度量，并识别使网络表示能够结合到基本上的近似的欧几里德嵌入物。货架机学习方法。我们展示了来自生物学（Allen Institute脑观测所）和深度学习（NAS-BENCH-101）的大规模数据集的这些方法。在这样做时，我们识别在解剖特征和模型性能方面可解释的神经表现之间的关系。

我们介绍了一类小说的预计方法，对实际线上的概率分布数据集进行统计分析，具有2-Wassersein指标。我们特别关注主成分分析（PCA）和回归。为了定义这些模型，我们通过将数据映射到合适的线性空间并使用度量投影运算符来限制Wassersein空间中的结果来利用与其弱利米结构密切相关的Wasserstein空间的表示。通过仔细选择切线，我们能够推出快速的经验方法，利用受约束的B样条近似。作为我们方法的副产品，我们还能够为PCA的PCA进行更快的例程来获得分布。通过仿真研究，我们将我们的方法与先前提出的方法进行比较，表明我们预计的PCA具有类似的性能，即使在拼盘下也是极其灵活的。研究了模型的若干理论性质，并证明了渐近一致性。讨论了两个真实世界应用于美国和风速预测的Covid-19死亡率。

对于要表示为歧管上点的2D对象的图像和形状等数据结构，这是常见的。从此类数据中产生消毒的差异私有估计的机制的实用性与它与空间的基础结构和几何形状的兼容性密切相关。特别是，如最近所示，拉普拉斯机理在正面弯曲的歧管上的效用（例如肯德尔的2D形状空间）受到曲率的显着影响。关注歧管上的点样品样本的Fr \'echet平均值的问题，我们利用均值的表征为由平方距离总和组成的目标函数的最小化器，并开发了k-norm梯度机制在Riemannian歧管上，有利于产生接近目标函数零的梯度的值。对于正面弯曲的歧管的情况，我们描述了如何使用平方距离函数的梯度比Laplace机制更好地控制灵敏度，并在数值上在callosa的形状数据集上进行数值演示。还提出了机理在球体上的实用性的进一步说明以及对称正定矩阵的多种示意图。

我们将最初在多维扩展和降低多元数据的降低领域发展为功能设置。我们专注于经典缩放和ISOMAP - 在这些领域中起重要作用的原型方法 - 并在功能数据分析的背景下展示它们的使用。在此过程中，我们强调了环境公制扮演的关键作用。

In this paper, we propose Wasserstein Isometric Mapping (Wassmap), a nonlinear dimensionality reduction technique that provides solutions to some drawbacks in existing global nonlinear dimensionality reduction algorithms in imaging applications. Wassmap represents images via probability measures in Wasserstein space, then uses pairwise Wasserstein distances between the associated measures to produce a low-dimensional, approximately isometric embedding. We show that the algorithm is able to exactly recover parameters of some image manifolds including those generated by translations or dilations of a fixed generating measure. Additionally, we show that a discrete version of the algorithm retrieves parameters from manifolds generated from discrete measures by providing a theoretical bridge to transfer recovery results from functional data to discrete data. Testing of the proposed algorithms on various image data manifolds show that Wassmap yields good embeddings compared with other global and local techniques.