t-SNE remains one of the most popular embedding techniques for visualizing high-dimensional data. Most standard packages of t-SNE, such as scikit-learn, use the Barnes-Hut t-SNE (BH t-SNE) algorithm for large datasets. However, existing CPU implementations of this algorithm are inefficient. In this work, we accelerate the BH t-SNE on CPUs via cache optimizations, SIMD, parallelizing sequential steps, and improving parallelization of multithreaded steps. Our implementation (Acc-t-SNE) is up to 261x and 4x faster than scikit-learn and the state-of-the-art BH t-SNE implementation from daal4py, respectively, on a 32-core Intel(R) Icelake cloud instance.
translated by 谷歌翻译
We present a new technique called "t-SNE" that visualizes high-dimensional data by giving each datapoint a location in a two or three-dimensional map. The technique is a variation of Stochastic Neighbor Embedding (Hinton and Roweis, 2002) that is much easier to optimize, and produces significantly better visualizations by reducing the tendency to crowd points together in the center of the map. t-SNE is better than existing techniques at creating a single map that reveals structure at many different scales. This is particularly important for high-dimensional data that lie on several different, but related, low-dimensional manifolds, such as images of objects from multiple classes seen from multiple viewpoints. For visualizing the structure of very large data sets, we show how t-SNE can use random walks on neighborhood graphs to allow the implicit structure of all of the data to influence the way in which a subset of the data is displayed. We illustrate the performance of t-SNE on a wide variety of data sets and compare it with many other non-parametric visualization techniques, including Sammon mapping, Isomap, and Locally Linear Embedding. The visualizations produced by t-SNE are significantly better than those produced by the other techniques on almost all of the data sets.
translated by 谷歌翻译
尺寸数据减少方法是探索和可视化大数据集的基础。无监督数据探索的基本要求是简单,灵活性和可扩展性。但是,当前方法显示复杂的参数化和强大的计算限制,在跨尺度探索大型数据结构时。在这里,我们专注于T-SNE算法,并显示具有单个控制参数的简化参数设置,即困惑,可以有效地平衡本地和全局数据结构可视化。我们还设计了一个Chunk \&Mix协议,以有效地并行化T-SNE,并探索比目前可用的多种尺度范围的数据结构。我们的BH-TSNE的并行版本,即PT-SNE,融合到良好的全球嵌入,尽管块\和混合协议增加了很少的噪声并降低了当地规模的准确性。尽管如此,我们表明简单的后处理可以有效地恢复本地尺度可视化,而不会在全球范围内损失精度。我们预计相同的方法可以应用于更快的嵌入算法,而不是BH-TSNE,如Fit-Sne或UMAP,因此扩展了最先进的,并导致更全面的数据结构可视化和分析。
translated by 谷歌翻译
快速可靠的K-最近邻图算法比在许多数据处理技术中广泛使用,这比以往更重要。本文介绍了Wei Dong等人的启发式“NN-DESCENT”算法的运行时优化的C实现。对于L2距离度量。解释了各种实现优化,从而提高了低维和高维数据集的性能。优化以加快选择哪个DataPoint对来评估用于对低维数据集的影响距离。提出了一种利用NN-DESCENT的迭代性质来重新排序存储器中的数据的启发式,这是能够更好地利用局部性,从而改善运行时。对L2距离度量的限制允许使用阻塞距离评估,这显着提高了高维数据集的性能。结合优化产生了一种实现,这显着优于所有被考虑的数据集的广泛使用的NN-DESCEND。例如,流行的Mnist手写数字数据集上的运行时会减半。
translated by 谷歌翻译
TSNE和UMAP是两个最流行的降低算法,因为它们的速度和可解释的低维嵌入。但是,尽管已经尝试改善TSNE的计算复杂性,但现有方法无法以UMAP的速度获得TSNE嵌入。在这项工作中,我们表明,通过将两种方法组合为单一方法,这确实是可能的。我们从理论上和实验上评估了TSNE和UMAP算法中参数的完整空间,并观察到单个参数(归一化)负责在它们之间切换。反过来,这意味着可以切换大多数算法差异而不会影响嵌入。我们讨论了这对基于UMAP框架的几种理论主张的含义,以及如何将它们与现有的TSNE解释调和。基于我们的分析,我们提出了一种新的降低性降低算法GDR,该算法结合了先前来自TSNE和UMAP的不兼容技术,并可以通过更改归一化来复制任何一种算法的结果。作为进一步的优势,GDR比可用的UMAP方法更快地执行优化,因此比可用的TSNE方法快的数量级。我们的实施是使用传统的UMAP和TSNE库的插件,可以在github.com/andrew-draganov/gidr-dun上找到。
translated by 谷歌翻译
邻居Embeddings是一种使用$ k $ nn图来可视化复杂的高维数据集的方法。为了找到低维嵌入,这些算法将相邻对点之间的吸引力与所有点之间的排斥力相结合。这种算法的最受欢迎的例子之一是T-SNE。在这里,我们经验证明使用夸张参数改变T-SNE中的吸引力和排斥力之间的平衡产生了一种嵌入式,其特点是简单的折衷:更强的吸引力可以更好地代表连续的歧管结构,而更强排斥可以更好地代表离散的集群结构,并收益率较高$ K $ NN召回。我们发现Umap Embeddings对应于涉及吸引力的T-SNE;数学分析表明,这是因为UMAP采用的负采样优化策略强烈降低了有效的排斥。同样,Forceatlas2通常用于可视化发育​​单细胞转录组数据,产生与T-SNE相对应的嵌入,吸引力增加更多。在这个频谱的极端Lieglacian eigenmaps。我们的结果表明,许多突出的邻居嵌入算法可以放置在吸引力频谱上,并突出显示它们之间的固有折衷。
translated by 谷歌翻译
维数减少方法发现了巨大的应用程序作为不同科学领域的可视化工具。虽然存在许多不同的方法,但它们的性能通常不足以提供对许多当代数据集的快速深入了解,并且无监督的使用方式可防止用户利用数据集探​​索和微调可视化质量的细节方法。我们呈现开花,一种高性能半监督维度减少软件,用于具有数百万个单独的数据点的高维数据集的交互式用户可信可视化。 Blossom在GPU加速实施的EMBEDSOM算法的实现上,由几个基于地标的算法补充,用于将无监督模型学习算法与用户监督联系起来。我们展示了开花在现实数据集上的应用,在那里它有助于产生高质量的可视化,该可视化包含用户指定的布局并专注于某些功能。我们认为,半监督的维度减少将改善单细胞细胞谱系等科学领域的数据可视化可能性,并为数据集勘探和注释提供了新的方向的快速有效的基础方法。
translated by 谷歌翻译
训练机学习(ML)算法是一个计算密集型过程,由于反复访问大型培训数据集,经常会陷入内存。结果,以处理器为中心的系统(例如CPU,GPU)遭受了内存单元和处理单元之间的昂贵数据移动,这会消耗大量的能量和执行周期。以内存为中心的计算系统,即具有内存(PIM)功能,可以减轻此数据运动瓶颈。我们的目标是了解现代通用PIM体系结构加速ML培训的潜力。为此,我们(1)在现实世界通用PIM体系结构上实现了几种代表性的经典ML算法(即线性回归,逻辑回归,决策树,K-均值聚类),(2)严格评估并表征它们在准确性,性能和缩放方面以及(3)与CPU和GPU上的对应物实现相比。我们对具有2500多个PIM核心的真实内存计算系统的评估表明,当PIM硬件在必要的操作和数据类型上,通用PIM架构可以极大地加速内存的ML工作负载。例如,我们对决策树的PIM实施比8核Intel Xeon上的最先进的CPU版本$ 27 \ times $ $,并且比最先进的GPU快$ 1.34 \ times $ $ NVIDIA A100上的版本。我们在PIM上的K-Means聚类分别为$ 2.8 \ times $和$ 3.2 \ times $ $,分别是最先进的CPU和GPU版本。据我们所知,我们的工作是第一个评估现实世界中PIM架构的ML培训的工作。我们以关键的观察,外卖和建议结束,可以激发ML工作负载的用户,PIM架构的程序员以及未来以内存计算系统的硬件设计师和架构师。
translated by 谷歌翻译
将高维数据嵌入到低维歧管上具有理论和实用的值。在本文中,我们建议将深神经网络(DNN)与数学引导的嵌入规则相结合,以进行高维数据嵌入的规则。我们介绍了一个通用的深度嵌入网络(DEN)框架,它能够从高维空间到低维空间的参数映射,由诸如Kullback-Leibler(KL)发散最小化的良好的目标引导。我们进一步提出了一种递归策略,称为深度递归嵌入(DRE),以利用潜在的数据表示来提升嵌入性能。我们举例说明DRE通过不同的架构和丢失功能的灵活性,并对我们的方法进行基准测试,以及针对两个最受欢迎的嵌入方法,即T分布式随机邻居嵌入(T-SNE)和均匀歧管近似和投影(UMAP)。所提出的DRE方法可以将样品超出数据和缩放到极大的数据集。与其他最先进的嵌入方法相比,一系列公共数据集的实验表明,在本地和全球结构保护方面提高了嵌入性能。
translated by 谷歌翻译
我们提出了TOD,这是一个在分布式多GPU机器上进行有效且可扩展的离群检测(OD)的系统。 TOD背后的一个关键思想是将OD应用程序分解为基本张量代数操作。这种分解使TOD能够通过利用硬件和软件中深度学习基础架构的最新进展来加速OD计算。此外,要在有限内存的现代GPU上部署昂贵的OD算法,我们引入了两种关键技术。首先,可证明的量化可以加快OD计算的速度,并通过以较低的精度执行特定的浮点操作来减少其内存足迹,同时证明没有准确的损失。其次,为了利用多个GPU的汇总计算资源和内存能力,我们引入了自动批处理,该批次将OD计算分解为小批次,以便在多个GPU上并行执行。 TOD支持一套全面且多样化的OD算法,例如LOF,PCA和HBOS以及实用程序功能。对真实和合成OD数据集的广泛评估表明,TOD平均比领先的基于CPU的OD系统PYOD快11.6倍(最大加速度为38.9倍),并且比各种GPU底线要处理的数据集更大。值得注意的是,TOD可以直接整合其他OD算法,并提供了将经典OD算法与深度学习方法相结合的统一框架。这些组合产生了无限数量的OD方法,其中许多方法是新颖的,可以很容易地在TOD中进行原型。
translated by 谷歌翻译
在过去十年中,已经开发出新的深度学习(DL)算法,工作负载和硬件来解决各种问题。尽管工作量和硬件生态系统的进步,DL系统的编程方法是停滞不前的。 DL工作负载从DL库中的高度优化,特定于平台和不灵活的内核,或者在新颖的操作员的情况下,通过具有强大性能的DL框架基元建立参考实现。这项工作介绍了Tensor加工基元(TPP),一个编程抽象,用于高效的DL工作负载的高效,便携式实现。 TPPS定义了一组紧凑而多才多艺的2D张镜操作员(或虚拟张量ISA),随后可以用作构建块,以在高维张量上构建复杂的运算符。 TPP规范是平台 - 不可行的,因此通过TPPS表示的代码是便携式的,而TPP实现是高度优化的,并且特定于平台。我们展示了我们使用独立内核和端到端DL&HPC工作负载完全通过TPPS表达的方法的效力和生存性,这在多个平台上优于最先进的实现。
translated by 谷歌翻译
K-Nearest邻居搜索是各种应用程序中的基本任务之一,层次可导航的小世界(HNSW)最近在大规模云服务中引起了人们的注意,因为它在提供快速搜索的同时很容易扩展数据库。另一方面,将可编程逻辑和单个板上的可编程逻辑模块结合在一起的计算存储设备(CSD)变得流行,以解决现代计算系统的数据带宽瓶颈。在本文中,我们提出了一个计算存储平台,该平台可以加速基于SMARTSSSD CSD的基于图形的最近的邻居搜索算法。为此,我们更修改算法在硬件上更适合,并使用基于HLS和RTL的方法实现两种类型的加速器,并采用各种优化方法。此外,我们扩展了提议的平台,以拥有4个SMARTSSS,并应用图形并行性以进一步提高系统性能。结果,拟议的计算存储平台在258.66W的功率耗散时,SIFT1B数据集的每秒吞吐量达到75.59个查询,该数据集的功率耗散为12.83倍,比常规CPU和GPU和GPU更快,更快的10.43 x和10.43 x和24.33 x - 基于基于的服务器平台。借助多稳定的存储和自定义加速能力,我们相信所提出的计算存储平台是针对成本敏感的云数据中心的有前途的解决方案。
translated by 谷歌翻译
T分布式随机邻居嵌入(T-SNE)是复杂高维数据的良好的可视化方法。然而,原始T-SNE方法是非参数,随机的,并且通常不能很好地预测数据的全局结构,因为它强调当地社区。通过T-SNE作为参考,我们建议将深度神经网络(DNN)与数学接地的嵌入规则相结合,以进行高维数据嵌入的规则。我们首先介绍一个深嵌入的网络(DEN)框架,它可以从高维空间到低维嵌入的参数映射。 DEN具有灵活的架构,可容纳不同的输入数据(矢量,图像或张量)和损耗功能。为提高嵌入性能,建议递归培训策略利用书房提取的潜在陈述。最后,我们提出了一种两级损耗功能,将两个流行的嵌入方法的优点相结合,即T-SNE和均匀的歧管近似和投影(UMAP),以获得最佳可视化效果。我们将建议的方法命名为深度递归嵌入(DRE),其优化了递归培训策略和两级吊袜带的DEN。我们的实验表明,在各种公共数据库中,所提出的DRE方法对高维数据嵌入的优异性能。值得注意的是,我们的比较结果表明,我们拟议的DRE可能导致全球结构改善。
translated by 谷歌翻译
我们引入了统一的歧管近似值,具有两相优化(UMATO),这是一种降低尺寸(DR)技术,可改善UMAP,以更准确地捕获高维数据的全局结构。在Umato中,优化分为两个阶段,因此所得的嵌入可以可靠地描绘出全球结构,同时以足够的精度保留局部结构。在第一阶段,识别并预测集线器点以构建全局结构的骨骼布局。在第二阶段,剩余点添加到保存地方区域特征的嵌入中。通过定量实验,我们发现Umato(1)在保留全局结构方面优于广泛使用的DR技术,而(2)在代表局部结构方面产生了竞争精度。我们还验证了Umato在鲁棒性方面比各种初始化方法,时期数量和亚采样技术优选。
translated by 谷歌翻译
降低降低技术旨在代表低维空间中的高维数据,以提取隐藏和有用的信息,或者促进对数据的视觉理解和解释。但是,很少有人考虑高维数据中隐含的潜在群集信息。在本文中,我们提出了基于T-SNE的新的图形非线性降低方法Laptsne,这是将高维数据视为2D散点图的最佳技术之一。具体而言,Laptsne在学习保留从高维空间到低维空间的局部和全球结构时,利用图形laplacian的特征值信息缩小了低维嵌入中的潜在簇。解决提出的模型是不平凡的,因为归一化对称拉普拉斯的特征值是决策变量的函数。我们提供了一种具有收敛保证的大型最小化算法,以解决LAPTSNE的优化问题,并显示如何分析梯度,当考虑使用Laplacian兼容的目标进行优化时,这可能引起人们的广泛关注。我们通过与最先进的方法进行正式比较,在视觉和既定的定量测量中评估我们的方法。结果证明了我们方法比T-SNE和UMAP等基线的优越性。我们还将方法扩展到光谱聚类并建立一种准确且无参数的聚类算法,该算法为我们提供了实际应用中的高可靠性和便利性。
translated by 谷歌翻译
The accuracy of k-nearest neighbor (kNN) classification depends significantly on the metric used to compute distances between different examples. In this paper, we show how to learn a Mahalanobis distance metric for kNN classification from labeled examples. The Mahalanobis metric can equivalently be viewed as a global linear transformation of the input space that precedes kNN classification using Euclidean distances. In our approach, the metric is trained with the goal that the k-nearest neighbors always belong to the same class while examples from different classes are separated by a large margin. As in support vector machines (SVMs), the margin criterion leads to a convex optimization based on the hinge loss. Unlike learning in SVMs, however, our approach requires no modification or extension for problems in multiway (as opposed to binary) classification. In our framework, the Mahalanobis distance metric is obtained as the solution to a semidefinite program. On several data sets of varying size and difficulty, we find that metrics trained in this way lead to significant improvements in kNN classification. Sometimes these results can be further improved by clustering the training examples and learning an individual metric within each cluster. We show how to learn and combine these local metrics in a globally integrated manner.
translated by 谷歌翻译
双曲线空间可以嵌入树度量,其失真几乎没有失真,是用于建模实际数据和语义的层次结构的理想性质。虽然高维嵌入式通常会导致更好的表示,但由于非琐碎的优化以及高维双曲数据缺乏可视化,大多数双曲模型利用低维嵌入式。我们提出了CO-SNE,将欧几里德空间可视化工具T-SNE延伸到双曲线空间。像T-SNE一样,它将数据点之间的距离转换为联合概率,并尝试最小化高维数据的联合概率之间的kullback-leibler分歧$ x $和低维嵌入$ y $。然而,与欧几里德空间不同,双曲线空间不均匀:体积可能在远离原点的位置包含更多点。因此,CO-SNE为$ x $和hyberbolic \ Underline {c} auchy而不是t-sne的学生的t分布,而不是$ y $,它还试图将$ x $的单个距离保存到\下划线{o} RIGIN $ Y $。我们将Co-SNE施加到高维双曲生物数据以及无监督的双曲线表现。我们的结果表明,CO-SNE将高维色双曲数据降低到低维空间,而不会失去双曲线特性,显着优于PCA,T-SNE,UMAP和HOROPCA等流行可视化工具,其最后一个专门设计用于双曲数据。
translated by 谷歌翻译
大多数维度降低方法采用频域表示,从基质对角线化获得,并且对于具有较高固有维度的大型数据集可能不会有效。为了应对这一挑战,相关的聚类和投影(CCP)提供了一种新的数据域策略,不需要解决任何矩阵。CCP将高维特征分配到相关的群集中,然后根据样本相关性将每个集群中的特征分为一个一维表示。引入了残留相似性(R-S)分数和索引,Riemannian歧管中的数据形状以及基于代数拓扑的持久性Laplacian进行可视化和分析。建议的方法通过与各种机器学习算法相关的基准数据集验证。
translated by 谷歌翻译
维数减少(DR)技术有助于分析师理解高维空间的模式。这些技术通常由散点图表示,在不同的科学域中使用,并促进集群和数据样本之间的相似性分析。对于包含许多粒度的数据集或者当分析遵循信息可视化Mantra时,分层DR技术是最合适的方法,因为它们预先呈现了主要结构和需求的详细信息。然而,当前的分层DR技术并不完全能够解决文献问题,因为它们不保留跨分层级别的投影心理映射,或者不适合大多数数据类型。这项工作提出了Humap,一种新颖的等级维度减少技术,旨在灵活地保护本地和全球结构,并在整个分层勘探中保留心理贴图。我们提供了与现有的等级方法相比我们技术优势的经验证据,并显示了两种案例研究以证明其优势。
translated by 谷歌翻译
测量两个对象之间的相似性是将类似对象分组成群的现有聚类算法中的核心操作。本文介绍了一种名为Point-Set内核的新的相似性度量,其计算对象和一组对象之间的相似性。所提出的聚类程序利用这一新措施来表征从种子对象生长的每个集群。我们表明新的聚类程序既有效又高效,使其能够处理大规模数据集。相比之下,现有的聚类算法是有效的或有效的。与最先进的密度 - 峰值聚类和可扩展内核K-means聚类相比,我们表明该算法更有效,在申请数百万数据点的数据集时更快地运行数量级,在常用的计算机器。
translated by 谷歌翻译