处理聚类问题在数据统计数据统计，模式识别和图像处理中很重要。平均换档算法是一种公共无监督算法，广泛用于解决聚类问题。然而，平均移位算法受其巨额计算资源成本的限制。在以前的研究[10]中，我们提出了一种新型GPU加速的更快的平均移位算法，这大大加快了余弦嵌入的聚类问题。在本研究中，我们扩展并改进了以前的算法来处理欧几里德距离度量。不同于传统的基于GPU的平均移位算法，我们的算法采用新颖的种子选择和早期停止方法，这大大提高了计算速度并降低了GPU存储器消耗。在仿真测试中，在处理200k点聚类问题时，与基于最先进的GPU的平均换档算法相比，我们的算法达到了3次加速度，具有优化的GPU存储器消耗。此外，在本研究中，我们实现了一种用于更快的平均移位算法的即插即用模型，可以轻松地部署。 （即插即用型号可用：https://github.com/masqm/faster-mean-shift-euc）

这项工作提出了一种基于形态重建和启发式方法的聚集算法，称为K-Morphological集合（K-MS）。在最坏情况下，K-MS比CPU并行K-均值快，并且可以增强数据集的可视化以及非常不同的聚类。它也比对密度和形状（例如有丝分裂和三升）敏感的类似聚类方法更快。另外，K-MS是确定性的，具有最大簇的内在含义，可以为给定的输入样本和输入参数创建，与K-均值和其他聚类算法不同。换句话说，给定恒定的k，一个结构元素和数据集，k-ms会在不使用随机/伪随机函数的情况下产生K或更少的簇。最后，所提出的算法还提供了一种简单的手段，可以从图像或数据集中删除噪声。

从点云数据进行分割至关重要，例如遥感，移动机器人或自动驾驶汽车。但是，由3D范围传感器捕获的点云通常是稀疏且非结构化的，具有挑战性的有效分割。在本文中，我们提出了一个快速解决方案，以对云实例进行分割，并具有较小的计算需求。为此，我们提出了一种新颖的快速欧几里得聚类（FEC）算法，该算法在现有作品中使用的聚类方案上应用了一个方案。我们的方法在概念上是简单，易于实现的（C ++中的40行），并且在产生高质量的结果的同时，针对经典分割方法实现了两个大小。

训练机学习（ML）算法是一个计算密集型过程，由于反复访问大型培训数据集，经常会陷入内存。结果，以处理器为中心的系统（例如CPU，GPU）遭受了内存单元和处理单元之间的昂贵数据移动，这会消耗大量的能量和执行周期。以内存为中心的计算系统，即具有内存（PIM）功能，可以减轻此数据运动瓶颈。我们的目标是了解现代通用PIM体系结构加速ML培训的潜力。为此，我们（1）在现实世界通用PIM体系结构上实现了几种代表性的经典ML算法（即线性回归，逻辑回归，决策树，K-均值聚类），（2）严格评估并表征它们在准确性，性能和缩放方面以及（3）与CPU和GPU上的对应物实现相比。我们对具有2500多个PIM核心的真实内存计算系统的评估表明，当PIM硬件在必要的操作和数据类型上，通用PIM架构可以极大地加速内存的ML工作负载。例如，我们对决策树的PIM实施比8核Intel Xeon上的最先进的CPU版本$ 27 \ times $ $，并且比最先进的GPU快$ 1.34 \ times $ $ NVIDIA A100上的版本。我们在PIM上的K-Means聚类分别为$ 2.8 \ times $和$ 3.2 \ times $ $，分别是最先进的CPU和GPU版本。据我们所知，我们的工作是第一个评估现实世界中PIM架构的ML培训的工作。我们以关键的观察，外卖和建议结束，可以激发ML工作负载的用户，PIM架构的程序员以及未来以内存计算系统的硬件设计师和架构师。

测量两个对象之间的相似性是将类似对象分组成群的现有聚类算法中的核心操作。本文介绍了一种名为Point-Set内核的新的相似性度量，其计算对象和一组对象之间的相似性。所提出的聚类程序利用这一新措施来表征从种子对象生长的每个集群。我们表明新的聚类程序既有效又高效，使其能够处理大规模数据集。相比之下，现有的聚类算法是有效的或有效的。与最先进的密度 - 峰值聚类和可扩展内核K-means聚类相比，我们表明该算法更有效，在申请数百万数据点的数据集时更快地运行数量级，在常用的计算机器。

我们提出了TOD，这是一个在分布式多GPU机器上进行有效且可扩展的离群检测（OD）的系统。 TOD背后的一个关键思想是将OD应用程序分解为基本张量代数操作。这种分解使TOD能够通过利用硬件和软件中深度学习基础架构的最新进展来加速OD计算。此外，要在有限内存的现代GPU上部署昂贵的OD算法，我们引入了两种关键技术。首先，可证明的量化可以加快OD计算的速度，并通过以较低的精度执行特定的浮点操作来减少其内存足迹，同时证明没有准确的损失。其次，为了利用多个GPU的汇总计算资源和内存能力，我们引入了自动批处理，该批次将OD计算分解为小批次，以便在多个GPU上并行执行。 TOD支持一套全面且多样化的OD算法，例如LOF，PCA和HBOS以及实用程序功能。对真实和合成OD数据集的广泛评估表明，TOD平均比领先的基于CPU的OD系统PYOD快11.6倍（最大加速度为38.9倍），并且比各种GPU底线要处理的数据集更大。值得注意的是，TOD可以直接整合其他OD算法，并提供了将经典OD算法与深度学习方法相结合的统一框架。这些组合产生了无限数量的OD方法，其中许多方法是新颖的，可以很容易地在TOD中进行原型。

由于其简单性和实用性，密度峰值聚类已成为聚类算法的NOVA。但是，这是一个主要的缺点：由于其高计算复杂性，这是耗时的。在此，开发了稀疏搜索和K-D树的密度峰聚类算法来解决此问题。首先，通过使用k-d树来替换原始的全等级距离矩阵来计算稀疏距离矩阵，以加速局部密度的计算。其次，提出了一种稀疏的搜索策略，以加快与$ k $最近邻居的集合与由数据点组成的集合之间的相互分离的计算。此外，采用了决策值的二阶差异方法来自适应确定群集中心。最后，通过与其他六种最先进的聚类算法进行比较，在具有不同分布特性的数据集上进行实验。事实证明，该算法可以有效地将原始DPC的计算复杂性从$ O（n^2k）$降低到$ O（n（n^{1-1/k}+k））$。特别是对于较大的数据集，效率更加明显地提高。此外，聚类精度也在一定程度上提高了。因此，可以得出结论，新提出的算法的总体性能非常好。

图像分割的随机沃克方法是半自动图像分割的流行工具，尤其是在生物医学领域。但是，它的线性渐近运行时间和内存要求使应用于增加大小不切实际的3D数据集。我们提出了一个分层框架，据我们所知，这是克服这些随机沃克算法的限制并实现sublinear的运行时间和持续的内存复杂性的尝试。该框架的目的是 - 与基线​​方法相比，而不是改善细分质量，以使交互式分割在核心外数据集中成为可能。确认该方法的合成数据和CT-ORG数据集进行了定量评估，其中确认了算法运行时间的预期改进，同时确认了高分段质量。即使对于数百千兆字节的大小，增量（即互动更新）运行时间也已在标准PC上以秒为单位。在一个小案例研究中，证明了当前生物医学研究对大型现实世界的适用性。在广泛使用的卷渲染和处理软件Voreen（https://www.uni-muenster.de/voreen/）的5.2版5.2版中，介绍方法的实现公开可用。

The $k$-means algorithm is a very prevalent clustering method because of its simplicity, effectiveness, and speed, but its main disadvantage is its high sensitivity to the initial positions of the cluster centers. The global $k$-means is a deterministic algorithm proposed to tackle the random initialization problem of k-means but requires high computational cost. It partitions the data to $K$ clusters by solving all $k$-means sub-problems incrementally for $k=1,\ldots, K$. For each $k$ cluster problem, the method executes the $k$-means algorithm $N$ times, where $N$ is the number of data points. In this paper, we propose the global $k$-means$++$ clustering algorithm, which is an effective way of acquiring quality clustering solutions akin to those of global $k$-means with a reduced computational load. This is achieved by exploiting the center section probability that is used in the effective $k$-means$++$ algorithm. The proposed method has been tested and compared in various well-known real and synthetic datasets yielding very satisfactory results in terms of clustering quality and execution speed.

本文研究了分层聚类问题，其中目标是生产一种在数据集的变化尺度上表示集群的树形图。我们提出了用于设计并行分层凝聚聚类（HAC）算法的Parchain框架，并使用该框架，我们获得了全面连锁，平均联系和病房的联动标准的新颖平行算法。与最先前的并行HAC算法相比，这需要二次存储器，我们的新算法仅需要线性存储器，并且可以扩展到大数据集。 PARCHAIN基于我们最近邻的链算法的并行化，并使多个群集能够在每一轮上合并。我们介绍了两个关键优化，这对于效率至关重要：范围查询优化，减少查找群集的最近邻居所需的距离计算数，以及存储可能重复使用的先前计算的距离子集的缓存优化。通过实验，我们表明，我们的高度优化实现，使用48个核心，通过双向超线程实现5.8--110.1倍的加速，通过最先进的并行HAC算法，实现了13.75--54.23倍的自相对加速。与最先进的算法相比，我们的算法较少的空间少于237.3倍。我们的算法能够扩展到具有数百万点的数据集大小，现有算法无法处理该算法。

K-Medoids算法是K-均值算法的流行变体，广泛用于模式识别和机器学习。 K-Medoids算法的主要缺点是它可以被困在局部Optima中。最近提出了改进的K-Medoids算法（INCKM）来克服这一缺点，基于使用参数选择过程构建候选Medoid子集，但在处理不平衡数据集时可能会失败。在本文中，我们提出了一种新型的增量K-Medoids算法（INCKPP），该算法通过非参数和随机K-M-M-M-M-M-M-M-M-M-M-M-M-M-M-M-M-MEANS ++搜索程序，将簇数从2动态增加到K的数量。我们的算法可以在改进的K-Medoids算法中克服参数选择问题，改善聚类性能，并很好地处理不平衡数据集。但是我们的算法在计算效率方面具有弱点。为了解决此问题，我们提出了一种快速的Inckpp算法（称为Inckpp $ _ {sample} $），该算法可保留具有改进的聚类性能的简单和快速K-Medoids算法的计算效率。将所提出的算法与三种最新算法进行比较：改进的K-Medoids算法（INCKM），简单和快速的K-Medoids算法（FKM）和K-Means +++算法（KPP）。包括不平衡数据集在内的合成和现实世界数据集的广泛实验说明了所提出的算法的有效性。

应用分层聚类算法所需的时间最常由成对差异度量的计算数量主导。对于较大的数据集，这种约束使所有经典链接标准的使用都处于不利地位。但是，众所周知，单个连锁聚类算法对离群值非常敏感，产生高度偏斜的树状图，因此通常不会反映出真正的潜在数据结构 - 除非簇分离良好。为了克服其局限性，我们提出了一个名为Genie的新的分层聚类链接标准。也就是说，我们的算法将两个簇链接在一起，以至于选择的经济不平等度量（例如，gini-或bonferroni index）的群集大小不会大大增加超过给定阈值。提出的基准表明引入的方法具有很高的实际实用性：它通常优于病房或平均链接的聚类质量，同时保持单个连锁的速度。 Genie算法很容易平行，因此可以在多个线程上运行以进一步加快其执行。它的内存开销很小：无需预先计算完整的距离矩阵即可执行计算以获得所需的群集。它可以应用于配备有差异度量的任意空间，例如，在实际矢量，DNA或蛋白质序列，图像，排名，信息图数据等上。有关R。另请参见https://genieclust.gagolewski.com有关新的实施（GenieClust） - 可用于R和Python。

我们探索了深度神经网络的软磁预测的聚类，并引入了一种新型的概率聚类方法，称为k-sbetas。在聚类分布的一般环境中，现有方法着重于探索针对单纯形数据（例如KL Divergence）量身定制的失真度量，作为标准欧几里得距离的替代方法。我们提供了聚类分布的一般观点，该观点强调，基于失真的方法的统计模型可能不够描述。取而代之的是，我们优化了一个可混合变量的目标，该目标测量了每个集群中数据的一致性与引入的SBETA密度函数，其参数受到约束并与二进制分配变量共同估​​算。我们的多功能公式近似于用于建模群集数据的各种参数密度，并使能够控制群集平衡偏置。这会产生高度竞争性的性能，以在各种情况下进行有效无监督的黑盒预测调整，包括一声分类和实时的无监督域适应道路，以进行道路分割。实施可在https://github.com/fchiaroni/clustering_softmax_predictions上获得。

机器学习算法必须能够有效地应对大量数据集。因此，他们必须在任何现代系统上进行良好的扩展，并能够利用独立于供应商的加速器的计算能力。在监督学习领域，支持向量机（SVM）被广泛使用。但是，即使是现代化和优化的实现，例如LIBSVM或ThunderSVM对于尖端硬件的大型非平凡的密集数据集也不能很好地扩展：大多数SVM实现基于顺序最小优化，这是一种优化的固有顺序算法。因此，它们不适合高度平行的GPU。此外，我们不知道支持不同供应商的CPU和GPU的性能便携式实现。我们已经开发了PLSSVM库来解决这两个问题。首先，我们将SVM的配方作为最小二乘问题。然后训练SVM沸腾以求解已知高度平行算法的线性方程系统。其次，我们提供了一个独立但高效的实现：PLSSVM使用不同的可互换后端 - openmp，cuda，opencl，sycl-支持来自多个GPU的NVIDIA，AMD或INTEL等各种供应商的现代硬件。 PLSSVM可以用作LIBSVM的倒入替换。与LIBSVM相比，与ThunderSVM相比，我们观察到高达10的CPU和GPU的加速度。我们的实施量表在多核CPU上缩放，并在多达256个CPU线程和多个GPU上平行加速为74.7，在四个GPU上的并行加速为3.71。代码，实用程序脚本和文档都可以在GitHub上获得：https：//github.com/sc-sgs/plssvm。

众所周知，无监督的非线性维度减少和聚类对超公共表的选择敏感，特别是对于基于深度学习的方法，这阻碍了其实际使用。如何选择可能在不同应用程序中可能大致不同的网络结构是深度模型的艰难问题，因为少于对数据的知识很少。在本文中，我们探索了用于自动确定深层模型的最佳网络结构的集合学习和选择技术，命名为多层举屏网络（MBN）。具体地，我们首先提出了一种MBN集合（MBN-E）算法，它将具有不同网络结构的MBN基础模型集的稀疏输出连接到新的表示中。由于培训MBN的集合很昂贵，所以我们提出了一种快速版本的MBN-E（FMBN-E），其通过重新采样来替换MBN-E中的随机数据重新采样的步骤。从理论上讲，FMBN-E甚至比单个标准MBN更快。然后，我们采用MBN-E产生的新表示作为选择最佳MBN基础模型的参考。应用了两种集合选择标准，命名为优化选择标准和分配分配标准。重要的是，MBN-E及其集合选择技术维持基于第一邻邻学习的MBN的简单配方，并在没有手动超公共数据计调谐的情况下达到最先进的性能。 FMBN-E凭经验甚至比MBN-e快于MBN-E的数百次，而不会遭受性能下降。源代码可在http://www.xiaolei-zhang.net/mbn-e.htm上获得。

K-Nearest邻居搜索是各种应用程序中的基本任务之一，层次可导航的小世界（HNSW）最近在大规模云服务中引起了人们的注意，因为它在提供快速搜索的同时很容易扩展数据库。另一方面，将可编程逻辑和单个板上的可编程逻辑模块结合在一起的计算存储设备（CSD）变得流行，以解决现代计算系统的数据带宽瓶颈。在本文中，我们提出了一个计算存储平台，该平台可以加速基于SMARTSSSD CSD的基于图形的最近的邻居搜索算法。为此，我们更修改算法在硬件上更适合，并使用基于HLS和RTL的方法实现两种类型的加速器，并采用各种优化方法。此外，我们扩展了提议的平台，以拥有4个SMARTSSS，并应用图形并行性以进一步提高系统性能。结果，拟议的计算存储平台在258.66W的功率耗散时，SIFT1B数据集的每秒吞吐量达到75.59个查询，该数据集的功率耗散为12.83倍，比常规CPU和GPU和GPU更快，更快的10.43 x和10.43 x和24.33 x - 基于基于的服务器平台。借助多稳定的存储和自定义加速能力，我们相信所提出的计算存储平台是针对成本敏感的云数据中心的有前途的解决方案。

在医疗保健系统中，需要患者使用可穿戴设备进行远程数据收集和对健康数据的实时监控以及健康状况的状态。可穿戴设备的这种采用导致收集和传输的数据量显着增加。由于设备由较小的电池电源运行，因此由于设备的高处理要求以进行数据收集和传输，因此可以快速减少它们。鉴于医疗数据的重要性，必须所有传输数据遵守严格的完整性和可用性要求。减少医疗保健数据的量和传输频率将通过使用推理算法改善设备电池寿命。有一个以准确性和效率改善传输指标的问题，彼此之间的权衡，例如提高准确性会降低效率。本文表明，机器学习可用于分析复杂的健康数据指标，例如数据传输的准确性和效率，以使用Levenberg-Marquardt算法来克服权衡问题，从而增强这两个指标，从而通过少较少的样本来传输，同时保持维护准确性。使用标准心率数据集测试该算法以比较指标。结果表明，LMA最好以3.33倍的效率进行样本数据尺寸和79.17％的精度，在7种不同的采样案例中具有相似的准确性，用于测试，但表明效率提高。与具有高效率的现有方法相比，这些提出的方法使用机器学习可以显着改善两个指标，而无需牺牲其他指标。

Quantum computing is a promising paradigm based on quantum theory for performing fast computations. Quantum algorithms are expected to surpass their classical counterparts in terms of computational complexity for certain tasks, including machine learning. In this paper, we design, implement, and evaluate three hybrid quantum k-Means algorithms, exploiting different degree of parallelism. Indeed, each algorithm incrementally leverages quantum parallelism to reduce the complexity of the cluster assignment step up to a constant cost. In particular, we exploit quantum phenomena to speed up the computation of distances. The core idea is that the computation of distances between records and centroids can be executed simultaneously, thus saving time, especially for big datasets. We show that our hybrid quantum k-Means algorithms can be more efficient than the classical version, still obtaining comparable clustering results.

We present a novel clustering algorithm, visClust, that is based on lower dimensional data representations and visual interpretation. Thereto, we design a transformation that allows the data to be represented by a binary integer array enabling the further use of image processing methods to select a partition. Qualitative and quantitative analyses show that the algorithm obtains high accuracy (measured with an adjusted one-sided Rand-Index) and requires low runtime and RAM. We compare the results to 6 state-of-the-art algorithms, confirming the quality of visClust by outperforming in most experiments. Moreover, the algorithm asks for just one obligatory input parameter while allowing optimization via optional parameters. The code is made available on GitHub.

培训广泛和深度神经网络（DNN）需要大量的存储资源，例如内存，因为在转发传播期间必须在存储器中保存中间激活数据，然后恢复以便向后传播。然而，由于硬件设计约束，诸如GPU之类的最先进的加速器（例如GPU）仅配备了非常有限的存储容量，这显着限制了在训练大规模DNN时的最大批量大小和性能加速。传统的记忆保存技术均受性能开销或受限互连带宽或特定互连技术的约束。在本文中，我们提出了一种新颖的记忆高效的CNN训练框架（称为Comet），利用错误界限的损耗压缩来显着降低训练的内存要求，以允许培训更大的模型或加速培训。不同于采用基于图像的有损压缩机（例如JPEG）的最先进的解决方案来压缩激活数据，我们的框架故意采用严格的错误控制机制来采用错误界限的损耗压缩。具体而言，我们对从改变的激活数据传播到梯度的压缩误差传播的理论分析，并经验探讨改变梯度对训练过程的影响。基于这些分析，我们优化了误报的损耗压缩，并提出了一种用于激活数据压缩的自适应误差控制方案。我们评估我们对最先进的解决方案的设计，其中包含五个广泛采用的CNN和Imagenet DataSet。实验表明，我们所提出的框架可以在基线训练中显着降低13.5倍，并分别在另一个最先进的基于压缩框架上的1.8倍，几乎没有准确性损失。