无监督学习的最有前途的方法之一是将深层表示学习和深入的聚类结合在一起。最近的一些作品建议使用深层神经网络同时学习表示形式，并通过在嵌入式特征之上定义聚类损失来执行聚类。但是，这些方法对数据不平衡和分布样本敏感。结果，这些方法通过将数据推向接近随机初始化的群集中心来优化聚类。当实例的数量在不同的类别中有所不同，或者很少有样本的群集的机会较小的机会被分配给良好的质心时，这是有问题的。为了克服这些局限性，我们引入了一个新的无监督框架，用于联合表述学习和图像群集。我们同时训练两个深度学习模型，一个捕获数据分布的深度表示网络，以及一个学习嵌入式功能并执行聚类的深度聚类网络。具体而言，聚类网络和学习表示网络都利用了我们提出的统计池块，该统计数据池块代表均值，方差和基数，以处理分布外样本和类不平衡。我们的实验表明，使用这些表示形式，可以大大改善各种图像数据集的不平衡图像聚类的结果。此外，当传输到分布数据集时，学到的表示形式可以很好地推广。

对比度学习是视觉表示学习最成功的方法之一，可以通过在学习的表示上共同执行聚类来进一步提高其性能。但是，现有的联合聚类和对比度学习的方法在长尾数据分布上表现不佳，因为多数班级压倒了少数群体的损失，从而阻止了学习有意义的表示形式。由此激励，我们通过适应偏见的对比损失，以避免群集中的少数群体类别的不平衡数据集来开发一种新颖的联合聚类和对比度学习框架。我们表明，我们提出的修改后的对比损失和分歧聚类损失可改善多个数据集和学习任务的性能。源代码可从https://anonymon.4open.science/r/ssl-debiased-clustering获得

Clustering is central to many data-driven application domains and has been studied extensively in terms of distance functions and grouping algorithms. Relatively little work has focused on learning representations for clustering. In this paper, we propose Deep Embedded Clustering (DEC), a method that simultaneously learns feature representations and cluster assignments using deep neural networks. DEC learns a mapping from the data space to a lower-dimensional feature space in which it iteratively optimizes a clustering objective. Our experimental evaluations on image and text corpora show significant improvement over state-of-the-art methods.

由于多源信息集成的能力，多视图聚类吸引了很多关注。尽管在过去几十年中已经提出了许多高级方法，但其中大多数通常忽略了弱监督信息的重要性，并且无法保留多种视图的特征属性，从而导致聚类性能不令人满意。为了解决这些问题，在本文中，我们提出了一种新颖的深度观看半监督聚类（DMSC）方法，该方法在网络填充过程中共同优化了三种损失，包括多视图集群损失，半监督的成对约束损失损失和多个自动编码器重建损失。具体而言，基于KL差异的多视图聚类损失被施加在多视图数据的共同表示上，以同时执行异质特征优化，多视图加权和聚类预测。然后，我们通过创新建议将成对约束集成到多视图聚类的过程中，通过执行所学到的必须链接样本的多视图表示（不能链接样本）是相似的（不同的），以便形成的聚类结构可以可以更可信。此外，与现有的竞争对手不同，该竞争对手仅保留网络填充期间每个异质分支的编码器，我们进一步建议调整完整的自动编码器框架，其中包含编码器和解码器。通过这种方式，可以缓解特定视图和视图共享特征空间的严重腐败问题，从而使整个培训程序更加稳定。通过在八个流行图像数据集上进行的全面实验，我们证明了我们提出的方法的性能要比最先进的多视图和单视竞争对手更好。

近年来，拥抱集群研究中的表演学习的深度学习技术引起了广泛的关注，产生了一个新开发的聚类范式，QZ。深度聚类（DC）。通常，DC型号大写AutoEncoders，以了解促进聚类过程的内在特征。如今，一个名为变变AualEncoder（VAE）的生成模型在DC研究中得到了广泛的认可。然而，平原VAE不足以察觉到综合潜在特征，导致细分性能恶化。本文提出了一种新的DC方法来解决这个问题。具体地，生成的逆势网络和VAE被聚结成了一种名为Fusion AutoEncoder（FAE）的新的AutoEncoder，以辨别出更多的辨别性表示，从而使下游聚类任务受益。此外，FAE通过深度剩余网络架构实施，进一步提高了表示学习能力。最后，将FAE的潜在空间转变为由深密神经网络的嵌入空间，用于彼此从彼此拉出不同的簇，并将数据点折叠在单个簇内。在几个图像数据集上进行的实验证明了所提出的DC模型对基线方法的有效性。

由于几个原因，很难聚集艺术品。一方面，识别基于领域知识和视觉感知的有意义的模式非常困难。另一方面，将传统的聚类和功能还原技术应用于高度尺寸的像素空间可能是无效的。为了解决这些问题，在本文中，我们提出了Delius：一种深入学习视觉艺术的深度学习方法。该方法使用预训练的卷积网络提取功能，然后将这些功能馈送到深层嵌入聚类模型中，在此，将输入数据映射到潜在空间的任务是通过在找到一组集群质心的任务，以在此任务进行优化。这个潜在空间。定量和定性实验结果表明了该方法的有效性。Delius对于与艺术分析有关的多个任务很有用，特别是在绘画数据集中发现的视觉链接检索和历史知识发现。

深度聚类最近引起了极大的关注。尽管取得了显着的进展，但以前的大多数深度聚类作品仍有两个局限性。首先，其中许多集中在某些基于分布的聚类损失上，缺乏通过对比度学习来利用样本（或增强）关系的能力。其次，他们经常忽略了间接样本结构信息，从而忽略了多尺度邻里结构学习的丰富可能性。鉴于这一点，本文提出了一种新的深聚类方法，称为图像聚类，其中包括对比度学习和多尺度图卷积网络（IcicleGCN），该网络（ICICELGCN）也弥合了卷积神经网络（CNN）和图形卷积网络（GCN）之间的差距。作为对比度学习与图像聚类任务的多尺度邻域结构学习之间的差距。所提出的IcicleGCN框架由四个主要模块组成，即基于CNN的主链，实例相似性模块（ISM），关节群集结构学习和实例重建模块（JC-SLIM）和多尺度GCN模块（M -GCN）。具体而言，在每个图像上执行了两个随机增强，使用两个重量共享视图的骨干网络用于学习增强样品的表示形式，然后将其馈送到ISM和JC-SLIM以进行实例级别和集群级别的对比度分别学习。此外，为了实施多尺度的邻域结构学习，通过（i）通过（i）层次融合的层相互作用和（ii）共同自适应学习确保他们的最后一层，同时对两个GCN和自动编码器进行了同时培训。层输出分布保持一致。多个图像数据集上的实验证明了IcicleGCN优于最先进的群集性能。

这项工作为聚类提供了无监督的深入判别分析。该方法基于深层神经网络，旨在最大程度地减少群集内差异，并以无监督的方式最大化集群间差异。该方法能够将数据投射到具有紧凑和不同分布模式的非线性低维潜在空间中，以便可以有效地识别数据簇。我们进一步提供了该方法的扩展，以便可以有效利用可用的图形信息来提高聚类性能。带有或没有图形信息的图像和非图像数据的广泛数值结果证明了所提出的方法的有效性。

由于其通过深层神经网络的共同表示学习和聚类的能力，近年来，深层聚类引起了人们的关注。在其最新发展中，对比度学习已成为一种有效的技术，可实质性地提高深度聚类的性能。但是，现有的基于学习的基于对比的深层聚类算法主要集中于一些精心设计的增强（通常具有有限的转换以保留结构），被称为薄弱的增强，但不能超越弱化的增强，以探索更多的机会（随着更具侵略性的转变甚至严重的扭曲）。在本文中，我们提出了一种被称为强烈增强的对比聚类（SACC）的端到端深群集方法，该方法将传统的两夸大视图范式扩展到多种视图，并共同利用强大而弱的增强，以增强深层聚类。特别是，我们利用具有三重共享权重的骨干网络，在该网络中，强烈的增强视图和两个弱化的视图均融合在一起。基于主链产生的表示，弱进行弱化的视图对和强力视图对同时被利用用于实例级的对比度学习（通过实例投影仪）和群集级的对比度学习（通过群集投影仪），与主链一起可以以纯监督的方式共同优化。五个具有挑战性的图像数据集的实验结果表明，我们的SACC方法优于最先进的方法。该代码可在https://github.com/dengxiaozhi/sacc上找到。

The latent space of autoencoders has been improved for clustering image data by jointly learning a t-distributed embedding with a clustering algorithm inspired by the neighborhood embedding concept proposed for data visualization. However, multivariate tabular data pose different challenges in representation learning than image data, where traditional machine learning is often superior to deep tabular data learning. In this paper, we address the challenges of learning tabular data in contrast to image data and present a novel Gaussian Cluster Embedding in Autoencoder Latent Space (G-CEALS) algorithm by replacing t-distributions with multivariate Gaussian clusters. Unlike current methods, the proposed approach independently defines the Gaussian embedding and the target cluster distribution to accommodate any clustering algorithm in representation learning. A trained G-CEALS model extracts a quality embedding for unseen test data. Based on the embedding clustering accuracy, the average rank of the proposed G-CEALS method is 1.4 (0.7), which is superior to all eight baseline clustering and cluster embedding methods on seven tabular data sets. This paper shows one of the first algorithms to jointly learn embedding and clustering to improve multivariate tabular data representation in downstream clustering.

In this study, we systematically investigate the impact of class imbalance on classification performance of convolutional neural networks (CNNs) and compare frequently used methods to address the issue. Class imbalance is a common problem that has been comprehensively studied in classical machine learning, yet very limited systematic research is available in the context of deep learning. In our study, we use three benchmark datasets of increasing complexity, MNIST, CIFAR-10 and ImageNet, to investigate the effects of imbalance on classification and perform an extensive comparison of several methods to address the issue: oversampling, undersampling, two-phase training, and thresholding that compensates for prior class probabilities. Our main evaluation metric is area under the receiver operating characteristic curve (ROC AUC) adjusted to multi-class tasks since overall accuracy metric is associated with notable difficulties in the context of imbalanced data. Based on results from our experiments we conclude that (i) the effect of class imbalance on classification performance is detrimental; (ii) the method of addressing class imbalance that emerged as dominant in almost all analyzed scenarios was oversampling; (iii) oversampling should be applied to the level that completely eliminates the imbalance, whereas the optimal undersampling ratio depends on the extent of imbalance; (iv) as opposed to some classical machine learning models, oversampling does not cause overfitting of CNNs; (v) thresholding should be applied to compensate for prior class probabilities when overall number of properly classified cases is of interest.

自我监督的学习（SSL）已成为无需人类注释而产生不变表示的流行方法。但是，通过在输入数据上利用先前的在线转换功能来实现所需的不变表示。结果，每个SSL框架都是针对特定数据类型（例如，视觉数据）定制的，如果将其用于其他数据集类型，则需要进行进一步的修改。另一方面，是一个通用且广泛适用的框架的自动编码器（AE），主要集中于缩小尺寸，不适合学习不变表示。本文提出了一个基于阻止退化解决方案的受限自我标签分配过程的通用SSL框架。具体而言，先前的转换函数被用无监督的对抗训练的训练过程得出，以实现不变表示。通过自我转化机制，可以从相同的输入数据生成成对的增强实例。最后，基于对比度学习的培训目标是通过利用自我标签分配和自我转化机制来设计的。尽管自我转化过程非常通用，但拟议的培训策略的表现优于基于AE结构的大多数最先进的表示方法。为了验证我们的方法的性能，我们对四种类型的数据进行实验，即视觉，音频，文本和质谱数据，并用四个定量指标进行比较。我们的比较结果表明，所提出的方法证明了鲁棒性并成功识别数据集中的模式。

现有的深度聚类方法依赖于对比学习的对比学习，这需要否定例子来形成嵌入空间，其中所有情况都处于良好分离状态。但是，否定的例子不可避免地引起阶级碰撞问题，损害了群集的表示学习。在本文中，我们探讨了对深度聚类的非对比表示学习，被称为NCC，其基于Byol，一种没有负例的代表性方法。首先，我们建议将一个增强的实例与嵌入空间中的另一个视图的邻居对齐，称为正抽样策略，该域避免了由否定示例引起的类碰撞问题，从而提高了集群内的紧凑性。其次，我们建议鼓励在所有原型中的一个原型和均匀性的两个增强视图之间的对准，命名的原型是原型的对比损失或protocl，这可以最大化簇间距离。此外，我们在期望 - 最大化（EM）框架中制定了NCC，其中E-Step利用球面K手段来估计实例的伪标签和来自目标网络的原型的分布，并且M-Step利用了所提出的损失优化在线网络。结果，NCC形成了一个嵌入空间，其中所有集群都处于分离良好，而内部示例都很紧凑。在包括ImageNet-1K的几个聚类基准数据集上的实验结果证明了NCC优于最先进的方法，通过显着的余量。

One of the main problems in applying deep learning techniques to recognize activities of daily living (ADLs) based on inertial sensors is the lack of appropriately large labelled datasets to train deep learning-based models. A large amount of data would be available due to the wide spread of mobile devices equipped with inertial sensors that can collect data to recognize human activities. Unfortunately, this data is not labelled. The paper proposes DISC (Deep Inertial Sensory Clustering), a DL-based clustering architecture that automatically labels multi-dimensional inertial signals. In particular, the architecture combines a recurrent AutoEncoder and a clustering criterion to predict unlabelled human activities-related signals. The proposed architecture is evaluated on three publicly available HAR datasets and compared with four well-known end-to-end deep clustering approaches. The experiments demonstrate the effectiveness of DISC on both clustering accuracy and normalized mutual information metrics.

聚类是一项基本的机器学习任务，在文献中已广泛研究。经典聚类方法遵循以下假设：数据通过各种表示的学习技术表示为矢量化形式的特征。随着数据变得越来越复杂和复杂，浅（传统）聚类方法无法再处理高维数据类型。随着深度学习的巨大成功，尤其是深度无监督的学习，在过去的十年中，已经提出了许多具有深层建筑的代表性学习技术。最近，已经提出了深层聚类的概念，即共同优化表示的学习和聚类，因此引起了社区的日益关注。深度学习在聚类中的巨大成功，最基本的机器学习任务之一以及该方向的最新进展的巨大成功所激发。 - 艺术方法。我们总结了深度聚类的基本组成部分，并通过设计深度表示学习和聚类之间的交互方式对现有方法进行了分类。此外，该调查还提供了流行的基准数据集，评估指标和开源实现，以清楚地说明各种实验设置。最后但并非最不重要的一点是，我们讨论了深度聚类的实际应用，并提出了应有的挑战性主题，应将进一步的研究作为未来的方向。

机器学习模型通常会遇到与训练分布不同的样本。无法识别分布（OOD）样本，因此将该样本分配给课堂标签会显着损害模​​型的可靠性。由于其对在开放世界中的安全部署模型的重要性，该问题引起了重大关注。由于对所有可能的未知分布进行建模的棘手性，检测OOD样品是具有挑战性的。迄今为止，一些研究领域解决了检测陌生样本的问题，包括异常检测，新颖性检测，一级学习，开放式识别识别和分布外检测。尽管有相似和共同的概念，但分别分布，开放式检测和异常检测已被独立研究。因此，这些研究途径尚未交叉授粉，创造了研究障碍。尽管某些调查打算概述这些方法，但它们似乎仅关注特定领域，而无需检查不同领域之间的关系。这项调查旨在在确定其共同点的同时，对各个领域的众多著名作品进行跨域和全面的审查。研究人员可以从不同领域的研究进展概述中受益，并协同发展未来的方法。此外，据我们所知，虽然进行异常检测或单级学习进行了调查，但没有关于分布外检测的全面或最新的调查，我们的调查可广泛涵盖。最后，有了统一的跨域视角，我们讨论并阐明了未来的研究线，打算将这些领域更加紧密地融为一体。

在医学中，精心策划的图像数据集经常采用离散标签来描述所谓的健康状况与病理状况的连续光谱，例如阿尔茨海默氏病连续体或图像在诊断中起关键点的其他领域。我们提出了一个基于条件变异自动编码器的图像分层的体系结构。我们的框架VAESIM利用连续的潜在空间来表示疾病的连续体并在训练过程中找到簇，然后可以将其用于图像/患者分层。该方法的核心学习一组原型向量，每个向量与群集关联。首先，我们将每个数据样本的软分配给群集。然后，我们根据样品嵌入和簇的原型向量之间的相似性度量重建样品。为了更新原型嵌入，我们使用批处理大小中实际原型和样品之间最相似表示的指数移动平均值。我们在MNIST手写数字数据集和名为Pneumoniamnist的医疗基准数据集上测试了我们的方法。我们证明，我们的方法在两个数据集中针对标准VAE的分类任务（性能提高了15％）的KNN准确性优于基准，并且还以完全监督的方式培训的分类模型同等。我们还展示了我们的模型如何优于无监督分层的当前，端到端模型。

Combining clustering and representation learning is one of the most promising approaches for unsupervised learning of deep neural networks. However, doing so naively leads to ill posed learning problems with degenerate solutions. In this paper, we propose a novel and principled learning formulation that addresses these issues. The method is obtained by maximizing the information between labels and input data indices. We show that this criterion extends standard crossentropy minimization to an optimal transport problem, which we solve efficiently for millions of input images and thousands of labels using a fast variant of the Sinkhorn-Knopp algorithm. The resulting method is able to self-label visual data so as to train highly competitive image representations without manual labels. Our method achieves state of the art representation learning performance for AlexNet and ResNet-50 on SVHN, CIFAR-10, CIFAR-100 and ImageNet and yields the first self-supervised AlexNet that outperforms the supervised Pascal VOC detection baseline. Code and models are available 1 .

深度学习模型记住培训数据，这损害了他们推广到代表性不足的课程的能力。我们从经验上研究了卷积神经网络对图像数据不平衡数据的内部表示，并测量了训练和测试集中模型特征嵌入之间的概括差距，这表明该差距对于少数类别的差异更大。这个洞察力使我们能够为不平衡数据设计有效的三相CNN培训框架。该框架涉及训练网络端到端的数据不平衡数据以学习准确的功能嵌入，在学习的嵌入式空间中执行数据增强以平衡火车分布，并在嵌入式平衡的培训数据上微调分类器头。我们建议在培训框架中使用广泛的过采样（EOS）作为数据增强技术。 EOS形成合成训练实例，作为少数族类样本与其最近的敌人之间的凸组合，以减少概括差距。提出的框架提高了与不平衡学习中常用的领先成本敏感和重新采样方法的准确性。此外，它比标准数据预处理方法（例如SMOTE和基于GAN的过采样）更有效，因为它需要更少的参数和更少的训练时间。

由于获取和存储标准的差异，从多个来源创建大量的医学放射学图像数据集可能具有挑战性。控制和/或评估图像选择过程的一种可能方法是通过医学图像聚类。但是，这需要一种有效的方法来学习潜在图像表示。在本文中，我们仅使用像素数据来解决医学图像的全面观察聚类的问题。我们测试了几种现代方法的性能，该方法建立在卷积自动编码器（CAE）的顶部 - 卷积深层嵌入式聚类（CDEC）和卷积改进的深层嵌入聚类（CIDEC）和基于预设特征提取的三种方法 - 方向提取的方法（HOG），局部二进制模式（LBP）和主成分分析（PCA）。 CDEC和CIDEC是端到端聚类解决方案，涉及同时学习潜在表示和聚类分配，而其余方法则依赖于固定嵌入的K-均值聚类。我们在30,000张图像上训练模型，并使用由8,000张图像组成的单独测试集进行测试。我们从临床医院中心Rijeka的PACS存储库档案库中取样了数据。为了进行评估，我们在两个目标参数上使用轮廓分数，同质性评分和归一化的相互信息（NMI），与通常发生的DICOM标签紧密相关 - 模态和解剖区域（调整后的身体培养标签）。 CIDEC相对于解剖区域的NMI得分为0.473，而CDEC相对于TAG模式，NMI得分为0.645，两者都优于其他常用的特征描述符。