Deep learning methods in the literature are invariably benchmarked on image data sets and then assumed to work on all data problems. Unfortunately, architectures designed for image learning are often not ready or optimal for non-image data without considering data-specific learning requirements. In this paper, we take a data-centric view to argue that deep image embedding clustering methods are not equally effective on heterogeneous tabular data sets. This paper performs one of the first studies on deep embedding clustering of seven tabular data sets using six state-of-the-art baseline methods proposed for image data sets. Our results reveal that the traditional clustering of tabular data ranks second out of eight methods and is superior to most deep embedding clustering baselines. Our observation is in line with the recent literature that traditional machine learning of tabular data is still a competitive approach against deep learning. Although surprising to many deep learning researchers, traditional clustering methods can be competitive baselines for tabular data, and outperforming these baselines remains a challenge for deep embedding clustering. Therefore, deep learning methods for image learning may not be fair or suitable baselines for tabular data without considering data-specific contrasts and learning requirements.
translated by 谷歌翻译
The latent space of autoencoders has been improved for clustering image data by jointly learning a t-distributed embedding with a clustering algorithm inspired by the neighborhood embedding concept proposed for data visualization. However, multivariate tabular data pose different challenges in representation learning than image data, where traditional machine learning is often superior to deep tabular data learning. In this paper, we address the challenges of learning tabular data in contrast to image data and present a novel Gaussian Cluster Embedding in Autoencoder Latent Space (G-CEALS) algorithm by replacing t-distributions with multivariate Gaussian clusters. Unlike current methods, the proposed approach independently defines the Gaussian embedding and the target cluster distribution to accommodate any clustering algorithm in representation learning. A trained G-CEALS model extracts a quality embedding for unseen test data. Based on the embedding clustering accuracy, the average rank of the proposed G-CEALS method is 1.4 (0.7), which is superior to all eight baseline clustering and cluster embedding methods on seven tabular data sets. This paper shows one of the first algorithms to jointly learn embedding and clustering to improve multivariate tabular data representation in downstream clustering.
translated by 谷歌翻译
Clustering is central to many data-driven application domains and has been studied extensively in terms of distance functions and grouping algorithms. Relatively little work has focused on learning representations for clustering. In this paper, we propose Deep Embedded Clustering (DEC), a method that simultaneously learns feature representations and cluster assignments using deep neural networks. DEC learns a mapping from the data space to a lower-dimensional feature space in which it iteratively optimizes a clustering objective. Our experimental evaluations on image and text corpora show significant improvement over state-of-the-art methods.
translated by 谷歌翻译
无监督学习的最有前途的方法之一是将深层表示学习和深入的聚类结合在一起。最近的一些作品建议使用深层神经网络同时学习表示形式,并通过在嵌入式特征之上定义聚类损失来执行聚类。但是,这些方法对数据不平衡和分布样本敏感。结果,这些方法通过将数据推向接近随机初始化的群集中心来优化聚类。当实例的数量在不同的类别中有所不同,或者很少有样本的群集的机会较小的机会被分配给良好的质心时,这是有问题的。为了克服这些局限性,我们引入了一个新的无监督框架,用于联合表述学习和图像群集。我们同时训练两个深度学习模型,一个捕获数据分布的深度表示网络,以及一个学习嵌入式功能并执行聚类的深度聚类网络。具体而言,聚类网络和学习表示网络都利用了我们提出的统计池块,该统计数据池块代表均值,方差和基数,以处理分布外样本和类不平衡。我们的实验表明,使用这些表示形式,可以大大改善各种图像数据集的不平衡图像聚类的结果。此外,当传输到分布数据集时,学到的表示形式可以很好地推广。
translated by 谷歌翻译
监测原位浮游生物的种群对于保留水生生态系统至关重要。浮游生物微生物实际上易受较小的环境扰动的影响,可以反映出随之而来的形态学和动力学修饰。如今,高级自动或半自动采集系统的可用性已允许生产越来越多的浮游生物图像数据。由于大量获得的数据和浮游生物的数字,因此,采用机器学习算法来对此类数据进行分类。为了应对这些挑战,我们提出了有效的无监督学习管道,以提供浮游生物微生物的准确分类。我们构建一组图像描述符,利用两步过程。首先,对预先训练的神经网络提取的功能进行了跨自动编码器(VAE)的培训。然后,我们将学习的潜在空间用作聚类的图像描述符。我们将方法与最新的无监督方法进行了比较,其中一组预定义的手工特征用于浮游生物图像的聚类。所提出的管道优于我们分析中包含的所有浮游生物数据集的基准算法,提供了更好的图像嵌入属性。
translated by 谷歌翻译
虽然数据驱动的故障诊断方法已被广泛应用,但模型培训需要大规模标记数据。然而,在真正的行业实施这一点难以阻碍这些方法的应用。因此,迫切需要在这种情况下运行良好的有效诊断方法。本​​研究中,多级半监督改进的深度嵌入式聚类(MS-SSIDEC)方法,将半监督学习与改进的深度嵌入式聚类相结合(IDEC),建议共同探索稀缺标记的数据和大规模的未标记数据。在第一阶段,提出了一种可以自动将未标记的数据映射到低维特征空间中的跳过连接的卷积自动编码器(SCCAE),并预先培训以成为故障特征提取器。在第二阶段,提出了一个半监督的改进的深嵌入式聚类(SSIDEC)网络以进行聚类。首先用可用标记数据初始化,然后用于同时优化群集标签分配,并使要素空间更加群集。为了解决过度装备现象,在本阶段将虚拟的对抗培训(增值税)作为正则化术语。在第三阶段,伪标签是通过SSIDEC的高质量结果获得的。标记的数据集可以由这些伪标记的数据增强,然后利用以训练轴承故障诊断模型。来自滚动轴承的两个振动数据数据集用于评估所提出的方法的性能。实验结果表明,该方法在半监督和无监督的故障诊断任务中实现了有希望的性能。该方法通过有效地探索无监督数据,提供了在有限标记样本的情况下的故障诊断方法。
translated by 谷歌翻译
由于多源信息集成的能力,多视图聚类吸引了很多关注。尽管在过去几十年中已经提出了许多高级方法,但其中大多数通常忽略了弱监督信息的重要性,并且无法保留多种视图的特征属性,从而导致聚类性能不令人满意。为了解决这些问题,在本文中,我们提出了一种新颖的深度观看半监督聚类(DMSC)方法,该方法在网络填充过程中共同优化了三种损失,包括多视图集群损失,半监督的成对约束损失损失和多个自动编码器重建损失。具体而言,基于KL差异的多视图聚类损失被施加在多视图数据的共同表示上,以同时执行异质特征优化,多视图加权和聚类预测。然后,我们通过创新建议将成对约束集成到多视图聚类的过程中,通过执行所学到的必须链接样本的多视图表示(不能链接样本)是相似的(不同的),以便形成的聚类结构可以可以更可信。此外,与现有的竞争对手不同,该竞争对手仅保留网络填充期间每个异质分支的编码器,我们进一步建议调整完整的自动编码器框架,其中包含编码器和解码器。通过这种方式,可以缓解特定视图和视图共享特征空间的严重腐败问题,从而使整个培训程序更加稳定。通过在八个流行图像数据集上进行的全面实验,我们证明了我们提出的方法的性能要比最先进的多视图和单视竞争对手更好。
translated by 谷歌翻译
异构表格数据是最常用的数据形式,对于众多关键和计算要求的应用程序至关重要。在同质数据集上,深度神经网络反复显示出卓越的性能,因此被广泛采用。但是,它们适应了推理或数据生成任务的表格数据仍然具有挑战性。为了促进该领域的进一步进展,这项工作概述了表格数据的最新深度学习方法。我们将这些方法分为三组:数据转换,专业体系结构和正则化模型。对于每个小组,我们的工作提供了主要方法的全面概述。此外,我们讨论了生成表格数据的深度学习方法,并且还提供了有关解释对表格数据的深层模型的策略的概述。因此,我们的第一个贡献是解决上述领域中的主要研究流和现有方法,同时强调相关的挑战和开放研究问题。我们的第二个贡献是在传统的机器学习方法中提供经验比较,并在五个流行的现实世界中的十种深度学习方法中,具有不同规模和不同的学习目标的经验比较。我们已将作为竞争性基准公开提供的结果表明,基于梯度增强的树合奏的算法仍然大多在监督学习任务上超过了深度学习模型,这表明对表格数据的竞争性深度学习模型的研究进度停滞不前。据我们所知,这是对表格数据深度学习方法的第一个深入概述。因此,这项工作可以成为有价值的起点,以指导对使用表格数据深入学习感兴趣的研究人员和从业人员。
translated by 谷歌翻译
这项工作为聚类提供了无监督的深入判别分析。该方法基于深层神经网络,旨在最大程度地减少群集内差异,并以无监督的方式最大化集群间差异。该方法能够将数据投射到具有紧凑和不同分布模式的非线性低维潜在空间中,以便可以有效地识别数据簇。我们进一步提供了该方法的扩展,以便可以有效利用可用的图形信息来提高聚类性能。带有或没有图形信息的图像和非图像数据的广泛数值结果证明了所提出的方法的有效性。
translated by 谷歌翻译
One of the main problems in applying deep learning techniques to recognize activities of daily living (ADLs) based on inertial sensors is the lack of appropriately large labelled datasets to train deep learning-based models. A large amount of data would be available due to the wide spread of mobile devices equipped with inertial sensors that can collect data to recognize human activities. Unfortunately, this data is not labelled. The paper proposes DISC (Deep Inertial Sensory Clustering), a DL-based clustering architecture that automatically labels multi-dimensional inertial signals. In particular, the architecture combines a recurrent AutoEncoder and a clustering criterion to predict unlabelled human activities-related signals. The proposed architecture is evaluated on three publicly available HAR datasets and compared with four well-known end-to-end deep clustering approaches. The experiments demonstrate the effectiveness of DISC on both clustering accuracy and normalized mutual information metrics.
translated by 谷歌翻译
由于几个原因,很难聚集艺术品。一方面,识别基于领域知识和视觉感知的有意义的模式非常困难。另一方面,将传统的聚类和功能还原技术应用于高度尺寸的像素空间可能是无效的。为了解决这些问题,在本文中,我们提出了Delius:一种深入学习视觉艺术的深度学习方法。该方法使用预训练的卷积网络提取功能,然后将这些功能馈送到深层嵌入聚类模型中,在此,将输入数据映射到潜在空间的任务是通过在找到一组集群质心的任务,以在此任务进行优化。这个潜在空间。定量和定性实验结果表明了该方法的有效性。Delius对于与艺术分析有关的多个任务很有用,特别是在绘画数据集中发现的视觉链接检索和历史知识发现。
translated by 谷歌翻译
由于其通过深层神经网络的共同表示学习和聚类的能力,近年来,深层聚类引起了人们的关注。在其最新发展中,对比度学习已成为一种有效的技术,可实质性地提高深度聚类的性能。但是,现有的基于学习的基于对比的深层聚类算法主要集中于一些精心设计的增强(通常具有有限的转换以保留结构),被称为薄弱的增强,但不能超越弱化的增强,以探索更多的机会(随着更具侵略性的转变甚至严重的扭曲)。在本文中,我们提出了一种被称为强烈增强的对比聚类(SACC)的端到端深群集方法,该方法将传统的两夸大视图范式扩展到多种视图,并共同利用强大而弱的增强,以增强深层聚类。特别是,我们利用具有三重共享权重的骨干网络,在该网络中,强烈的增强视图和两个弱化的视图均融合在一起。基于主链产生的表示,弱进行弱化的视图对和强力视图对同时被利用用于实例级的对比度学习(通过实例投影仪)和群集级的对比度学习(通过群集投影仪),与主链一起可以以纯监督的方式共同优化。五个具有挑战性的图像数据集的实验结果表明,我们的SACC方法优于最先进的方法。该代码可在https://github.com/dengxiaozhi/sacc上找到。
translated by 谷歌翻译
近年来,拥抱集群研究中的表演学习的深度学习技术引起了广泛的关注,产生了一个新开发的聚类范式,QZ。深度聚类(DC)。通常,DC型号大写AutoEncoders,以了解促进聚类过程的内在特征。如今,一个名为变变AualEncoder(VAE)的生成模型在DC研究中得到了广泛的认可。然而,平原VAE不足以察觉到综合潜在特征,导致细分性能恶化。本文提出了一种新的DC方法来解决这个问题。具体地,生成的逆势网络和VAE被聚结成了一种名为Fusion AutoEncoder(FAE)的新的AutoEncoder,以辨别出更多的辨别性表示,从而使下游聚类任务受益。此外,FAE通过深度剩余网络架构实施,进一步提高了表示学习能力。最后,将FAE的潜在空间转变为由深密神经网络的嵌入空间,用于彼此从彼此拉出不同的簇,并将数据点折叠在单个簇内。在几个图像数据集上进行的实验证明了所提出的DC模型对基线方法的有效性。
translated by 谷歌翻译
深度聚类最近引起了极大的关注。尽管取得了显着的进展,但以前的大多数深度聚类作品仍有两个局限性。首先,其中许多集中在某些基于分布的聚类损失上,缺乏通过对比度学习来利用样本(或增强)关系的能力。其次,他们经常忽略了间接样本结构信息,从而忽略了多尺度邻里结构学习的丰富可能性。鉴于这一点,本文提出了一种新的深聚类方法,称为图像聚类,其中包括对比度学习和多尺度图卷积网络(IcicleGCN),该网络(ICICELGCN)也弥合了卷积神经网络(CNN)和图形卷积网络(GCN)之间的差距。作为对比度学习与图像聚类任务的多尺度邻域结构学习之间的差距。所提出的IcicleGCN框架由四个主要模块组成,即基于CNN的主链,实例相似性模块(ISM),关节群集结构学习和实例重建模块(JC-SLIM)和多尺度GCN模块(M -GCN)。具体而言,在每个图像上执行了两个随机增强,使用两个重量共享视图的骨干网络用于学习增强样品的表示形式,然后将其馈送到ISM和JC-SLIM以进行实例级别和集群级别的对比度分别学习。此外,为了实施多尺度的邻域结构学习,通过(i)通过(i)层次融合的层相互作用和(ii)共同自适应学习确保他们的最后一层,同时对两个GCN和自动编码器进行了同时培训。层输出分布保持一致。多个图像数据集上的实验证明了IcicleGCN优于最先进的群集性能。
translated by 谷歌翻译
在新颖的类发现(NCD)中,目标是在一个未标记的集合中找到新的类,并给定一组已知但不同的类别。尽管NCD最近引起了社区的关注,但尽管非常普遍的数据表示,但尚未提出异质表格数据的框架。在本文中,我们提出了TabularNCD,这是一种在表格数据中发现新类别的新方法。我们展示了一种从已知类别中提取知识的方法,以指导包含异质变量的表格数据中新型类的发现过程。该过程的一部分是通过定义伪标签的新方法来完成的,我们遵循多任务学习中的最新发现以优化关节目标函数。我们的方法表明,NCD不仅适用于图像,而且适用于异质表格数据。进行了广泛的实验,以评估我们的方法并证明其对7种不同公共分类数据集的3个竞争对手的有效性。
translated by 谷歌翻译
用木材制成的木材和森林产品,例如家具,是宝贵的商品,就像许多高估的自然资源的全球贸易一样,面临腐败,欺诈和非法收获的挑战。木材和森林产品部门的这些灰色和黑色市场活动不仅限于收获木材的国家,而是在整个全球供应链中扩展,并与非法金融流有关,例如基于贸易的洗钱,记录欺诈,种类标签和其他非法活动。在没有地面真理的情况下,使用贸易数据找到此类欺诈活动的任务可以作为无监督的异常检测问题进行建模。但是,现有的方法在其对大规模贸易数据的适用性方面存在某些缺点。贸易数据是异质的,具有表格格式的分类和数值属性。总体挑战在于数据的复杂性,数量和速度,具有大量实体和缺乏地面真相标签。为了减轻这些方法,我们提出了一种新型的无监督异常检测 - 基于对比度学习的异质异常检测(CHAD),通常适用于大规模的异质表格数据。我们证明,我们的模型CHAD对公共基准数据集的多个可比较基线表现出色,并且在贸易数据的情况下优于它们。更重要的是,我们证明我们的方法减少了假设和努力所需的高参数调整,这在无监督的培训范式中是一个关键的挑战。具体而言,我们的总体目标涉及使用提单贸易记录数据账单来检测可疑的木材运输和模式。在运输记录中检测异常交易可以使政府机构和供应链成分进一步调查。
translated by 谷歌翻译
由于获取和存储标准的差异,从多个来源创建大量的医学放射学图像数据集可能具有挑战性。控制和/或评估图像选择过程的一种可能方法是通过医学图像聚类。但是,这需要一种有效的方法来学习潜在图像表示。在本文中,我们仅使用像素数据来解决医学图像的全面观察聚类的问题。我们测试了几种现代方法的性能,该方法建立在卷积自动编码器(CAE)的顶部 - 卷积深层嵌入式聚类(CDEC)和卷积改进的深层嵌入聚类(CIDEC)和基于预设特征提取的三种方法 - 方向提取的方法(HOG),局部二进制模式(LBP)和主成分分析(PCA)。 CDEC和CIDEC是端到端聚类解决方案,涉及同时学习潜在表示和聚类分配,而其余方法则依赖于固定嵌入的K-均值聚类。我们在30,000张图像上训练模型,并使用由8,000张图像组成的单独测试集进行测试。我们从临床医院中心Rijeka的PACS存储库档案库中取样了数据。为了进行评估,我们在两个目标参数上使用轮廓分数,同质性评分和归一化的相互信息(NMI),与通常发生的DICOM标签紧密相关 - 模态和解剖区域(调整后的身体培养标签)。 CIDEC相对于解剖区域的NMI得分为0.473,而CDEC相对于TAG模式,NMI得分为0.645,两者都优于其他常用的特征描述符。
translated by 谷歌翻译
采用基于数据的方法会导致许多石油和天然气记录数据处理问题的模型改进。由于深度学习提供的新功能,这些改进变得更加合理。但是,深度学习的使用仅限于研究人员拥有大量高质量数据的领域。我们提出了一种提供通用数据表示的方法,适用于针对不同油田的不同问题的解决方案,而少量数据。我们的方法依赖于从井的间隔内进行连续记录数据的自我监督方法,因此从一开始就不需要标记的数据。为了验证收到的表示形式,我们考虑分类和聚类问题。我们还考虑转移学习方案。我们发现,使用变异自动编码器会导致最可靠,最准确的模型。方法我们还发现,研究人员只需要一个针对目标油田的微小单独的数据集即可在通用表示之上解决特定问题。
translated by 谷歌翻译
聚类是一项基本的机器学习任务,在文献中已广泛研究。经典聚类方法遵循以下假设:数据通过各种表示的学习技术表示为矢量化形式的特征。随着数据变得越来越复杂和复杂,浅(传统)聚类方法无法再处理高维数据类型。随着深度学习的巨大成功,尤其是深度无监督的学习,在过去的十年中,已经提出了许多具有深层建筑的代表性学习技术。最近,已经提出了深层聚类的概念,即共同优化表示的学习和聚类,因此引起了社区的日益关注。深度学习在聚类中的巨大成功,最基本的机器学习任务之一以及该方向的最新进展的巨大成功所激发。 - 艺术方法。我们总结了深度聚类的基本组成部分,并通过设计深度表示学习和聚类之间的交互方式对现有方法进行了分类。此外,该调查还提供了流行的基准数据集,评估指标和开源实现,以清楚地说明各种实验设置。最后但并非最不重要的一点是,我们讨论了深度聚类的实际应用,并提出了应有的挑战性主题,应将进一步的研究作为未来的方向。
translated by 谷歌翻译
近年来,人们看到了新型神经网络体系结构的激增,用于整合多摩智数据以进行预测。大多数体系结构包括单独编码器或编码器和解码器,即各种自动编码器,以将多摩s数据转换为潜在表示。一个重要的参数是集成的深度:计算或合并潜在表示的点,可以是早期,中间或晚期。关于集成方法的文献正在稳步增长,但是,在公平的实验条件下这些方法的相对性能以及正在考虑不同用例的相对性能,几乎一无所知。我们开发了一个比较框架,该框架在均等条件下训练和优化了多摩斯集成方法。我们结合了早期整合,最近出版了四种深度学习方法:Moli,Super.felt,Omiembed和Moma。此外,我们设计了一种新颖的方法,即OMICS堆叠,结合了中间和晚期整合的优势。实验是在具有多个OMIC数据(体细胞突变,体拷贝数谱和基因表达谱)的公共药物反应数据集上进行的,该数据是从细胞系,患者衍生的异种移植物和患者样本中获得的。我们的实验证实,早期整合的预测性能最低。总体而言,整合三胞胎损失的体系结构取得了最佳的结果。总体而言,统计差异很少可以观察到方法的平均等级,而Super.FELT在交叉验证设置中始终保持最佳状态,并且在外部测试集设置中最好地堆叠OMICS。所有实验的源代码均可在\ url {https://github.com/kramerlab/multi-omics_analysis下获得。
translated by 谷歌翻译