One of the main problems in applying deep learning techniques to recognize activities of daily living (ADLs) based on inertial sensors is the lack of appropriately large labelled datasets to train deep learning-based models. A large amount of data would be available due to the wide spread of mobile devices equipped with inertial sensors that can collect data to recognize human activities. Unfortunately, this data is not labelled. The paper proposes DISC (Deep Inertial Sensory Clustering), a DL-based clustering architecture that automatically labels multi-dimensional inertial signals. In particular, the architecture combines a recurrent AutoEncoder and a clustering criterion to predict unlabelled human activities-related signals. The proposed architecture is evaluated on three publicly available HAR datasets and compared with four well-known end-to-end deep clustering approaches. The experiments demonstrate the effectiveness of DISC on both clustering accuracy and normalized mutual information metrics.

Clustering is central to many data-driven application domains and has been studied extensively in terms of distance functions and grouping algorithms. Relatively little work has focused on learning representations for clustering. In this paper, we propose Deep Embedded Clustering (DEC), a method that simultaneously learns feature representations and cluster assignments using deep neural networks. DEC learns a mapping from the data space to a lower-dimensional feature space in which it iteratively optimizes a clustering objective. Our experimental evaluations on image and text corpora show significant improvement over state-of-the-art methods.

由于几个原因，很难聚集艺术品。一方面，识别基于领域知识和视觉感知的有意义的模式非常困难。另一方面，将传统的聚类和功能还原技术应用于高度尺寸的像素空间可能是无效的。为了解决这些问题，在本文中，我们提出了Delius：一种深入学习视觉艺术的深度学习方法。该方法使用预训练的卷积网络提取功能，然后将这些功能馈送到深层嵌入聚类模型中，在此，将输入数据映射到潜在空间的任务是通过在找到一组集群质心的任务，以在此任务进行优化。这个潜在空间。定量和定性实验结果表明了该方法的有效性。Delius对于与艺术分析有关的多个任务很有用，特别是在绘画数据集中发现的视觉链接检索和历史知识发现。

由于多源信息集成的能力，多视图聚类吸引了很多关注。尽管在过去几十年中已经提出了许多高级方法，但其中大多数通常忽略了弱监督信息的重要性，并且无法保留多种视图的特征属性，从而导致聚类性能不令人满意。为了解决这些问题，在本文中，我们提出了一种新颖的深度观看半监督聚类（DMSC）方法，该方法在网络填充过程中共同优化了三种损失，包括多视图集群损失，半监督的成对约束损失损失和多个自动编码器重建损失。具体而言，基于KL差异的多视图聚类损失被施加在多视图数据的共同表示上，以同时执行异质特征优化，多视图加权和聚类预测。然后，我们通过创新建议将成对约束集成到多视图聚类的过程中，通过执行所学到的必须链接样本的多视图表示（不能链接样本）是相似的（不同的），以便形成的聚类结构可以可以更可信。此外，与现有的竞争对手不同，该竞争对手仅保留网络填充期间每个异质分支的编码器，我们进一步建议调整完整的自动编码器框架，其中包含编码器和解码器。通过这种方式，可以缓解特定视图和视图共享特征空间的严重腐败问题，从而使整个培训程序更加稳定。通过在八个流行图像数据集上进行的全面实验，我们证明了我们提出的方法的性能要比最先进的多视图和单视竞争对手更好。

虽然数据驱动的故障诊断方法已被广泛应用，但模型培训需要大规模标记数据。然而，在真正的行业实施这一点难以阻碍这些方法的应用。因此，迫切需要在这种情况下运行良好的有效诊断方法。本​​研究中，多级半监督改进的深度嵌入式聚类（MS-SSIDEC）方法，将半监督学习与改进的深度嵌入式聚类相结合（IDEC），建议共同探索稀缺标记的数据和大规模的未标记数据。在第一阶段，提出了一种可以自动将未标记的数据映射到低维特征空间中的跳过连接的卷积自动编码器（SCCAE），并预先培训以成为故障特征提取器。在第二阶段，提出了一个半监督的改进的深嵌入式聚类（SSIDEC）网络以进行聚类。首先用可用标记数据初始化，然后用于同时优化群集标签分配，并使要素空间更加群集。为了解决过度装备现象，在本阶段将虚拟的对抗培训（增值税）作为正则化术语。在第三阶段，伪标签是通过SSIDEC的高质量结果获得的。标记的数据集可以由这些伪标记的数据增强，然后利用以训练轴承故障诊断模型。来自滚动轴承的两个振动数据数据集用于评估所提出的方法的性能。实验结果表明，该方法在半监督和无监督的故障诊断任务中实现了有希望的性能。该方法通过有效地探索无监督数据，提供了在有限标记样本的情况下的故障诊断方法。

无监督学习的最有前途的方法之一是将深层表示学习和深入的聚类结合在一起。最近的一些作品建议使用深层神经网络同时学习表示形式，并通过在嵌入式特征之上定义聚类损失来执行聚类。但是，这些方法对数据不平衡和分布样本敏感。结果，这些方法通过将数据推向接近随机初始化的群集中心来优化聚类。当实例的数量在不同的类别中有所不同，或者很少有样本的群集的机会较小的机会被分配给良好的质心时，这是有问题的。为了克服这些局限性，我们引入了一个新的无监督框架，用于联合表述学习和图像群集。我们同时训练两个深度学习模型，一个捕获数据分布的深度表示网络，以及一个学习嵌入式功能并执行聚类的深度聚类网络。具体而言，聚类网络和学习表示网络都利用了我们提出的统计池块，该统计数据池块代表均值，方差和基数，以处理分布外样本和类不平衡。我们的实验表明，使用这些表示形式，可以大大改善各种图像数据集的不平衡图像聚类的结果。此外，当传输到分布数据集时，学到的表示形式可以很好地推广。

The latent space of autoencoders has been improved for clustering image data by jointly learning a t-distributed embedding with a clustering algorithm inspired by the neighborhood embedding concept proposed for data visualization. However, multivariate tabular data pose different challenges in representation learning than image data, where traditional machine learning is often superior to deep tabular data learning. In this paper, we address the challenges of learning tabular data in contrast to image data and present a novel Gaussian Cluster Embedding in Autoencoder Latent Space (G-CEALS) algorithm by replacing t-distributions with multivariate Gaussian clusters. Unlike current methods, the proposed approach independently defines the Gaussian embedding and the target cluster distribution to accommodate any clustering algorithm in representation learning. A trained G-CEALS model extracts a quality embedding for unseen test data. Based on the embedding clustering accuracy, the average rank of the proposed G-CEALS method is 1.4 (0.7), which is superior to all eight baseline clustering and cluster embedding methods on seven tabular data sets. This paper shows one of the first algorithms to jointly learn embedding and clustering to improve multivariate tabular data representation in downstream clustering.

被动射频（RF）感测和对老年护理房屋的人类日常活动监测是一个新兴的话题。微多普勒雷达是一种吸引人的解决方案，考虑到它们的非侵入性，深渗透和高距离范围。尽管在真实情景中未标记或较差的活动的情况下，但是使用多普勒雷达数据的无监督活动识别尚未得到注意。本研究提出了使用多普勒流的人类活动监测的两个无监督特征提取方法。这些包括基于局部离散余弦变换（DCT）的特征提取方法和基于局部熵的特征提取方法。此外，对于多普勒雷达数据，首次采用了卷积变分性自动化器（CVAE）特征提取的新应用。将三种特征提取架构与先前使用的卷积AutoEncoder（CAE）和基于主成分分析（PCA）和2DPCA的线性特征提取进行比较。使用K-Means和K-METOIDS进行无监督的聚类。结果表明，与CAE，PCA和2DPCA相比，基于DCT的方法，基于熵的方法和CVAE特征的优越性，具有超过5 \％-20 \％的平均精度。关于计算时间，两个提出的方法明显比现有的CVAE快得多。此外，对于高维数据可视化，考虑了三种歧管学习技术。比较方法，以对原始数据的投影以及编码的CVAE特征进行比较。当应用于编码的CVAE特征时，所有三种方法都显示出改善的可视化能力。

这项工作为聚类提供了无监督的深入判别分析。该方法基于深层神经网络，旨在最大程度地减少群集内差异，并以无监督的方式最大化集群间差异。该方法能够将数据投射到具有紧凑和不同分布模式的非线性低维潜在空间中，以便可以有效地识别数据簇。我们进一步提供了该方法的扩展，以便可以有效利用可用的图形信息来提高聚类性能。带有或没有图形信息的图像和非图像数据的广泛数值结果证明了所提出的方法的有效性。

近年来，拥抱集群研究中的表演学习的深度学习技术引起了广泛的关注，产生了一个新开发的聚类范式，QZ。深度聚类（DC）。通常，DC型号大写AutoEncoders，以了解促进聚类过程的内在特征。如今，一个名为变变AualEncoder（VAE）的生成模型在DC研究中得到了广泛的认可。然而，平原VAE不足以察觉到综合潜在特征，导致细分性能恶化。本文提出了一种新的DC方法来解决这个问题。具体地，生成的逆势网络和VAE被聚结成了一种名为Fusion AutoEncoder（FAE）的新的AutoEncoder，以辨别出更多的辨别性表示，从而使下游聚类任务受益。此外，FAE通过深度剩余网络架构实施，进一步提高了表示学习能力。最后，将FAE的潜在空间转变为由深密神经网络的嵌入空间，用于彼此从彼此拉出不同的簇，并将数据点折叠在单个簇内。在几个图像数据集上进行的实验证明了所提出的DC模型对基线方法的有效性。

纵向电子健康记录（EHR）数据的可用性增加导致改善对疾病的理解和新颖表型的发现。大多数聚类算法仅关注患者轨迹，但具有类似轨迹的患者可能具有不同的结果。寻找不同轨迹和结果的患者亚组可以引导未来的药物开发，改善临床试验的招募。我们使用可以加权的重建，结果和聚类损耗开发经常性神经网络自动拓群体以群集EHR数据，以查找不同类型的患者群集。我们展示我们的模型能够从数据偏差和结果差异中发现已知的集群，表现优于基线模型。我们展示了29,222,229美元糖尿病患者的模型性能，显示出发现患有不同轨迹和不同结果的患者的簇，可用于帮助临床决策。

Wearable sensor-based human activity recognition (HAR) has emerged as a principal research area and is utilized in a variety of applications. Recently, deep learning-based methods have achieved significant improvement in the HAR field with the development of human-computer interaction applications. However, they are limited to operating in a local neighborhood in the process of a standard convolution neural network, and correlations between different sensors on body positions are ignored. In addition, they still face significant challenging problems with performance degradation due to large gaps in the distribution of training and test data, and behavioral differences between subjects. In this work, we propose a novel Transformer-based Adversarial learning framework for human activity recognition using wearable sensors via Self-KnowledgE Distillation (TASKED), that accounts for individual sensor orientations and spatial and temporal features. The proposed method is capable of learning cross-domain embedding feature representations from multiple subjects datasets using adversarial learning and the maximum mean discrepancy (MMD) regularization to align the data distribution over multiple domains. In the proposed method, we adopt the teacher-free self-knowledge distillation to improve the stability of the training procedure and the performance of human activity recognition. Experimental results show that TASKED not only outperforms state-of-the-art methods on the four real-world public HAR datasets (alone or combined) but also improves the subject generalization effectively.

无监督的异常检测旨在通过在正常数据上训练来建立模型以有效地检测看不见的异常。尽管以前的基于重建的方法取得了富有成效的进展，但由于两个危急挑战，他们的泛化能力受到限制。首先，训练数据集仅包含正常模式，这限制了模型泛化能力。其次，现有模型学到的特征表示通常缺乏代表性，妨碍了保持正常模式的多样性的能力。在本文中，我们提出了一种称为自适应存储器网络的新方法，具有自我监督的学习（AMSL）来解决这些挑战，并提高无监督异常检测中的泛化能力。基于卷积的AutoEncoder结构，AMSL包含一个自我监督的学习模块，以学习一般正常模式和自适应内存融合模块来学习丰富的特征表示。四个公共多变量时间序列数据集的实验表明，与其他最先进的方法相比，AMSL显着提高了性能。具体而言，在具有9亿个样本的最大帽睡眠阶段检测数据集上，AMSL以精度和F1分数\ TextBF {4} \％+优于第二个最佳基线。除了增强的泛化能力之外，AMSL还针对输入噪声更加强大。

在本文中，我们报告了使用运动传感器对复杂人类活动分类的分层深度学习模型。与用于基于事件的活动识别的传统人类活动识别（HAR）模型相反，例如阶跃计数，秋季检测和手势识别，这种新的深度学习模型，我们称为魅力（复杂的人类活动识别模型） ，旨在识别高级人类活动，这些活动由非确定性序列中的多个不同的低级活动组成，例如餐食准备，家务和日常工作。魅力不仅优于最先进的监督学习方法，以平均准确性和F1分数来识别高级活动的识别，而且还自动学习识别低级活动，例如操纵手势和运动模式，没有此类活动的任何明确标签。这为使用可穿戴的传感器开辟了新的人机互动（HMI）方式的新途径，用户可以选择将自动化任务与高级活动相关联，例如控制家庭自动化（例如机器人真空吸尘器，灯光，灯光和恒温器）或在正确的时间介绍上下文相关信息（例如，提醒，状态更新和天气/新闻报道）。此外，仅使用高级活动标签进行培训时，学习低级用户活动的能力可能会为半监督的学习HAR任务铺平道路。

时间序列形状是最近发现对时间序列聚类有效（TSC）有效的歧视子序列。形状方便地解释簇。因此，TSC的主要挑战是发现高质量的可变长度形状以区分不同的簇。在本文中，我们提出了一种新型的自动编码器窗帘方法（AutoShape），这是第一次利用自动编码器和塑形器以不受欢迎的方式确定形状的研究。自动编码器的专门设计用于学习高质量的形状。更具体地说，为了指导潜在的表示学习，我们采用了最新的自我监督损失来学习不同变量的可变长度塑形塑形（时间序列子序列）的统一嵌入，并提出多样性损失，以选择歧视嵌入的嵌入方式统一空间。我们介绍了重建损失，以在原始时间序列空间中恢复形状，以进行聚类。最后，我们采用Davies Bouldin指数（DBI），将学习过程中的聚类性能告知AutoShape。我们介绍了有关自动赛的广泛实验。为了评估单变量时间序列（UTS）的聚类性能，我们将AutoShape与使用UCR存档数据集的15种代表性方法进行比较。为了研究多元时间序列（MTS）的性能，我们使用5种竞争方法评估了30个UEA档案数据集的AutoShape。结果证明了AutoShape是所有比较的方法中最好的。我们用形状来解释簇，并可以在三个UTS案例研究和一个MTS案例研究中获得有关簇的有趣直觉。

由于获取和存储标准的差异，从多个来源创建大量的医学放射学图像数据集可能具有挑战性。控制和/或评估图像选择过程的一种可能方法是通过医学图像聚类。但是，这需要一种有效的方法来学习潜在图像表示。在本文中，我们仅使用像素数据来解决医学图像的全面观察聚类的问题。我们测试了几种现代方法的性能，该方法建立在卷积自动编码器（CAE）的顶部 - 卷积深层嵌入式聚类（CDEC）和卷积改进的深层嵌入聚类（CIDEC）和基于预设特征提取的三种方法 - 方向提取的方法（HOG），局部二进制模式（LBP）和主成分分析（PCA）。 CDEC和CIDEC是端到端聚类解决方案，涉及同时学习潜在表示和聚类分配，而其余方法则依赖于固定嵌入的K-均值聚类。我们在30,000张图像上训练模型，并使用由8,000张图像组成的单独测试集进行测试。我们从临床医院中心Rijeka的PACS存储库档案库中取样了数据。为了进行评估，我们在两个目标参数上使用轮廓分数，同质性评分和归一化的相互信息（NMI），与通常发生的DICOM标签紧密相关 - 模态和解剖区域（调整后的身体培养标签）。 CIDEC相对于解剖区域的NMI得分为0.473，而CDEC相对于TAG模式，NMI得分为0.645，两者都优于其他常用的特征描述符。

基于视觉的人类活动识别已成为视频分析领域的重要研究领域之一。在过去的十年中，已经引入了许多先进的深度学习算法，以识别视频流中复杂的人类行为。这些深度学习算法对人类活动识别任务显示出令人印象深刻的表现。但是，这些新引入的方法仅专注于模型性能或这些模型在计算效率和鲁棒性方面的有效性，从而导致其解决挑战性人类活动识别问题的提议中的偏差折衷。为了克服当代深度学习模型对人类活动识别的局限性，本文提出了一个计算高效但通用的空间级联框架，该框架利用了深层歧视性的空间和时间特征，以识别人类活动的识别。为了有效地表示人类行动，我们提出了有效的双重注意卷积神经网络（CNN）体系结构，该结构利用统一的通道空间注意机制来提取视频框架中以人为中心的显着特征。双通道空间注意力层与卷积层一起学会在具有特征图数量的物体的空间接收场中更加专注。然后将提取的判别显着特征转发到堆叠的双向封闭式复发单元（BI-GRU），以使用前进和后传球梯度学习，以实现长期时间建模和对人类行为的识别。进行了广泛的实验，其中获得的结果表明，与大多数当代动作识别方法相比，所提出的框架的执行时间的改善最高167倍。

紧凑和节能的可穿戴传感器的发展导致生物信号的可用性增加。为了分析这些连续记录的，通常是多维的时间序列，能够进行有意义的无监督数据分割是一个吉祥的目标。实现这一目标的一种常见方法是将时间序列中的变更点确定为分割基础。但是，传统的更改点检测算法通常带有缺点，从而限制了其现实世界的适用性。值得注意的是，他们通常依靠完整的时间序列可用，因此不能用于实时应用程序。另一个常见的限制是，它们处理多维时间序列的分割（或无法）。因此，这项工作的主要贡献是提出一种新型的无监督分段算法，用于多维时间序列，名为潜在空间无监督的语义细分（LS-USS），该算法旨在轻松地与在线和批处理数据一起使用。在将LS-USS与其他最先进的更改点检测算法进行比较时，在各种现实世界数据集上，在离线和实时设置中，LS-USS在PAR或更好的性能上都可以系统地实现。

现代工业设施在生产过程中生成大量的原始传感器数据。该数据用于监视和控制过程，可以分析以检测和预测过程异常。通常，数据必须由专家注释，以进一步用于预测建模。当今的大多数研究都集中在需要手动注释数据的无监督异常检测算法或监督方法上。这些研究通常是使用过程模拟器生成的狭窄事件类别的数据进行的，并且在公开可用的数据集上很少验证建议的算法。在本文中，我们提出了一种新型的方法，用于用于工业化学传感器数据的无监督故障检测和诊断。我们根据具有各种故障类型的田纳西州伊士曼进程的两个公开数据集证明了我们的模型性能。结果表明，我们的方法显着优于现有方法（固定FPR的+0.2-0.3 TPR），并在不使用专家注释的情况下检测大多数过程故障。此外，我们进行了实验，以证明我们的方法适用于未提前不知道故障类型数量的现实世界应用。

由于手表和手机中可穿戴传感器的扩散以及深度学习方法的进步，有关人类活动RE \ -cog \ -ni \ -Tion（HAR）的最新研究已有来自原始传感器信号的功能。深度学习应用于HAR的一个重要缺点是需要手动标记的培训数据，这对于HAR数据集尤其困难。在无监督的环境中，以深HAR聚类模型的形式开始取得进展，该模型可以将标签分配给数据而无需给予任何标签以进行训练，但是评估深HAR聚类模型的问题有问题，这使得评估评估。该领域和设计新方法很困难。在本文中，我们重点介绍了如何评估深HAR聚类模型，详细描述这些问题并进行仔细的实验​​以阐明它们对结果的影响。然后，我们讨论解决这些问题的解决方案，并为将来的深HAR聚类模型提出标准评估设置。此外，我们为HAR提供了一种新的深层聚类模型。在我们提出的设置下进行测试时，我们的模型的性能要比现有模型（或与现有模型相同）更好，同时还可以通过避免使用自动编码器来更有效，能够更好地扩展到更复杂的数据集。